Kagi Small Web

 (blog.kagi.com)
3P by GN⁺ | ★ favorite | 댓글 1개
  • 광고와 상업화에 묻힌 개인 웹 콘텐츠를 다시 드러내기 위해 Kagi가 Small Web을 검색·웹사이트·RSS·API에 통합함
  • Small Web은 금전적 이익보다 자기표현과 지식 공유를 위해 개인이 만든 비상업적 웹을 뜻하며, Kagi는 약 6,000개 웹사이트를 선별해 새 콘텐츠를 수집함
  • Kagi 검색은 Teclis와 TinyGem 인덱스를 활용해 swiftui, apple watch 같은 일반 검색어에서도 개인 블로그 글을 함께 보여줌
  • 새 Kagi Small Web 웹사이트는 JavaScript 없이 동작하며, 게시글에 “appreciate”를 남기거나 약 1주일 뒤 사라지는 공개 노트를 작성할 수 있음
  • 사이트 운영자는 GitHub 선별 목록, 피드백 사이트, Discord를 통해 참여할 수 있고, RSS는 5시간마다 갱신되며 API는 1,000쿼리당 2달러로 제공됨

Kagi Small Web이 겨냥하는 웹

  • Kagi Small Web은 Kagi가 더 인간적인 웹을 만들기 위해 시작한 이니셔티브임
  • “Small Web”은 단일한 정의가 있는 말은 아니지만, 보통 금전적 이익보다 개인의 자기표현이나 지식 공유를 위해 만든 비상업적 웹을 가리킴
  • 이 개념은 광고 기반 비즈니스 모델이 인터넷을 장악하기 전, 덜 상업화됐던 초기 웹의 분위기와 맞닿아 있음
  • 더 깊이 이해할 자료로 Ben Hoyt의 The Small Web is Beautiful이 소개됐고, GitHub 저장소에도 관련 글 목록이 연결되어 있음

콘텐츠를 모으고 노출하는 방식

  • Kagi Small Web은 직접 선별한 블로그 목록에서 최근 1주일 안에 올라온 글을 모아 여러 경로로 보여줌
  • 기존 Kagi 회원은 검색 결과에서 Small Web 콘텐츠를 보기 위해 별도로 설정할 필요가 없음
  • 이 실험은 Hacker News의 토론에서 영감을 받아, 7월 말 HN 사용자들의 블로그 글을 검색 결과에 노출하는 방식으로 시작됨
  • 현재 선별 목록에는 다양한 관심사를 가진 사람들이 운영하는 약 6,000개 실제 웹사이트가 포함되어 있음
  • 전체 이니셔티브와 선별 웹사이트 목록은 Kagi GitHub에 공개되어 있음

검색 결과 안으로 들어온 개인 웹

  • Kagi는 자체 Teclis와 TinyGem 검색 인덱스를 통해 이전부터 Small Web 콘텐츠를 보여왔음
  • 이번 통합으로 고품질이지만 덜 알려진 웹 콘텐츠가 Kagi 검색 결과의 차별점으로 더 직접적으로 드러남
  • 검색 예시
    • swiftui 검색은 Keith Harrison의 “Use Your Loaf” 블로그에 실린 iOS 17 관련 SwiftUI 글을 보여줌
    • 예시 Kagi 검색 URL은 Share this Search 기능으로 생성되어, Kagi 계정이 없는 사용자도 결과를 볼 수 있음
    • apple watch 검색은 Timo의 “Screaming at My Screen” 블로그에 실린 최근 글을 함께 노출함
    • 같은 결과에는 2015년 글인 Apple Watch Pixels도 Teclis 인덱스를 통해 나타남
  • 이런 결과는 큰 사이트 중심의 검색 결과와 달리, 같은 주제에서도 더 다양한 관점을 발견하게 해줌

Kagi Small Web 웹사이트

  • Kagi Small Web 웹사이트는 기존 검색 엔진에서 쉽게 지나가는 최신 Small Web 콘텐츠를 드러내기 위한 새 플랫폼임
  • 사이트는 Small Web의 정신에 맞춰 JavaScript 없이 동작함
  • 사용자는 게시글을 “appreciate”하거나 임시 공개 노트를 남길 수 있음
    • 노트는 새 콘텐츠가 순환되면서 약 1주일 뒤 사라짐
    • 이 설계는 Small Web의 일시적이고 불완전한 성격을 강조함
  • Discord 채널의 일부 베타 테스터에게 미리 공개했을 때, 한 사용자는 자신의 블로그가 선별 피드에 포함된 것을 보고 더 글을 쓰고 싶어 했음

선별 기준과 게시 조건

  • 선별 피드에 들어가려면 다음 기준을 만족해야 함
    • 블로그에 최소 3년 전 게시물이 있어야 함
    • 콘텐츠는 영어여야 함
    • 사이트는 진정성 있는 자기표현 또는 높은 정보 가치를 제공해야 함
    • NSFW 콘텐츠는 제외됨
  • Kagi Small Web 웹사이트에 게시글이 나타나려면 추가 조건이 있음
    • 게시글은 7일 이내에 작성된 것이어야 함
    • 사이트가 iframe 임베딩과 호환되어야 함
    • iframe과 호환되지 않는 사이트도 검색 결과용 인덱싱은 계속 가능함
  • 웹사이트 코드도 오픈소스로 공개되어 있으며, 병합 요청을 받음

Small YouTube 실험

  • Kagi는 실험 기능인 Small YouTube도 제공함
  • 이 기능은 구독자 수가 40만 명 미만인 떠오르는 YouTube 크리에이터의 콘텐츠를 노출함
  • Kagi는 이 기준에 대한 피드백을 받고 있음

RSS, API, 참여 경로

  • Kagi Small Web의 RSS 피드는 실시간 업데이트를 제공하며 5시간마다 갱신됨
  • API 사용자는 Kagi Small Web이 통합된 TinyGem 인덱스를 통해 비주류 고품질 뉴스를 이용할 수 있음
    • 가격은 1,000쿼리당 2달러임
  • 누락된 사이트나 부적절한 포함 사례가 있으면 가이드라인에 따라 선별 목록에 기여할 수 있음
  • 버그 신고와 기능 제안은 kagifeedback.org에서 small-web 태그로 제출함
  • 일반 토론은 Kagi Discord에서 진행함

프로젝트가 감수하는 전제

  • 웹이 수많은 사람들로 만들어졌다면, 왜 전통적 검색 엔진에서 그들이 가려지는지와 이를 어떻게 고칠지가 이 이니셔티브의 출발점임
  • 크롤링하는 콘텐츠에는 무엇이든 포함될 수 있어, Kagi는 이를 추천하는 과정에서 평판을 거는 선택이 필요하다고 봄
  • Small Web에 기여하는 사람들은 청중이 보장되지 않아도 시간과 노력을 들여 창작함
  • Kagi의 목표는 창의성, 자기표현, 의미 있는 콘텐츠가 많은 더 인간적인 웹을 되살리는 것임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Kagi의 Vlad임. 블로그 글을 공개하자마자 RSS 피드가 예상치 못하게 깨졌는데, 진짜 small web 정신 같았음 :) 이제 피드는 복구됐고, 사이트도 같은 피드를 쓰기 때문에 다시 동작함
    이건 개인적으로 애정을 갖고 진행한 프로젝트였고, 팀은 다른 일로 바빠서 직접 코드에 꽤 깊게 손댔음. “피드가 깨졌다”는 말은 사실 내가 깨뜨렸다는 뜻임. 오래된 스타일의 개발자에게 소프트웨어는 지저분한 일이고, 이미 괜찮다고 생각했던 걸 계속 되돌아가 고치면서 내가 더 이상 좋은 코더가 아니라는 것도 배웠음. 코드는 연결된 저장소에서 볼 수 있음: https://github.com/kagisearch/smallweb
    가장 중요하게는, 이 사이트가 내게 발견의 필요를 대체해 줬고 다양한 사람과 글을 알아가는 느낌이 좋았음. 예상치 못한 것들이 많이 떠올랐고 웹이 다시 가까워진 느낌이었음. 이 개념에는 희망의 실마리가 있고, 검색 품질과 다양성 개선도 실제로 있음
    포함된 웹사이트 목록은 여기서 확인 가능함: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
    최신 글들은 이미 관련 질의의 Kagi 검색 결과에도 노출됨: https://kagi.com/smallweb

    • 이 기능이 출시돼서 정말 좋음. 인디/소규모 웹에 더 많은 가시성을 주는 건 훌륭한 일임. 예전에도 HN에서 유용한 개인 블로그가 검색엔진의 스팸성 콘텐츠 아래 묻힌다고 불평한 적이 있음
      앞으로는 small web 안에서만 검색할 수 있으면 좋겠고, 나중에 렌즈로 제공될 수도 있을 듯함
      자기 홍보 규칙에 대해서는 현재 방침에 동의하지 않음. 오래된 블로그라면, 기준을 1년 정도로 낮추더라도, 사람들이 직접 제출할 수 있게 해주면 좋겠음. 소규모/인디 웹의 대부분은 노출이 부족하니 도움이 될 것임. 내 블로그는 예전 “HN에 블로그 공유해 달라” 글에서 수집된 것 같아 이미 색인에 있지만, 다른 사람들은 그렇게 운이 좋지 않았을 수 있음
    • 유료로 Kagi를 쓸수록, 더 많은 사용자를 얻지 못하면 사라질 수도 있다는 가능성이 슬퍼짐
      Kagi는 내게 엄청난 성취임. Google보다 나은 결과를 주고, 프라이버시를 존중하며, 개인화와 더 많은 기능을 제공하는 첫 검색엔진임
    • 유료 고객인데 이번도 또 좋은 추가 기능임. 이런 건 Kagi만 할 수 있음. 이런 종류의 작업을 계속해 줬으면 함
    • 이건 개인 블로그 스레드보다 Marginalia에서 영감을 받았을 가능성이 더 크지 않나? Apple Watch 예시에서는 같은 결과가 나오진 않지만, 글 제목을 읽자마자 바로 떠올랐음
      https://search.marginalia.nu이고, HN에서도 자주 언급됨: https://hn.algolia.com/?query=marginalia
    • 좋은 시도임. 결과도 멋져 보이고, 메인 검색 결과에 통합되면 거대 웹 바깥을 엿볼 수 있을 듯함
      Kagi 고객이고 매우 만족 중임. 검색엔진이 놀라울 정도로 좋고, 이번 기능 덕분에 내 검색엔진 선택이 더 마음에 듦

  • “이 노트들은 약 일주일 뒤 새 콘텐츠로 교체되며 사라질 것입니다. small web의 덧없고 불완전한 성격을 강조합니다.”라는 문구는, 그냥 Kagi가 노트를 조정하거나 영구 저장하고 싶지 않다고 인정하면 됨. small web을 깎아내릴 필요는 없음. 많은 작은 사이트는 콘텐츠를 잘 보존함
    Kagi가 사이트가 얼마나 자주 내려가는지에 대한 데이터를 갖고 있을 수는 있겠지만, 내 경험상 창작자가 잊어버린 경우가 아니어도 대형 플랫폼의 콘텐츠도 자주 사라짐. 신경 쓰는 창작자가 만든 small web 웹사이트는 오히려 훨씬 더 오래갈 여지가 있음

    • 그 노트들은 어디에 표시됨?
      Kagi Small Web에 ActivityPub 인터페이스가 있어서, 하루 동안 가장 높이 평가된 사이트를 Mastodon이나 Lemmy 타임라인에 추가할 수 있으면 좋겠음
    • 재미있는 문장임. 대부분의 개인 사이트는 10년, 20년 된 링크가 깨지지 않도록 정말 애씀 :P

  • Kagi는 돈값을 충분히 함. 6개월 동안 주 검색엔진으로 써왔고, 그 기간에 Google !g를 10번 정도 쓴 것 같음

    • GeeksForGeeks 같은 SEO 쓰레기 사이트를 차단할 수 있고, 첫 3~5개 결과가 광고로 채워지지 않는 것만으로도 충분히 값어치가 있음. 특정 사이트의 결과를 개인화 수준에서 더 높일 수 있는 것도 좋음
      다만 나는 검색을 꽤 많이 쓰고, 실수로도 자주 검색해서 매달 “Pro” 등급 검색량을 종종 넘기는 게 아쉬움. 그래도 꽤 비싼 무제한 등급으로 올리지 않고 추가 검색을 구매할 수 있는 선택지가 있는 건 다행임
    • Kagi에 익숙해진 뒤 다른 사람 컴퓨터에서 Google 검색을 하면 정말 이상한 느낌임. 최근에 작은 사용성 개선을 요청했는데 몇 주 안에 구현됐음. 다른 검색엔진에서는 그럴 가능성이 전혀 없음
      검색 결과는 DuckDuckGo를 포함해 다른 곳보다 꾸준히 좋고, 그래서 앞으로도 만족하는 유료 고객으로 남을 것임
    • 동의함. 1년 조금 넘게 만족하며 유료로 쓰고 있고, 그전에는 베타도 썼음
      AltaVista가 있던 시절 처음 Google을 발견했을 때와 약간 비슷한 느낌임
    • Kagi에 매우 만족하는 또 다른 사용자임. 돈을 낼 가치가 충분하고, 조금만 비용을 지불할 의지가 있으면 어떤 서비스가 가능해지는지 보여주는 좋은 예임
    • 조금 덜 긍정적인 관점을 보태면, Kagi를 몇 주 시험해 봤고 기능과 사업 모델은 마음에 들었지만 검색 결과는 내 Searx 인스턴스보다 낫지 않았음. Kagi는 기본적으로 Searx와 비슷하게 제3자 검색엔진에 익명화된 API 호출을 하는데, 더 친절한 UI로 포장한 것에 가깝고 경험도 크게 다르지 않음
      게다가 Searx는 훨씬 더 많은 검색엔진을 지원하고, 내가 원하는 대로 정확히 맞춤 설정할 수 있음
      Kagi가 좋은 의도와 좋은 제품을 가진 건 분명해서 잘되길 바라지만, 계정을 만들어야 하는 독점 SaaS보다 덜 다듬어지고 기능이 적더라도 동등한 오픈소스 자가 호스팅 해법을 선호함
      수정: 사실 내가 틀렸음. Kagi도 자체 크롤러와 색인을 갖고 있음: https://help.kagi.com/kagi/search-details/search-sources.html 그래도 Searx 결과가 부족하다고 느끼진 않아서 크게 놓치는 건 없음
      Searx, 그리고 부분적으로 Kagi에서 걱정되는 건 제3자들이 언제든 이런 API 요청을 차단할 수 있고, 그러면 Searx는 쓸 수 없게 되고 Kagi 결과도 관련성이 떨어질 수 있다는 점임. 이 방식이 검색엔진을 만들기에 지속 가능한지는 모르겠지만, 광고에 대한 Kagi와 Searx의 태도는 높이 평가함. 주류 검색엔진을 자체 프런트엔드로 쓰는 건 아무리 좋게 봐도 답답한 경험임

  • 이런 것 때문에 Kagi 구독자인 게 정말 기쁨. Kagi에서 가치를 얻을 뿐 아니라, 내가 낸 돈이 내가 동의하는 방향으로 Kagi를 발전시키는 데 쓰인다는 걸 보여줌
    비교하자면 Spotify는 내가 쓰는 구독 중 하나일 뿐인데도 적대적으로 느껴짐. 돈은 내지만, 대안이 있다고 느끼면 바로 취소할 것임
    내가 산다고 느끼는 것과 Kagi의 개발 방향이 맞아떨어지는 점을 정말 높이 평가함

    • 음악 스트리밍은 정말 엉망임. 괜찮은 서비스를 찾으려고 많이 시도했지만, 모두 부끄러운 문제가 있었음
      Spotify는 정말 적대적이고 조작적이며 아티스트에게 끔찍함. 내 입장에서는 홈 화면이 지나치게 상업적이고, CarPlay 인터페이스는 솔직히 안전하지 않을 정도로 사용자에게 적대적인 재앙임
      TIDAL은 여러 면에서 꽤 좋음. 아티스트에게도 잘 지급하고 추천도 괜찮음. 다만 앱에 몇 년째 남아 있는 멍청한 버그들이 있는데, 가장 짜증나는 건 재생목록을 셔플하면 인터페이스가 위쪽에서 미리 캐시한 십여 곡만 섞는다는 점임. 전체 라이브러리를 셔플하려 하면 같은 십여 곡만 계속 듣게 됨
      Deezer는 좋아하고 싶었지만 앱이 별로였고, 빠진 곡도 생각보다 많았음
      결국 Apple Music으로 정착함. iPhone을 쓰니 자연스럽게 잘 맞고, CarPlay 인터페이스도 훌륭함. 아티스트 지급도 TIDAL에 거의 근접함. 추천은 충분히 좋고, 홈 화면이 대형 레이블이 홍보비를 낸 것만 계속 밀어붙인다는 느낌도 별로 없음. Windows 앱은 끔찍하고, Linux 앱은 없지만, 다행히 Cider라는 꽤 훌륭한 오픈소스 앱이 그 문제를 해결해 줌

  • RSS 피드에서 MathML을 제거하는 것처럼 보이는데 의도한 건가, 아니면 이를 인식하지 못하는 오래된 정리 도구를 쓰는 건가? 예를 들어 내 RSS 피드 https://www.jefftk.com/news.rss의 최신 글 https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections에는 다음이 있음
    <math display="block">
    <msup><mi>e</mi>
    <mrow><mi>k</mi><mi>t</mi></mrow></msup>
    </math>
    그런데 Kagi RSS 피드 https://kagi.com/api/v1/smallweb/feed에서는 e와 kt로 보임
    수정: 이슈를 등록했음: https://github.com/kagisearch/smallweb/issues/10

  • 몇 가지 질문이 있음
    첫째, 최근 블로그 업데이트를 우대하는 근거가 무엇인지 궁금함. 내 경험상 최근 업데이트는 검색 결과로 가장 약하고, 변경이나 링크 깨짐에 더 취약하며, 전반적으로 품질이 낮은 편임. 최근 콘텐츠를 밀어주면 목록에 오를 확률을 높이기 위해 저품질 글을 쏟아내는 유인이 생기지 않을지도 궁금함
    둘째, 이 영역을 조금 다뤄보면 항상 거의 터무니없을 정도로 기술/프로그래머 블로그 쪽으로 쏠림. 블로그가 있는 집단과 프로그래머 관심사를 가진 집단이 강하게 겹치긴 하지만, 다른 관심사가 더 잘 대표되면 다른 그룹에게도 더 매력적일 것 같음. 이 점을 생각해 봤는지, 그렇다면 무엇을 할 수 있다고 보는지 궁금함

    • Viktor, 안녕!
      첫째에는 몇 가지 요인이 있음. 같은 검색어라면 더 최근 콘텐츠가 더 관련성 있는 경우가 많고, 적어도 신선함 덕분에 완전히 무관해지는 걸 막아줌. 검색엔진에서 가장 피해야 하는 게 완전히 무관한 결과임. 품질은 애초에 선별된 목록이라는 점에서 어느 정도 보장됨
      RSS 피드 기술에 의존하기 때문에 목록을 모으고 유지하기가 비교적 쉬웠고, 초기 데이터로 삼을 소스도 많았음
      최근 글에 초점을 맞추면 블로그 글에서 강조한 예처럼 일부 사람들이 글을 더 쓰도록 장려할 수 있음. 웹에는 전반적으로 고품질 비상업 콘텐츠가 더 필요하고, 궁극적으로 우리가 기여하고 싶은 부분도 그쪽임. 이런 행동을 장려할 플랫폼을, 아주 작더라도 제공하면 우리가 좋아하는 웹에 한 걸음 가까워짐
      둘째에는 대체로 동의함. 다만 이번 시도를 위해 다양한 웹사이트 풀을 만들려고 노력했고, 예를 들어 경제나 사진 관련 사이트도 많이 보임. 결국 Kagi나 Marginalia 같은 플랫폼을 통해 다양한 분야의 콘텐츠가 더 만들어지도록 장려하고, 잘 풀리길 바랄 수밖에 없음

  • 정말 멋짐! 지난 2개월 동안 개인적으로 small web 링크를 둘러보는 여정을 하고 있었음. 시작은 HN의 “Ask HN: 개인 블로그를 공유해 줄 수 있나요?” 글이었고, 누군가 그 글의 링크를 정리한 사이트 https://dm.hn/를 만들어 둔 것도 알게 됨
    블로그 링크 1651개를 전부 XLS로 내보낸 뒤, 가끔 5~7개씩 열어 무작위 글을 읽고 “봤음”으로 표시하고 있음. 지금까지 1651개 중 250개를 봤음
    Kagi에도 모든 소스에서 모은 개인 웹사이트 링크를 한곳에서 볼 수 있는 비슷한 기능이 있으면 좋겠음

  • 내 글 “The Small Web is Beautiful”에 눈에 띄는 링크를 걸어줘서 고마움. 그 글은 내 개인 소프트웨어 선언문이라고 생각해서, 더 널리 홍보되는 걸 보니 기쁨
    Kagi Small Web에서 하는 일이 정말 마음에 듦. 이런 훌륭한 콘텐츠를 표면으로 끌어올리기 시작한 주도성이 좋음. 계속 잘해 줬으면 함. Kagi 검색도 한번 써볼 생각임

    • Ben, 그 글을 써줘서 고마움. 정말 영감을 주는 글임. Kagi 사용 경험도 마음에 들길 바람

  • Vlad, 멋짐! 이게 실제로 사용자나 회사에 얼마나 도움이 되는지는 알기 어렵지만, 현대 인터넷에서도 이런 일이 아직 일어난다는 걸 알면 마음이 따뜻해짐

    • 고마움. 그냥 하고 싶었던 일 중 하나였고, 이걸 위해 처음부터 끝까지 코드 100% 를 직접 썼으며 거의 한 달의 상당 부분이 걸렸음. CEO 시간의 최선의 사용은 아니라고 할 수도 있지만, 재미있었고 옳은 일처럼 느껴졌음

  • 내 웹사이트를 목록에 추가하고 싶지만, robots.txt에서 모든 크롤러를 차단하고 있어서 직접 제출은 허용되지 않는 것처럼 보임. 추가될 방법이 있을까?
    Kagi 검색 결과에 포함되는 건 좋지만 Google, ChatGPT, 그다음 무리들에게 긁히고 싶지는 않아서, 가장 쉬운 방법으로 전부 차단해 둔 상태임

답변달기