3P by GN⁺ | ★ favorite | 댓글 1개
  • Search My Site는 개인 웹사이트의 실제 콘텐츠를 찾는 검색 엔진으로, 대형 검색에서 묻히기 쉬운 독립 웹 콘텐츠를 전면에 둠
  • 색인 범위를 사용자 제출·검토 사이트로 제한해 스팸, SEO용 콘텐츠, 클릭베이트가 섞인 전체 웹 색인과 다르게 동작함
  • 광고를 표시하지 않고 광고 없는 결과 페이지를 장려해 스팸과 감시 자본주의를 부추기는 인센티브를 줄이려 함
  • 운영비는 광고 대신 검색 서비스형 기능(search as a service) 으로 충당하는 모델을 목표로 하며, 사용자 요구와 광고주 이해관계의 충돌을 피하려 함
  • 검색·랭킹·색인 과정을 투명하게 공개하는 오픈소스 프로젝트이며, 광고 기반 개인정보 수집 모델을 쓰지 않아 프라이버시를 중시함

개인 웹사이트 중심 검색

  • searchmysite.net은 개인 웹사이트를 위한 부티크 검색 엔진
    • 대상은 indieweb, small web, digital gardens로도 불리는 개인·독립 웹 콘텐츠임
  • 특정 주제, 취미, 관심사에 대한 사람들의 개인 경험을 찾을 때 공개 검색을 사용할 수 있음
  • 대형 검색 엔진에서 자주 마주치는 마케팅 웹사이트와 블로그 스팸을 피하는 것이 주요 차별점임

광고 없는 운영 모델

  • 색인은 전체 인터넷이 아니라 사용자 제출 및 검토된 사이트만 대상으로 함
    • 스팸, 검색 엔진 최적화 콘텐츠, 클릭베이트가 섞인 전체 웹 색인과 다른 접근임
  • 광고를 표시하지 않으며 광고 없는 검색 결과 페이지를 장려함
    • 스팸과 감시 자본주의를 유도하는 인센티브를 제거하려는 목적임
  • 운영비는 광고가 아니라 search as a service 기능으로 충당하는 지속 가능하고 사용자 지향적인 모델을 목표로 함
  • 광고주에게 판매할 개인정보 수집에 기대지 않는 구조라, 검색 엔진으로서는 높은 수준의 프라이버시를 지향함

오픈소스와 커뮤니티 참여

  • 서비스는 완전 오픈소스
    • 검색, 랭킹, 색인 과정의 투명성을 높임
    • 커뮤니티가 서비스 개선에 더 많이 참여할 수 있게 함

댓글과 토론

Hacker News 의견들
  • Wiby도 언급할 만함. “초기 인터넷 시절의 웹페이지들로 이루어진 웹”을 만들려는 검색엔진이고, 색인 기준은 단순한 HTML, 비상업 사이트 선호, 꾸미기용 스크립트/CSS 최소화, 콘텐츠 위를 덮는 침입형 광고 금지, 비대한 웹사이트로 가는 포털성 페이지 배제에 가까움
    https://wiby.me

    • 이건 같은 목표가 아님. 색인 기준이 “독립/개인 사이트여야 한다”가 아니라 “평범한 HTTP 문서에 가까워야 한다”임
      Search My Site는 개인/독립 웹사이트를 드러내려는 쪽이고, Wiby는 최소한으로 스타일링된 문서를 드러내려는 쪽이라 목표가 다름
  • Marginalia도 있음. 예전에 HN에도 여러 번 소개됐음
    https://marginalia-search.com/
    https://news.ycombinator.com/item?id=35611923
    https://news.ycombinator.com/item?id=31536626

  • 다른 관련 사이트들: https://nownownow.com/, https://omg.lol/, https://indieweb.org/, https://ooh.directory/, https://neocities.org/, https://aboutideasnow.com/, https://indieblog.page/, https://wiby.me/, https://80.style/
    보통 인터넷을 크롤링해서 페이지를 찾고, 결과는 https://github.com/rumca-js/Internet-Places-Database에 둠. 개인 페이지에는 “personal” 태그를 붙여둠

    • 직접 운영하는 https://minifeed.net/도 있음. 곧 개인 블로그 1,000개 색인에 도달할 예정임
  • https://pagefind.app/단순함이 좋음

    • Astro 개인 블로그에서 쓰고 있는데 아주 좋음
    • 흥미롭다. fuse.js의 더 완성된 변형에 가까운 건가? 정적 Jekyll 블로그에 fuse.js를 막 붙여둔 상태임
    • 정적 사이트 전부에 쓰고 있을 정도로 Pagefind를 좋아함
  • 개인 웹사이트 검색 도구라면 Postgres가 조금 큰 데이터베이스 아닌가 싶음. 그래도 한번 써봐야겠고, 이런 도구가 더 많이 필요함

    • Postgres는 사이트 관리용으로만 씀. 제출 내역, 검토 상태, 구독 등을 추적하는 역할이고, 실제 검색 색인은 Apache Solr에 있음
      이론적으로는 관리 데이터도 Solr에 저장할 수 있지만, Solr식 문서 저장소를 마스터 데이터 저장에 쓰는 건 보통 권장되지 않음. SQLite 같은 더 가벼운 것도 가능하겠지만 서버 배포를 염두에 둔 도구이고 Postgres도 자원을 아주 많이 먹지는 않음
  • 마음에 듦. 웹을 훌륭하게 만들었던 바로 그런 무작위지만 공들인 개인 웹사이트들을 보다가 한 시간을 잃어버림

    • searchmysite.net이 하려는 일이 바로 그거임. “웹 서핑”을 다시 재미있는 여가 활동으로 만들려는 것임
      거의 3년 전 HN에 올라왔을 때는 검색창을 보고 Google 대체재라고 생각한 사람이 많았고, 아니라는 걸 알고 실망하기도 했음. 지금은 그 어느 때보다 AI가 아니라 사람이 만든 웹 콘텐츠를 찾는 방법이 유용해진 듯함
      https://news.ycombinator.com/item?id=31395231
  • 이런 프로젝트는 흥미로운 블로그와 잘 알려지지 않은 사이트를 찾는 데 정말 좋음. 내가 주로 쓰는 건 Marginalia Search
    https://marginalia-search.com/

  • 보기 좋음. 아이러니하게도 지난 10년간 Google이 장악해왔다는 점을 생각하면, AI 분야의 큰 승자 중 하나는 백엔드 검색엔진이 될 거라고 강하게 느낌
    현대 웹 검색은 Google 첫 페이지에 오르기 위한 온갖 기법으로 너무 오염됐고, 좋은 콘텐츠의 상당수는 묻혀버림. 이제 대형 모델들이 웹을 호출할 수 있게 되면서 이 비대함이 AI 검색에도 나타나고 있음. 광고가 없고, 보여주기보다 구조화된 데이터에 더 집중하는 제대로 된 데이터 우선 엔진이 필요함

  • 프로젝트를 살펴보다가 검색엔진의 기술적 세부사항은 이 블로그 글이 가장 통찰력 있었음
    https://blog.searchmysite.net/posts/searchmysite.net-buildin...

  • 조금 헷갈림. Solr가 검색엔진인데 LLM 모델도 로드되어 있음. 이 해법에서 LLM 모델이 무엇을 더해주는지 궁금함

    • LLM은 검색 증강 생성, 즉 “내 웹사이트와 채팅하기”식 인터페이스 실험용이었고, Apache Solr를 벡터 저장소로 사용했음
      비용을 감당하려고 작은 자체 호스팅 LLM으로 테스트했는데 결과가 기능 전체를 배포할 만큼 좋지는 않아서 LLM은 비활성화했고, 아마 완전히 제거할 가능성이 큼