비상업적 콘텐츠를 우선시하는 검색 엔진 Marginalia

 (marginalia-search.com)
4P by GN⁺ | ★ favorite | 댓글 1개
  • Marginalia Search는 상업적 최적화가 덜한 웹을 탐색하고, 오래되어 잊힌 웹사이트를 다시 찾는 데 초점을 둔 검색 엔진임
  • 검색뿐 아니라 사이트 탐색과 발견을 위한 경로를 제공하며, 이전 버전도 old-search.marginalia.nu에서 계속 이용 가능함
  • 프로젝트는 오픈소스로 공개되어 있고, 자체 색인·크롤러와 AI 없는 단순한 기술 구성을 내세움
  • 소스는 AGPL 라이선스로 공개되며, Git 저장소와 Project Discord를 통해 프로젝트 자료와 커뮤니티 접근이 가능함
  • 개인정보를 수집하지 않는 방식으로 GDPR을 준수하고, 쿠키 사용과 IP 로그 보관도 제한적으로 운영함

비상업적 웹 탐색에 초점을 둔 검색 엔진

  • Marginalia Search는 비상업적 콘텐츠를 우선시하는 검색 엔진임
  • 오래되어 잊힌 웹사이트를 찾는 기능을 강조하며, 검색과 발견을 위한 도구를 함께 제공함
  • 이전 버전은 old-search.marginalia.nu에서 계속 사용할 수 있음

오픈소스 프로젝트와 운영 채널

  • 프로젝트는 오픈소스로 공개되어 있음
    • 자체 색인과 크롤러 소프트웨어를 사용함
    • AI를 사용하지 않는 단순한 기술 구성을 내세움
    • 라이선스는 AGPL임
  • 관련 링크

개인정보 보호와 로그 정책

  • 기본적으로 프라이버시 보호를 지향함
    • 추적을 걸러냄
    • 제3자와 데이터를 공유하지 않음
    • IP를 장기 보관하지 않음
  • 웹사이트는 개인 정보를 수집하지 않는 방식으로 GDPR을 준수함
  • 쿠키는 서비스 기능 제공 외의 목적으로 사용하지 않아 EU Cookie Directive를 준수함
  • IP 주소가 포함된 접근 로그는 최대 24시간 보관됨
  • 출처 주소가 제거된 익명화 로그는 버그 진단을 돕기 위해 더 오래 보관될 수 있음
  • 연락처는 contact@marginalia-search.com임
  • IP 위치 정보는 IP2Location LITE 데이터를 사용하며, 라이선스는 CC-BY-SA 4.0임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이 검색엔진과 순위 알고리즘에 대해 최근 에세이를 썼음
    초기 Marginalia는 원 논문에서 다룬 흥미로운 PageRank 변형인 Personalized PageRank를 썼고, 현재 페이지 순위는 BM25로 매긴다고 봄
    Personalized PageRank는 유사도 기반 페이지 순위라는 Marginalia의 새 기능에도 아직 쓰이는 것 같고, 이미 사이트에 통합된 듯하지만 예전에는 테스트 페이지(https://explore2.marginalia.nu/)만 있었음
    어쨌든 만든 사람을 많이 존경하고, Marginalia가 크게 성장해 온 과정과 블로그 글(https://www.marginalia.nu/log/)을 읽는 게 흥미로웠음
    관련 글: https://www.marginalia.nu/log/26-personalized-pagerank/

    • 도메인 순위에는 Personalized PageRank를 쓰고 있지만 영향은 매우 약한 요소임
      주로 색인 안에서 결과의 물리적 순서에 영향을 주고, 질의 실행 시간이 제한되어 있으니 더 높은 순위의 결과가 먼저 발견되게 만드는 정도임
      Explore2와 검색엔진에 내장된 웹사이트 발견 도구는 들어오는 링크 벡터의 코사인 유사도를 사용함
      이 기법에 대해 “Creepy Website Similarity”라는 글도 썼음 :-) https://www.marginalia.nu/log/69-creepy-website-similarity/
    • 최근 에세이는 어디에 있나요?

  • 만든 사람임. 최근 웹사이트를 search.marginalia.nu에서 marginalia-search.com으로 옮기고 시각적으로도 조금 다듬었음
    내 블로그의 이상한 하위 도메인처럼 두기에는 너무 잘 작동한다고 느꼈기 때문임
    검색엔진 자체는 여전히 같음 :-)

    • 요즘 작은 웹 커뮤니티에서는 OpenAI와 그 비슷한 쪽의 공격적인 크롤링 때문에 걱정이 좀 있음
      Marginalia는 색인된 사이트를 얼마나 자주 다시 크롤링하나요?
    • 예전 버전의 random 버튼이 더 이상 작동하지 않는 것처럼 보임. 그 기능을 없앤 건가요?
    • 더 짧은 도메인 이름을 쓰지 않는 이유가 있나요? 만든 것은 정말 대단함

  • 이 프로젝트를 계속 따라오지 않은 사람을 위해 말하면, 이건 한 사람의 열정 프로젝트이고 Google/Bing/DDG와 경쟁하려는 목표가 아님
    “작은 웹”에서 흥미로운 것을 찾는 방법에 더 가까움
    써볼 때 이 점을 염두에 두면 좋겠음
    참고로 나는 만든 사람이 아님

    • 그 뒤로 바뀐 게 있는지는 모르겠지만, 2023년에 만든 사람이 검색엔진을 전업으로 개발하려고 직장을 그만뒀음 https://www.marginalia.nu/log/83_full_time/
      열정 프로젝트인 건 맞지만, 단순한 사이드 프로젝트만은 아님
    • 맞음. 다만 특정 틈새 분야, 예를 들어 Linux와 오픈소스 소프트웨어, 역사 쪽에서는 Marginalia가 Google이나 DDG보다 훨씬 나은 결과를 줄 때가 많았음
      주류 검색엔진에는 입력을 멍청하게 만드는 단계가 있는 듯해서, 낯선 검색어를 넣으면 오타나 잘못 기억한 것으로 보고 내가 검색하지 않은 표현으로 바꿔 백엔드에 보내는 것 같음
      또 주류 검색엔진은 원본이자 권위 있는 콘텐츠보다 기업 미디어를 우선하려고 애쓰는 듯함
      만든 사람은 “작은 웹에서 흥미로운 것을 찾는 용도”라고 계속 말하지만, 나에게는 흥미롭기만 한 것이 아니라 실제로 유용했음
      다만 거의 3년 전 Kagi로 옮긴 뒤로는 주제별 별도 검색엔진 같은 우회책을 유지할 필요가 없어졌음
      완전한 고지로, 다른 사람들은 Google 결과가 좋거나 Kagi 결과가 나쁘다고 자주 반박하지만, 내 경우 Google이 간단한 질의도 꾸준히 실패한 기록이 10년 넘게 쌓여 있고, Google이 잘 맞는다면 좋겠지만 나에게는 10년 넘게 안정적으로 작동하지 않아 질렸음

  • 특별히 새롭게 덧붙일 말은 없지만, 이 프로젝트가 HN에 올라올 때마다 좋음
    인내심과 애정을 들이면 무엇을 만들 수 있는지 잘 보여주는 프로젝트임

    • 언젠가 비슷한 걸 해보고 싶다고 생각했는데, 이건 기대 이상임. 정말 잘 만들었고, 기여할 방법이 있으면 알려주면 좋겠음

  • 지금 기준으로 DDG에 Marginalia bang 검색이 없는 듯해서 놀랐음
    <https://duckduckgo.com/bangs?q=marginalia>
    제안으로 제출해 둠

  • 최근 Google에서 검색했던 것들, 예를 들어 “celery”, “Wardian case”, “ferry from Italy to Greece”를 다시 검색해 봤는데, 모두 첫 결과가 꽤 그럴듯했음
    한번 써볼 생각임

  • 오랜만에 웹에서 본 것 중 가장 쾌적하고 유용하며 건강한 것임
    기술적으로도 매우 탄탄해 보이고 사용 경험도 흠잡을 데 없음
    인터넷의 영광스러운 시절로 데려가 줘서 정말 고마움

  • 관심 있는 분야의 비교적 단순한 검색어 몇 개, 예를 들어 “attention is all you need paper”, “sip rfc”, “klatt speech synthesizer”, “crafting interpreters book”, “Scott Alexander Substack”을 넣어 봤는데, 기대한 결과가 실제로 나오지는 않았음
    Marginalia는 무언가를 배우고 싶을 때는 그럭저럭 괜찮지만, 특정 대상을 찾고 싶을 때는 맞지 않는 듯함
    Scott Alexander의 Substack에 대해 사람들이 어떻게 생각하는지 읽고 싶다면 괜찮은 결과가 나오지만, 뉴스레터 자체를 찾고 싶을 때는 그렇지 않음

    • 맞음, 탐색형 질의는 성공과 실패가 좀 갈림
      Google이 그 부분은 이미 아주 잘한다고 느껴서 큰 우선순위는 아님
      나는 주로 Google이 못하는 쪽, 어떤 주제에 대한 사람의 콘텐츠를 찾는 데 노력을 집중해 왔음

  • 사이트 운영자 입장에서 발견된 백링크를 공개해 주는 점이 특히 좋았음
    이 서비스 덕분에 몰랐던 백링크 몇 개를 발견했음

    • 내 웹사이트의 백링크를 봤는데, 실제로 내 사이트로 링크한 것이 하나도 없어서 꽤 혼란스러웠음

  • 이전 도메인인 marginalia.nu 시절에 이미 많이 논의됐음
    Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - 2024년 9월, 댓글 24개
    Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - 2024년 2월, 댓글 44개
    Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - 2023년 11월, 댓글 21개
    Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - 2023년 10월, 댓글 39개
    Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - 2023년 5월, 댓글 22개
    Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - 2023년 4월, 댓글 193개
    Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - 2023년 2월, 댓글 17개
    A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - 2022년 8월, 댓글 22개
    The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - 2022년 8월, 댓글 22개
    Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - 2022년 5월, 댓글 72개
    Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - 2022년 4월, 댓글 37개
    Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - 2022년 3월, 댓글 29개
    Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - 2022년 1월, 댓글 53개
    A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - 2021년 9월, 댓글 717개
    https://news.ycombinator.com/user?id=marginalia_nu

    • 아주 좋음. 맨 처음 글은 내가 올렸음
      이 프로젝트를 좋아하고, 가까운 미래에 비슷한 프로젝트를 해보고 싶음
답변달기