검색 엔진의 쇠퇴는 기회다

 (lewiscampbell.tech)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 검색 엔진 품질 저하는 오래된 웹 탐색 방식인 하이퍼링크와 개인 링크 페이지를 다시 활용할 계기가 됨
  • Google은 수년간 제대로 사용할 수 없었고, DuckDuckGo/Bing은 꾸준히 나빠지고 있으며, Yandex는 상대적으로 인상적이지만 여전히 최첨단 수준에는 못 미침
  • YouTube 는 정말 최악이라, 비슷한 얼굴과 다듬어진 제목 배경들이 반복되어 검색 자체를 피하게 만듦
  • Kagi는 위 검색엔진들에 의존하는 것으로 보이며, LLM 검색 요약은 품질 낮은 검색 결과 위에 만들어진 비결정적 요약이라는 한계가 있음
  • 개인 사이트가 좋아하는 웹사이트를 직접 링크하면, 중앙화된 웹에 맞서 World Wide Web을 하이퍼링크 단위로 되찾는 방식이 됨

핵심 문제의식

  • 검색 엔진 성능 저하는 이제 부정하기 어렵다는 문제의식에서 출발함
  • Google은 수년간 사용할 수 없었고, DuckDuckGo/Bing은 꾸준히 나빠지고 있으며, Yandex는 비교하면 더 인상적이지만 과거의 최첨단 수준에는 몇 걸음 뒤처져 있음
  • YouTube 검색은 비슷한 형식의 얼굴과 제목 카드가 반복되는 영상들 때문에 instinctively 피하게 되는 대상이 됨
  • Kagi는 자주 추천되지만 앞서 언급한 3개 제공자에 의존하는 것으로 보임
  • LLM은 대신 검색할 수 있지만, 검색 결과 자체가 품질 낮을 때 그 위에 만들어지는 비결정적 요약은 문제를 해결하지 못함

제안된 대응

  • 해결책은 검색창 밖에서 생각하는 것이며, 답은 하이퍼링크임
  • 초기 웹에서는 멋진 사이트의 흔한 “links” 페이지를 클릭하며 다른 흥미로운 사이트를 발견하곤 했음
  • 그런 링크는 때로 무관하거나 죽어 있었지만, 때로는 정확히 맞아 오래 기억나는 사이트로 이어졌음
  • 중앙화된 웹을 한탄하는 대신, 웹사이트 운영자는 자신이 좋아하는 웹사이트를 직접 링크할 수 있음
  • 나의 새 links page는 “web ring”도 아니고 상호 팔로우도 아니며, 그저 좋아하는 것들의 목록임
  • 링크된 사이트가 다시 링크해 줄 것을 기대하지 않으며, 누군가 링크하더라도 맞링크를 기대하지 말아야 함
  • 각자가 원하는 곳에 링크하고 자신만의 링크 페이지를 만들면, 하이퍼링크 하나씩 World Wide Web을 되찾는 방식이 됨

함께 보면 좋은 글 β

GN⁺   [-]
Lobste.rs 의견들

  • 아쉽게도 Google이 AI 개요 패널 안에 실제로 꽤 좋은 링크들을 넣어두고, 그 링크들이 보통 상위 검색 결과보다 낫다는 걸 봤음
    예를 들어 "what is a linked list"를 검색하니 AI 영역의 사이드 패널 맨 위에는 Reddit 스레드가, 그다음에는 해당 Wikipedia 글이 나왔음. 개인적으로 Wikipedia가 1위여야 한다고 보지만 어쨌든 그랬음
    반면 일반 검색 1위는 GeeksForGeeks 글이었고, GeeksForGeeks를 비난하려는 건 아니지만 검색 엔진 최적화가 매우 강하게 들어간 글이며 웹에는 더 나은 콘텐츠가 있는데도 높게 랭크됨. 이 경우 Wikipedia는 2위였음
    LLM이 링크를 더 잘 고른다고 해도, 실제로 그렇다고 보진 않고 신중하게 설계된 결과일 가능성이 크며, 이는 엔시티피케이션의 대표 사례임. 좋은 링크를 <div id="slop"> 안에 숨겨두고, 거길 클릭하면 지표상으로는 행복한 잡동사니 소비자가 됨. 이미 실제 검색 결과가 형편없다는 걸 알기 때문임

    • “GeeksForGeeks를 비난하려는 건 아니다”라고 했지만, 그 사이트는 충분히 비판받아도 됨. 검색 엔진 최적화는 잘하지만 실제로 찾는 정보가 있는 경우는 드물고, ‘slop’이라는 말이 널리 퍼지기 전부터 이미 그런 콘텐츠였음. 그래서 검색 결과에서 차단해둔 사이트 중 하나임
    • 범용 검색 엔진을 쓰기보다, 더 적합한 전문 검색이 뻔히 있는 경우에는 그쪽을 쓰는 편이 큰 깨달음이었음. 연결 리스트를 찾을 때 원하는 내용이 Wikipedia에 있을 가능성이 높은데 굳이 Google을 쓸 이유가 없음
      Firefox에 단축어를 추가해서 @w linked list처럼 입력하면 바로 Wikipedia로 가게 해뒀음. Arch Wiki, MDN, Stack Overflow, IMDB 같은 더 좁고 특화된 검색도 많이 가능함
      애초에 전 세계의 어떤 정보든 찾아주는 서비스를 한 회사가 운영해도 된다고 믿는 발상 자체가 꽤 의심스럽다. 작년에 이에 대해 쓴 적이 있음
      “예전에는 몇 개 키워드만 Google에 넣으면 존재하는 건 뭐든 찾을 수 있었다”고 그리워하기 쉽지만, 사실 그건 한 번도 참이 아니었음. 혼란스러운 웹을 헤매지 않게 해준 대가로, Google이 웹의 정의 자체를 바꾸도록 허용했음. “Google에 없으면 존재하지 않는다”고 했지만, 틀렸고 이제야 얼마나 틀렸는지 보기 시작함
      웹 전체를 신의 시점에서 객관적으로 바라보는 일은 근본적으로 불가능함. 웹처럼 거대한 것을 색인하면서 악용을 막으려면 크고 작은 판단을 수천 번 내려야 함. 검색을 할 때마다, 아니 추상화를 할 때마다 현실의 단순화를 받아들여야 함. 지도가 영토가 아니듯, 색인은 웹이 아님
      https://search.technomancy.us/why
    • &udm=14라는 자칭 “엔시티피케이션 해제 Konami 코드”가 있음. 항상 보통은 “More” 아래 숨겨진 Web 검색 탭으로 리다이렉트해줌. 한동안 여러 기기에서 켜두고 “멍청한” 검색을 되찾아서 매우 만족 중임
      여전히 검색 엔진 최적화와 순위 조작의 결함은 있지만, AI 개요가 빼앗아 간 통제감을 어느 정도 돌려줌
    • 이런 현상은 한동안 계속됐고, 작년에 예시를 블로그에 쓴 적도 있음. 매우 짜증 나며, 사람들이 Google 사이트에 더 오래 머물게 하려는 의도적인 설계일 수밖에 없어 보임
      Google과 웹사이트 사이의 거래는 거의 무효에 가깝다고 봄. 내 사이트 링크를 보여줄 준비가 안 되어 있다면, 왜 그들의 봇이 내 사이트를 크롤링하도록 허용해야 하나

  • 블로그에서도 언급했듯 아직 안 써봤다면 Kagi를 한번 써보는 게 좋음. Kagi가 다른 대형 검색 엔진의 크롤링 데이터나 검색 색인을 쓴다는 건 잘 알려져 있지만, 데이터만 쓰고 검색 결과 순위는 자체적으로 매김
    2년 넘게 쓰고 있는데 만족스럽고, DuckDuckGo로 못 찾던 것도 찾은 적이 있음. 검색 결과에서 사이트를 올리거나 내리거나 차단할 수 있고, Redirects (URL Rewrites) 같은 기능도 많음
    Kagi의 공개적인 소통 방식도 마음에 듦. Changelog에 Kagi Feedback의 각 티켓 링크가 붙어 있고, 이곳은 이슈 트래커 역할도 함. Status 페이지도 있음. 자기 사이트에 링크 페이지를 만들자는 아이디어와 관련해서는 Kagi Small Web이 어느 정도 비슷하고, Kagi Small Web website에서 무작위 사이트를 방문할 수 있음
    John Gruber(Daring Fireball)와 Cory Doctorow(Pluralistic)도 쓰고 있음. 예시는 Seriously, Give Kagi a Try, Another Periodic Suggestion to Try, Just Try, Switching to Kagi for Search, Tim Bray: ‘Mourning Google’, The Talk Show: ‘A Professional Internet User’, With Kagi Founder and CEO Vlad Prelovac, Tag: kagi 참고
    100회 검색 체험판이 있고, 검색량에 따라 연 $54인 Starter로 충분할 수도 있음. 더 필요하면 Individual Pricing에서 확인하면 됨. Duo and Family도 있어서 인당 비용은 더 낮아질 수 있지만 Professional에서만 가능함. 언제든 업그레이드나 다운그레이드가 가능하고, 남은 잔액은 비례 계산되어 새 요금제에 적용됨

    • 하지만 Kagi는 Yandex를 쓰기 때문에, 돈을 내는 건 간접적으로 Putin 정권을 지원하는 셈임. 우크라이나인을 죽이는 일을 알면서 지원하고 싶지는 않음
    • 실제로는 여러 출처를 집계하고 있음. 그래도 훌륭하다는 데는 동의하고, 방금 구독을 갱신했음
    • DuckDuckGo도 검색 결과에서 사이트 차단은 가능한 것으로 알고 있음. 사이트를 올리거나 내리는 기능은 없는 것 같고, 적어도 시도해본 적은 없음
      Kagi가 검색으로 전환하기 전에는 AI 회사로 시작했다는 점도 알아둘 필요가 있음 [https://help.kagi.com/kagi/ai/kagi-ai.html]. 이 사실 자체로 뭔가를 암시하려는 건 아니지만, 모르는 사람이 많을 수 있어 공유함
      더 직접적으로는, 전체 글이 광고처럼 쓰여 있어서 조언을 조심해서 받아들이는 게 좋겠음
    • Kagi에 대한 칭찬을 많이 들었지만 내 경우에는 같은 운이 없었음. 그 경험을 부정하려는 건 아니고, 내가 잘못 쓰고 있을 가능성이 있다고 봄. 그래서 어떤 검색을 Kagi에 넣고 있는지 궁금함
      내가 쓰는 기준 검색어는 "sesans spin echo length formula"였음. DuckDuckGo에서는 첫 링크가 SESANS Wiki 페이지인데 찾는 공식은 없고, 두 번째 링크가 그 공식을 담은 논문임. Google에서는 첫 링크가 SESANS의 수학적 기반을 많이 담은 학회 자료지만 원하는 공식은 없고, 역시 두 번째 링크에 공식이 있는 논문이 나옴. DDG의 두 번째 링크보다 상수 설명도 더 좋음
      Kagi에서는 여섯 번째 링크가 돼서야 찾던 관계식을 봤음. 내 기준에서는 Kagi가 더 나쁘지만, 기준 자체가 나쁜 것 같기도 함. Kagi가 가장 잘 작동하는 검색은 어떤 유형인지 궁금함
    • Kagi를 좋아했지만, 그들이 러시아에 돈을 흘려보낸다는 걸 알고 쓰지 않게 됨
      최근에는 Uruky를 쓰기 시작했는데 꽤 마음에 듦. 완벽하진 않지만 지금의 Google보다는 낫다. 다만 데이터 출처를 깊이 파보진 않았고 Yandex가 아닌지만 확인했으니, 더 아는 사람이 있으면 궁금함

  • 2024년에 Google과 Reddit은 Reddit 콘텐츠를 Google AI 학습에 쓰기 위한 6천만 달러 계약을 맺었음. 그래서 요즘 Google 검색은 site:Reddit을 접두어로 붙여 쓰는 것과 비슷함
    오래된 좋은 웹사이트들은 관련 없고 품질 낮은 결과 뒤에 숨겨짐

  • 요즘은 Yahoo 초기 사이트 같은 사람이 큐레이션하는 디렉터리가 해법인지 궁금함. 여기에 그 사이트들을 검색하는 방법을 붙이는 식임. Marginalia가 어느 정도 비슷한 것 같지만 디렉터리는 보이지 않음

    • 같은 생각을 했음. 글쓴이는 사실상 웹 디렉터리를 다시 발명한 셈이고, 확장성 문제에도 불구하고 다시 필요해질 때가 온 것 같음
    • 맞음. 바로 그거임. 제발 하나 만들어줬으면 함

  • “Kagi는 위에서 언급한 3개 제공자에 의존하는 것 같다”는 말이 사실인지는 모르겠지만, 말 그대로 별로 중요하지 않음. Kagi 검색은 정말 훌륭하고 가격이 두 배여도 아마 계속 낼 것 같음. 한 달 평균 1,432번 검색하는데 충분히 값어치가 있음

    • Kagi와 다른 검색 엔진을 나란히 돌렸을 때 어떤 차이를 봤는지 궁금함. 예시 검색어가 있나

  • “검색 엔진 기능 저하는 이제 부정하기 어렵다”고 하지만, 나만 못 느낀 건가? 여전히 검색해서 필요한 걸 찾고 있음

  • 거의 모든 것을 지속적으로 캐시하고 전체 텍스트 검색용으로 색인하는 방식을 생각하고 있음. 어떤 자료는 웹에서 사라지거나 도저히 찾을 수 없게 되는 것 같기 때문임
    예전에 비슷한 프로젝트들이 여기 공유된 적이 있음. 기본 아이디어는 모든 것에 SQLite와 FTS5를 쓰는 것임. 이 영역을 더 살펴볼 필요가 있음

    • SQLite FTS5로 내 초개인화 검색 엔진을 만들었음. 아직 브라우저 기록까지 색인하진 않고, 북마크와 내 소셜 미디어 계정에 올린 모든 URL만 색인함. 그래도 브라우저 기록 색인도 확실히 생각 중임. https://search.technomancy.us
      다른 사람들도 꼭 실험해보면 좋겠음

  • 두 댓글에서 언급된 걸 봤지만 링크로 남길 가치가 있음. Marginalia Search는 훌륭함
    https://marginalia-search.com/
    https://about.marginalia-search.com/

  • 이 스레드의 다른 사람에게 응답을 썼지만, 블로그 글과 관련이 있어 보여 최상위에도 적어봄. 너무 자기 홍보처럼 보이거나 불편하면 지울 수 있음
    짧게, 감상은 줄여 말하자면, 자라면서 알던 웹을 잃었다고 생각해 한동안 애도하듯 보낸 적이 있음. 하지만 그중 많은 부분은 아직 어딘가에 남아 있고, 내가 그걸 몰랐을 뿐임. 현대 웹은 물론 같지 않고, 내가 “애도”한 것의 상당 부분은 향수나 당시의 나이 같은 것이지만, 그래도 웹은 여전히 거대하고 흥미롭고 유용하고 재미있는 것들로 가득함. 다만 AI 도구가 검색 엔진을 먹어치우기 전부터도 찾기가 정말 어려워졌음
    내가 놓치고 있던 경험이 무엇인지 많이 생각했고, 여러 이유로 블로그 글쓴이와 같은 결론에 도달했음. 좋은 것들로 이어지는 링크를 실제 사람이 공유해야 하고, 더 느리고 의도적인 웹 서핑 태도를 길러야 함. 그런 취지로 협업형 웹 디렉터리를 만드는 도구를 만들었음: https://linklists.net
    아주 작고 거친 부분도 많음. 도구이면서 동시에 예술 프로젝트에 가깝기 때문에 홍보는 거의 하지 않았고, 주로 인디 웹 쪽 사람들에게만 조금 퍼뜨렸음. 알파로 몇 달째 운영 중이고 이미 크게 바꿔야 할 부분도 보이지만, 궁금해서 써보고 싶은 사람이 있으면 확인해보면 좋겠음

답변달기