GN⁺: 구글, 빙, 마지널리아, 카기, 뭄블, 그리고 챗지피티 비교 분석

검색 결과의 질은 얼마나 나쁜가?

• 검색 결과의 질에 대한 실험을 제안함. 예를 들어 "youtube downloader"와 같은 일반적인 용어로 yt-dlp와 같은 오픈 소스 프로젝트를 찾는 것은 콘텐츠 팜들 때문에 어려움.
• 많은 기술 전문가들이 구글 검색 결과가 10년 전보다 현저히 나빠졌다고 생각함. 반면, 여전히 검색 결과가 좋다고 주장하는 사람들도 있음.

검색 엔진 및 ChatGPT 비교

• 다양한 검색 엔진과 ChatGPT를 사용하여 세 가지 유형의 질문에 대한 검색 결과를 비교함.
• 검색 엔진들은 광고 차단기를 끄고 일반 사용자의 경험을 재현함.
• 검색 결과의 질은 주관적으로 평가되며, 사기성 결과의 존재 여부에 따라 다르게 평가됨.

검색 결과 평가

• Marginalia는 때때로 적당한 답변을 제공하며, 사기성 결과의 비율이 가장 낮음.
• Mwmbl은 사용자가 검색 결과 순위를 직접 편집할 수 있음.
• 구글은 최근의 유튜브 동영상을 반환하는 경향이 있으며, 이는 대부분의 사용자에게 무용함.
• ChatGPT는 한 경우에서 인상적인 성능을 보이고, 다른 경우에는 적절한 작업을 수행하거나 질문에 대답을 거부함.

구글과 빙의 문제점

• 구글과 빙은 다양한 종류의 잘못된 결과를 반환함.
• 전통적인 검색 생태계는 사용자에게 가장 이익이 되는 결과를 제공하기보다는 소프트웨어 공급망에 가장 이익이 되는 것을 우선시함.

광고 기반 검색의 문제

• 광고 기반 검색 엔진은 사용자에게 좋은 검색 결과를 제공하는 것과 일치하지 않는 동기를 가짐.
• 구글은 광고와 실제 검색 결과를 구분하기 어렵게 만들어 사용자가 혼동할 수 있도록 함.

작은 검색 엔진의 가능성

• Marginalia와 같은 작은 검색 엔진이 구글을 대체할 수 있는지, 또는 여러 작은 검색 엔진이 구글보다 나은 결과를 제공할 수 있는지에 대한 질문이 제기됨.
• Mwmbl의 사용자 큐레이션 접근 방식이 효과적일지에 대한 의문이 있음.

GN⁺의 의견

• 검색 결과의 질에 대한 논쟁은 사용자들이 얼마나 검색 엔진에 의존하고 있는지를 보여줌. 구글과 같은 대형 검색 엔진이 여전히 우세하지만, 작은 검색 엔진들이 틈새 시장에서 경쟁력을 가질 수 있음을 시사함.
• 광고 기반 검색 엔진의 문제점은 사용자들이 진정으로 원하는 정보를 찾는 데 있어 장애물이 될 수 있음을 강조함. 사용자 경험을 향상시키기 위한 대안적인 검색 엔진의 필요성을 부각시킴.
• 이 글은 기술에 정통한 사용자들이 어떻게 검색 엔진의 한계를 극복하고 있는지, 그리고 일반 사용자들이 직면하고 있는 검색 엔진의 문제점을 이해하는 데 도움이 됨.

[neo]

Hacker News 의견

• Marginalia Search의 알고리즘 개선에도 불구하고, 샘플 쿼리에서 운이 좋았을 수 있음. 여전히 다른 대안들에 비해 히트 앤 미스(hit and miss)가 많다고 생각함. 이는 검색 품질을 평가하는 것이 어렵다는 것을 보여줌. 키워드 검색 엔진으로서 의미론적 이해가 없는 것에 대한 이해가 필요함.
• Kagi에 대한 경험을 공유하며, HN에서 듣고 100번의 검색 후 구독함. 임의의 JS와 CSS 검색 시 MDN이 첫 결과로 나타나며, 그렇지 않을 경우 스팸 사이트를 하위 등급으로 조정할 수 있음.
• Google의 검색 결과가 여전히 매우 좋다고 생각하는 사람들 중 한 명임. 광고 차단기(uBlock Origin) 사용을 인정하며, 비활성화할 생각이 없음. 비전문가의 검색 경험을 모방하기 위해 광고 차단기를 끄는 저자의 관점을 이해하지만, 광고 차단기를 켠 상태에서도 다른 테스트를 할 수 있음. yt-dlp에 대한 검색 결과 기대는 비전문가 경험과 일치하지 않음.
• Kagi의 현재 검색 결과를 계정이 없는 사람들과 비교하기 위해 여러 검색어에 대한 링크를 제공함.
• 웹상의 스팸이 너무 많다는 저자의 의견에 동의함. Kagi는 스팸을 하위 등급으로 처리하는 데 있어 꽤 좋은 일을 하고 있으며, "Small Web"과 같은 특별한 검색 모드를 통해 스팸을 거의 제거할 수 있음.
• 검색이 어렵고 모두가 검색 결과를 조작하는 방법을 알고 있다고 생각함. Kagi나 Google의 프로그래머블 검색 엔진과 같이 사이트를 효과적으로 변경할 수 있는 검색 엔진 사용을 추천함. 결과에 대한 투표 기능은 매력적이지만 조작될 가능성이 있음. 화이트리스트 접근 방식은 단점이 있지만, 새로운 도메인을 소셜 미디어를 통해 검증하는 것을 선호함.
• 검색 품질이 나빠졌다는 주장이 종종 일화적 증거에 기반을 두고 있으며, 이는 검증 가능한 주장이어야 함. 실제 증거와 기준을 제시하는 시도가 있었지만, 일반적인 주장을 만들기에는 샘플 크기가 너무 작음.
• ChatGPT에 대한 기사를 작성하는 사람들이 왜 3.5 버전을 사용하는지 이해할 수 없음. GPT-4와 비교할 때 결과가 현저히 다름.
• uBlacklist를 사용해보라고 추천함. 검색 결과를 차단할 수 있는 도구로, 설정과 개인 차단 목록을 Dropbox나 Google Drive와 동기화할 수 있음. 차단 목록 구독 기능도 있지만, 아직 내장된 피드는 없음.
• "YouTube 동영상 다운로드"에 대한 좋은 검색 결과는 yt-dlp 또는 그래픽 사용자 인터페이스를 갖춘 yt-dlp일 것이라는 기대에 대해 의문을 제기함. 대부분의 사람들은 프로그래밍에 관심이 없으며, 검색 결과가 주관적임을 깨닫게 됨.
• 저자가 Kagi에서 나쁜 결과를 얻었다는 것을 재현할 수 없음. 검색한 동일한 용어에 대해 훨씬 뛰어난 결과를 보임. 저자가 어떻게 그런 나쁜 결과를 얻었는지 궁금함.
• 검색 결과가 모두 동일한 유형의 링크를 반환해야 한다는 저자의 기대가 이상함. 10개의 링크가 모두 같은 것을 가리키는 검색은 나쁜 검색임. 검색 결과는 주어진 쿼리에 대해 합리적인 추측을 커버해야 함. 검색 엔진 품질 지표에도 이러한 의견이 반영됨.