▲

검색의 새벽을 기다리며: 검색 인덱스, 구글 판결, 그리고 Kagi에 미치는 영향

 (blog.kagi.com)
2P by GN⁺ 16시간전 | ★ favorite | 댓글 1개
  • 전 세계 검색 시장의 90% 이상을 구글이 점유하며, 이는 AI 발전과 정보 접근의 핵심 인프라를 한 기업이 통제하는 구조로 이어짐
  • 미국 법원은 2024년 8월 구글이 일반 검색 서비스에서 독점적 지위를 남용했다고 판결, 이후 DOJ(미 법무부) 가 인덱스 개방과 데이터 공유를 포함한 시정 조치를 발표
  • Kagi는 광고 없는 유료 검색 서비스로, 구글·빙과의 직접 라이선스 협상에 실패하고 제3자 API를 통한 임시 접근 방식을 사용 중
  • DOJ의 시정안이 시행되면 구글은 검색 인덱스와 질의 기반 결과를 경쟁사에 공정한 조건으로 제공해야 하며, 이는 Kagi 같은 독립 검색 기업의 혁신 기회를 확대
  • Kagi는 공공·광고·유료 검색이 공존하는 다층적 생태계를 목표로 하며, 정보 접근을 공공재로 복원하는 방향을 지향

검색 독점의 현실

  • 2025년 10월 기준 StatCounter 데이터에 따르면 구글의 전 세계 검색 점유율은 90.06% , 미국 내에서는 85% 로 나타남
    • Bing 4.31%, Yandex 1.84%, Yahoo 1.45%, DuckDuckGo 0.89%, Baidu 0.73% 수준
  • 이는 경쟁 시장이 아닌 사실상 독점 구조로, 검색 인덱스가 대체 불가능한 핵심 인프라로 작동
  • 마이크로소프트가 20년간 약 1,000억 달러를 Bing에 투자했음에도 점유율이 한 자릿수에 머무름
  • Sherman Act는 이러한 핵심 인프라 독점을 규제하기 위한 법으로, 공정한 접근을 강제할 수 있는 근거로 언급됨
  • 단일 광고 기반 게이트키퍼가 정보 접근을 통제할 경우, 민주적 의사결정과 사회적 학습 능력이 훼손된다는 경고 포함

Kagi의 접근과 한계

  • Kagi는 광고 없는 구독형 검색 서비스로, 다양한 데이터 소스를 통합해 고품질 결과를 제공
  • FRAND 조건(공정·합리·비차별) 으로 주요 인덱스 제공자들과 협상해 Mojeek, Brave, Yandex, Wikipedia, TripAdvisor, Yelp, Apple, Wolfram Alpha 등과 직접 라이선스 체결
  • 그러나 Google과 Bing은 협상 실패
    • Bing은 결과 재정렬·병합을 금지하고 2025년 8월 Bing Search API를 종료
    • Google은 공개 검색 API를 제공하지 않으며, 광고 번들 형태의 제휴만 허용
  • 이에 따라 Kagi는 제3자 SERP API 제공자를 통해 결과를 확보하지만, 이는 임시적 조치일 뿐

구글 반독점 소송과 DOJ 시정안

  • 2020년 시작된 미국 대법무부(DoJ) 대 구글 소송에서, 2024년 8월 법원은 구글이 독점 유지 행위로 Sherman Act 2조를 위반했다고 판결
  • 2025년 9월 DOJ는 다음과 같은 시정 조치를 발표
    • 독점 계약 제한: Search, Chrome, Assistant, Gemini 관련 독점 계약 금지
    • 데이터 공유: 경쟁사에 검색 인덱스 및 상호작용 데이터 제공
    • 광고 결합 금지: 검색 결과 접근을 Google Ads 사용과 연계할 수 없음
    • 인덱스 데이터 접근: URL, 크롤링 메타데이터, 스팸 점수 등을 한계비용 수준으로 제공
    • 유효기간: 6년간 효력, 5년 보장된 라이선스 기간
  • Kagi는 이 조치가 시행되면 공정한 인덱스 접근이 가능해질 것으로 기대함

시행과 집행의 중요성

  • 2025년 12월, 구글은 SerpApi를 상대로 대규모 스크래핑 소송을 제기
  • Kagi는 이를 “구글이 합법적 인덱스 접근을 제공하지 않기 때문에 발생한 구조적 문제”라고 지적
  • 구글은 과거 robots.txt 규범 이전 시기에 웹을 자유롭게 크롤링하며 인덱스를 구축했으나, 현재는 자사 독점 지위를 이용해 타사 접근을 제한
  • Kagi는 “직접 라이선스와 합법적 접근을 원한다”는 입장을 유지하며, DOJ의 시정안이 실질적 접근권 보장으로 이어져야 함을 강조

다층적 검색 생태계의 비전

  • DOJ 판결은 건강한 시장을 즉시 만들지는 않지만, 공정 경쟁 기반을 마련
  • Kagi는 3단계 검색 구조를 제시
    • 1단계: 정부가 운영하는 공공 검색 서비스(search.org) — 광고·중개 없는 비영리 정보 접근
    • 2단계: 무료 광고 기반 검색 — 상업적 기능 중심
    • 3단계: 유료 구독형 검색 — 품질·프라이버시·고급 기능 중심 (Kagi의 영역)
  • 이 모델은 공공 정보 접근, 상업적 편의성, 프리미엄 품질 경쟁이 공존하는 구조로, Sherman Act의 취지와 부합

결론

  • DOJ의 조치는 폐쇄된 독점 인프라를 개방형 공공 인프라로 전환하는 첫 단계
  • 구글이 인덱스 접근을 공정한 조건으로 제공하면, 검색·AI 생태계의 혁신 경쟁이 가능
  • Kagi는 다중 소스 기반 검색과 자체 Small Web Index를 지속 확장하며, 합법적·투명한 접근 체계를 준비 중
  • 목표는 “정보 접근을 공공재로 복원하는 검색 생태계” 구축이며, 이는 향후 10년간 AI와 검색의 다양성 회복으로 이어질 전망
▲
GN⁺ 16시간전  [-]
Hacker News 의견들

  • 구글의 검색 인덱스를 새로 만드는 건 국가 철도망을 새로 까는 일처럼 방대한 작업임
    나는 궁금한 게 두 가지 있음. 첫째, 왜 다른 빅테크 기업들은 구글 독점을 깨기 위해 자체 인덱스를 만들지 않는지임. LLM 학습용 데이터셋처럼 공공재로 제공하면 UX 전반에 신선한 변화를 줄 수 있을 텐데 말임. 둘째, 법무부가 독점 관련 가이드라인을 냈는데 왜 주(州) 단위에서 강제하지 못하는지 궁금함

    • 구글은 초기에 robots.txt가 보편화되기 전 웹 전체를 자유롭게 크롤링하며 인덱스를 구축했음. 지금은 90% 점유율을 무기로 다른 크롤러를 제한하고 있음. 즉, 구글이 현재 적용하는 규칙은 자신이 성장할 때는 지키지 않았던 규칙임
    • 인덱스를 만드는 건 쉽지만, ‘새로운 인덱스’를 만드는 건 매우 어려움. 순위 매기기도 단순한 BM25 수준이 아님. 25년간 쌓인 구글의 기본 설정과 사용자 습관을 바꾸려면 반독점 조치나 기술적 대체재가 필요함
    • 스크래핑 자체가 어렵고, 고품질 스크래핑은 더 어려움. 공개 인덱스 시도는 있었지만 어느 것도 성공하지 못했음
    • 구글은 이미 동사로 쓰일 정도의 인지도를 가졌기 때문에 경쟁이 거의 불가능함
    • 애플, 마이크로소프트, 메타, 아마존 등은 광고 시장을 구글에 넘기고 각자 영역을 지키는 식의 묵시적 합의를 하고 있음. 구글 광고는 웹의 세금처럼 작동하며, 공공 인덱스가 생겨도 사이트 운영자들의 수익 구조는 바뀌지 않을 것임. 구글은 이런 현실을 잘 알고 있음

  • 나는 Kagi를 응원함. 기술은 이해하지만 검색 산업의 내부 구조는 잘 몰랐던 나에게 그들의 투명성이 인상적이었음. 다만 구글이 실제로 시정 명령을 따를지는 미지수임. 그래도 약간의 희망은 있음

    • 나는 Kagi의 차단 기능(block feature) 때문에 응원함. SEO로 도배된 저품질 사이트를 완전히 걸러낼 수 있음

  • 기사 속 통계는 믿기 어려움. 전 세계의 20%는 구글이 차단된 지역인데, “전 세계 90%가 구글을 쓴다”는 건 과장임. 실제로는 미국 중심 통계로 보임

    • 위키피디아의 검색엔진 시장 점유율을 보면 러시아는 Yandex 70%, 중국은 Baidu 59%, 한국은 Naver 59%, 일본은 Google 76%로 지역별 편차가 큼
    • 중국 사용자는 구글을 선택할 수 없으니 통계에서 제외된 듯함. StatCounter 데이터는 대표성이 부족함
    • 어차피 Kagi도 중국에서는 쓸 수 없을 것임
    • 구글이 차단된 국가는 대부분 윤리적 이유로 서구 기업이 진출하기 어려운 곳임. Kagi도 마찬가지일 것임

  • Kagi가 구글 API를 직접 쓸 수 없어 SerpAPI 같은 제3자 API를 이용한다고 밝힌 부분이 흥미로움. DeepMind 같은 구글 계열사도 고객 목록에 있다는 점이 아이러니함. 하지만 결국 Kagi의 쿼리가 구글로 전달될 수 있어 프라이버시 정책의 한계가 존재함

    • 어떤 이는 “구글이 허락하지 않으니 Kagi가 훔쳐서 되팔고 있다”고 표현했음
      • 하지만 웹에 공개된 정보를 활용하는 건 합법적 회색지대임. 구글도 처음엔 허락 없이 웹을 크롤링했음
      • 반독점 관점에서 보면, 검색 인덱스는 공공 인프라로 간주되어야 함. 과거 철도나 통신망처럼 분리·공유되어야 한다는 주장임
      • 현실적으로는 구글 크롤러만 특별 대우를 받기 때문에 신생 검색엔진이 경쟁하기 어려움
      • “돈 버는 데 윤리는 없다”는 냉소적 시각도 있었음
      • “구글의 AI 요약 기능도 결국 같은 행위 아니냐”는 의견도 나왔음

  • 유럽에서는 Open Web Search Initiative와 Open Web Index 같은 프로젝트가 진행 중임. 14개 연구기관이 참여해 공개 웹 인덱스 인프라를 구축 중이며, 검색엔진과 LLM이 활용할 수 있는 구조화된 데이터를 제공하려 함

  • Kagi의 요금제 설명에서 “유료, 구독 기반 검색”이라 했지만 “광고 없는(ad-free) ”이라는 표현이 빠졌다는 지적이 있었음

    • 어떤 이는 이런 사소한 단어 하나로 Kagi를 의심하는 건 논점을 흐리는 일이라 말함. Kagi가 광고를 넣을 가능성은 낮고, 설령 넣더라도 사용자 선택형 광고 같은 방식이 될 수 있음
    • “사용자의 주의를 팔지 않는다”는 문구가 있으니 큰 문제는 아니라고 보는 사람도 있었음
    • 유료 사용자 입장에서는 광고가 들어오면 바로 구독을 취소할 것임. 광고 없는 검색 경험이 핵심 가치이기 때문임
    • “유료, 광고 없음, 석면 없음” 식으로 농담을 던지며 과도한 음모론을 경계하는 댓글도 있었음. xkcd 641 링크로 유머를 덧붙였음

  • 구글은 이번 판결의 시정 명령에 대해 항소 및 집행 정지 요청을 냈음. 관련 문서가 CourtListener에 공개되어 있음. Kagi가 원고 측을 지원하는 amicus brief를 낼지 궁금함. 구글은 과거 Epic 항소 때처럼 우호적 단체에 자금 지원할 가능성도 있음 (관련 기사)

  • 나는 종종 “구글링한다”고 말하지만 실제로는 Kagi나 DDG를 씀

    • 이런 상표의 일반화(genericization) 는 법적으로 구글에 불리함. ‘Aspirin’이 상표권을 잃은 사례처럼 말임
    • 나는 “웹에서 검색한다”처럼 브랜드 중립적 표현을 쓰려 함
    • 이탈리아어에서는 “to google”이 “googl-are”로 변형되는데, Kagi로 바꾸면 “kag-are”가 속어로 ‘큰일 보기’ 를 뜻해 웃기다고 함
    • “Xerox”나 “Kleenex”처럼 구글도 일반명사가 되었지만, 여전히 실질적 독점 상태임
    • 대부분 사람들은 Kagi를 몰라서 굳이 설명하기 싫음

  • Kagi의 AI 어시스턴트는 출처 중심 요약을 제공해 만족스러움. Claude나 ChatGPT처럼 인격을 흉내내지 않아 연구용으로 쓰기 좋음. 출처 기반 응답이 핵심 강점임

답변달기