Ecosia와 Qwant, 유럽 검색 인덱스 구축 협력

• Ecosia와 Qwant는 European Search Perspective를 통해 자체 검색 인덱스를 만들며, 유럽 검색 기술의 독립성을 높이려 함
• 검색 인덱스는 검색 엔진이 정보를 찾아 관련도 순서로 보여주기 위한 데이터베이스로, 결과 품질과 통제권을 좌우함
• Ecosia는 현재 Google과 Bing 인덱스를 함께 사용하지만, 2025년부터 새 인덱스를 검색 결과 데이터베이스 풀에 추가할 예정임
• 초기 적용은 Qwant와 Ecosia의 본국에 맞춘 프랑스어와 독일어 검색 결과부터 시작하며, 작은 규모로 검증함
• 새 인덱스는 디지털 주권, 프라이버시 우선 검색, AI 인프라를 위한 투명하고 안전한 데이터 풀을 목표로 하며 외부에서도 활용 가능하게 할 계획임

---

European Search Perspective가 노리는 것

• Ecosia는 Qwant와 함께 European Search Perspective를 구축함
• 핵심 작업은 자체 검색 인덱스를 만드는 것이며, 향후 AI 인프라를 포함한 기술 기반으로 활용될 수 있음
• Digital Markets Act 관련 활동과도 맞닿아 있으며, 더 공정하고 경쟁적이며 민주적인 기술 생태계를 지향함

검색 인덱스 적용 방식

• 검색 인덱스는 검색 엔진이 정보를 가져와 가장 관련성 높은 순서로 보여주는 데 쓰는 데이터베이스임
• 현재 Ecosia는 사용자 검색에 답하기 위해 Google과 Bing의 인덱스를 함께 사용 중임
• 2025년부터 새 인덱스가 검색 결과 제공용 데이터베이스 풀에 추가됨
  • 초기 대상 언어는 프랑스어와 독일어
  • Qwant와 Ecosia의 본국에서 작은 규모로 시작함
• European Search Perspective는 유럽 내 디지털 주권을 높이고, 신흥 AI 기술에 필요한 투명하고 안전한 데이터 풀을 제공하려는 목적을 가짐
• Ecosia와 Qwant가 함께 쓰는 프라이버시 우선 검색 인덱스로 개발되며, 독점 솔루션과 달리 다른 곳에서도 사용할 수 있게 할 계획임
• Ecosia는 검색 엔진 품질이 기후 영향 창출과 연결된다고 보고, 이 기술 개발을 친환경 기술의 미래를 위한 핵심 요소로 봄

[GN⁺]

Hacker News 의견들

• Qwant는 꽤 조심해서 봐야 함
  Axel Springer(Bild, Die Welt)에서 큰 투자를 받았고, 언젠가는 그 출판사가 투자 대가를 원하게 될 가능성이 큼
  Cliqz/Hubert Burda(또 다른 독일 대형 출판사) 때처럼 흘러가면, 프라이버시를 “미국 기업을 배제하는 것”으로 재해석하면서 독일 출판사와 데이터 공유는 괜찮다고 할 수 있음. 그들은 분명 선한 편이고 데이터를 책임 있게 다룰 거라고 믿으라는 식임
  Ecosia는 얼핏 훨씬 나아 보임. 전통 미디어와의 뚜렷한 연결도 없고 정치적 성향도 숨기지 않음. 다만 수익성이 있는지는 의심스럽고, 돈이 실제로 어디서 나오는지 확인해 보고 싶음

  • Axel Springer-Verlag는 가볍게 상대할 대상이 아니고, 거기서 돈을 받는 건 악마와 거래하는 것과 비슷함
    저소득 노동계층부터 상위 중산층까지 거의 전 범위의 뉴스 채널을 쥐고 있고, Mathias Döpfner가 퍼뜨리고 싶어 하는 정치적 관점을 그 채널로 주입하는 데 주저하지 않음
    독일에서는 견줄 데가 없지만, 미국에서는 아마 평범한 수준일지도 모름
  • Qwant는 프랑스에서 거창한 약속을 해놓고 반복적으로 실패한 것으로 악명이 있음
    오랫동안 사실상 Bing 래퍼였으면서도 아니라고 주장했음
  • Ecosia는 비영리라서 수익 창출 자체가 목표는 아님
    매달 지출과 기부 내역을 공개하고, 1월에는 약 400만 유로를 벌었으니 자신들이 하려는 일에서는 충분히 성공적이라고 봄
  • “Cliqz가 미국 기업들처럼 데이터를 수집했다”는 뜻으로 읽히는데, 어떤 기업과 어떤 데이터를 말하는지 명확히 해주면 좋겠음
    참고로 Cliqz에서 일했음
  • 지금은 웹 검색 대부분을 Brave Search로 하거나, Google에서 검색어 뒤에 “... Reddit”을 붙여서 함
    그리 오래되지 않은 과거 기준으로는 Qwant가 Google보다 약간 못하다고 느꼈음

• 그 사이 독일 기반 GOOD Search가 대안이 될 수 있음
  Brave의 독립 검색 색인을 쓰고, [1]에 따르면 그 색인도 상당 부분 독일에서 개발됐다고 함
  [0] https://good-search.org/
  [1] https://en.reset.org/the-good-search-engine-web-search-witho...

  • Brave 검색 피드는 뮌헨 기반 독일 스타트업이었던 Cliqz의 기반 작업에 크게 의존하고, 그 기술이 Brave Search의 토대가 됐음
    GOOD Search는 독일 목적기업으로서 최고의 독립 기술들과 협력하려고 하며 현재는 Brave Search에 집중하고 있음
    영국 기반 Mojeek에도 접근할 수 있고, Qwant/Ecosia 스타트업과도 연락 중임. 이들은 2025년 중반쯤 프랑스어 독립 검색 피드를, 독일어는 아마 2026년 초쯤 준비할 가능성이 있음
    Andreas, GOOD Search 공동창업자
  • Yandex도 꽤 좋음. 자체 색인이 있고, 정치 관련 검색에서는 Google보다 훨씬 나음
    단, 최신 뉴스가 아니어야 하고, 토렌트 사이트 종류도 잘 찾음
  • 광고를 피하고 싶다면 서비스에 돈을 내는 게 합리적이라 Kagi로 옮길까 생각했지만, 동시에 미국 기업 의존도도 줄이고 싶었음
    GOOD은 무제한 검색에 월 2유로를 받는데, 왜 Kagi보다 비용이 훨씬 낮은지 궁금함. 자체 색인을 만드는 것보다 Brave 색인 가격이 훨씬 싼 건지도 모름

• 좋은 소식임. 지금 유럽이 미국 기술과 상품 의존을 줄이려는 데는 분명한 이유가 있지만, 그걸 빼고 봐도 검색 색인이라는 좁은 세계가 커지는 건 긍정적임
  최근 검색이 조금 정체됐다고 해도 크게 논란은 없을 듯하고, 경쟁이 늘면 모두에게 개선이 생기길 기대함

• 훌륭함. 오히려 너무 늦었음
  이런 유럽 기반 합작이 모든 면에서 더 늘어나길 바람

  • 똑같은 소식이 아마 6개월 전에도 올라왔던 것 같음
    Qwant는 출시 당시 성능이 엄청 좋았고 DuckDuckGo lite 같은 아름다운 “lite.qwant.com”도 있었지만, 결국 폐기하고 홈페이지를 비대하게 만들었음
    Ecosia도 덜 복잡하고 빨랐는데, 지금은 어린이 그림책 웹사이트를 보는 느낌이고 광고도 더 많아짐
    결국 둘이 협력해서 예전 Yahoo!의 다음 세대를 만들다가 실패할 것 같음

• 이런 형태가 웹 검색의 미래가 될 수 있다고 봄
  개방형 또는 준개방형 검색엔진들이 함께 모여 공통 소스/색인으로 개방적이고 무료인 검색 경험을 제공하는 방식임. DDG와 Brave도 직접 참여하면 좋겠음
  Kagi 같은 서비스도 좋지만, 잘해봐야 아주 비싼 도시의 비싼 거리에서 맞춤 정장을 만드는 고급 업체가 될 수 있음. 일반 검색은 그런 성격이 아니라고 봄

  • Kagi를 쓰고 있고 정말 만족함. 요즘은 드물게 Google로 돌아가야 할 때마다 형편없는 신호 대 잡음비에 놀람
    Kagi의 사업도 흥미롭게 보고 있음. 시장에는 어떤 분야에서 세계 제패를 노리기보다, 지속 가능한 사업으로 자기 일을 꽤 잘하는 회사가 들어갈 공간이 항상 있다고 봄
    Kagi가 “Google 킬러”일 필요는 없고, 나 같은 사람이 돈을 내고 받은 것에 만족할 만큼만 잘 작동하면 됨
    Kagi는 사업 2년 만인 2024년에 흑자 전환했고, Google 색인을 쓰는 현재 비용이 아마 꽤 클 텐데도 그랬음. 틈새 사업으로 남아도 계속 성장한다면(현재 회원 4.1만 명 [0]) 나와 비슷한 사람들에게는 충분히 잘 맞음
    “일반 검색”이 될 필요는 없고, 사람들이 돈을 낼 만큼 좋으면 됨
    [0] https://kagi.com/stats
  • 왜 그래야 하는지 모르겠음
    이런 시도는 이미 수십 번 있었고, 실제 시장 수요가 없어서 모두 실패했음. 대부분의 경우 오픈소스라는 건 기능이 아님
    충분한 사용자가 가진 아직 충족되지 않은 어떤 필요를 해결하길래 할 가치가 있는지 모르겠음

• 프랑스와 독일의 프라이버시 친화 서비스를 그다지 믿기 어렵음
  [1]: https://techcrunch.com/2016/08/24/encryption-under-fire-in-e...
  [2]: https://www.laquadrature.net/en/2023/06/05/criminalization-o...
  [3]: https://news.ycombinator.com/item?id=36275795

  • 미국은 프라이버시를 정부에 맞서는 것으로 해석하면서 기업의 무제한 프라이버시 침해는 허용함
    실제로는 그 경로를 통해 정보기관의 프라이버시 침해도 꽤 많이 가능해짐
    EU는 기업의 프라이버시 침해를 다루는 대신, 법집행 프라이버시에서는 타협이 있음
  • 저건 법안 제안이고, 미국 서비스는 적어도 Patriot Act 이후로 더 믿기 어려움
    미국이 하는 행동을 보면, 유럽이 암호화 따위는 신경 쓰지 않고 그저 안정적이고 신뢰할 수 있으며 지정학적 목적으로 갑자기 악용되지 않을 서비스를 원한다고 해도, 미국 서비스를 고르는 것보다는 나은 선택지가 있음
  • 그 법들은 통과되지 않았지만, 미국의 Cloud Act 같은 법은 통과됐음
  • 프랑스와 독일에서 통과되지도 않은 반프라이버시 법안 때문에 못 믿겠다면, 대체 누구를 믿는지 궁금함

• AAAA 검색 색인이나 IPv6 전용 네트워크에서 쓰기 위한 검색엔진을 아는 사람이 있는지 궁금함
  현재 IPv6로 접근 가능한 검색엔진들은 도달할 수 없는 결과를 너무 많이 반환함

• Kagi에 돈을 내고 쓰고 있고, 유럽 주권형 대안이 있다면 같은 금액을 내도 괜찮음

• 좋음
  Ecosia/Qwant가 Kagi와 비교해서 어떤지 아는지 궁금함. 몇 년째 Kagi를 만족스럽게 쓰고 있지만, 요즘은 미국 외 대안을 지원하는 것도 나쁘지 않아 보임

  • Kagi 이전에 Qwant를 꽤 오래 기본 검색으로 썼고, 결과는 DDG보다 훨씬 나았음
    Qwant는 꽤 오래전부터 자체 색인을 갖고 있었고, 결과가 너무 적으면 Bing으로 보강했던 것으로 기억함. Ecosia는 그냥 Bing에 가깝고, 그게 거의 전부임
    Qwant에서는 검색어를 아주 약간 다르게 써야 할 수 있음. “what is the standard bike chain size” 같은 질문형보다 “bike chain roller standard size” 같은 예전식 키워드형이 더 잘 맞고, 개인적으로는 그게 맞는 방식이라고 봄
    세부 조정 설정은 매우 제한적이지만, 전반적으로 결과는 훌륭했음
  • Qwant에 접속하려고 하면 “Unfortunately we are not yet available in your country”가 뜸
    브라질에서 접속하는데, 검색엔진에서 이런 메시지를 본 적은 없는 것 같음
  • mojeek.com은 둘보다 낫지만 Google보다는 약간 못하고, Bing과는 비슷한 수준이라고 느낌
    Bing은 더 멀리까지 닿지만 품질은 더 나쁨

• URL과 크롤링 속성이 다른 이들과 공유되는 개방형 검색 색인이 있으면 좋겠음
  그러면 작은 업체나 연구자도 유망한 사이트만 다시 크롤링해서 자기 로컬 저장소를 만들 수 있음. 전체 웹을 많은 사람에게 유용하고 안전할 가능성이 높은 것, 즉 악성코드 없는 것 위주로 걸러낸 형태임
  비용이 필요하다면 조직 규모별 가격을 매긴 상용 제품이면 됨. 연구 결과물이 비상업적이거나 허용적 라이선스라면 연구자에게는 무료로 제공하고, 그 외에는 할인하면 됨. 보통 개인용/서버용 Windows 가격 책정처럼 수익성과 넓은 접근성을 함께 맞추는 방식을 떠올림
  그러면 저작권법을 위반하지 않고도 RefinedWeb 같은 데이터셋을 재생성할 수 있음. 물론 서비스 약관, 계약법 등은 여전히 고려해야 함. 내부 사용, 특히 비상업적 사용을 위한 크롤링에는 더 강한 법적 방어 논리가 있음. 저작권 문제를 제거하는 것만으로도 큰 도움이 됨

  • https://commoncrawl.org/
  • 그런 구성에는 몇 가지 문제가 있다고 봄
    중간 색인이 있으면 콘텐츠 제작자가 누구의 크롤링을 허용하거나 차단할지 결정할 재량이 줄어듦. 다만 지금은 AI용 콘텐츠 사용이 워낙 노골적이라 큰 의미가 없을 수도 있음
    콘텐츠 최신성도 문제임. 데이터 크기는 매우 커질 수 있고, 어떤 페이지는 다른 페이지보다 더 자주 갱신이 필요함. 색인 사용자마다 관심 있는 페이지 집합도 다를 수 있는데 누가 결정할지가 애매함
    Reddit 같은 중앙화 콘텐츠도 문제임. 이미 대부분의 봇이 콘텐츠를 크롤링하지 못하게 공격적으로 막고 있음. 하루에 많은 페이지를 크롤링해야 하고, 결국 차단될 가능성이 큼. 보통 일부 봇만 더 공격적으로 크롤링할 우대를 받기 때문임