구글의 악화 현상

• Google과 Facebook발 웹 미디어 트래픽을 더 이상 안정적으로 기대하기 어려워지며, 검소하게 운영되는 독립 매체도 생존 기반이 흔들리고 있음
• Google은 검색 품질 개선을 위해 머신러닝 기반 랭킹을 도입했지만, LLM 생성 스팸은 통과하고 블로그·소규모 사이트는 결과에서 밀려났다는 비판을 받음
• 2024 Google Web Creator Summit 참석자 중 한 명은 전년 매출이 25만 달러였지만 트래픽이 97% 감소해 푸드뱅크에 의존한다고 밝힘
• Summit 참석자들은 Google이 “콘텐츠가 문제가 아니었다”고 말했다고 전했고, Danny가 엔지니어팀과 예시를 디버깅했지만 노출되지 않는 이유를 찾지 못함
• 검색 랭킹 시스템이 Google 내부에서도 이해하기 어려운 블랙박스가 되면서, 독점적 지위에서는 제품 유용성 하락이 사업 성과로 바로 이어지지 않는다는 비판으로 연결됨

---

독립 웹 매체의 트래픽 붕괴

• “The End Of Independent Publishing And Giant Freakin Robot”는 Giant Freakin Robot의 폐쇄를 알리며, 지난 2년 동안 수백 개 독립 출판사가 문을 닫았고 수천 개가 더 같은 길을 갈 것이라고 밝힘
• 여러 주제의 독립 출판사들과 연락한 결과, 잘되는 곳은 없고 대부분 곧 폐업을 예상하는 상황으로 전해짐
• Google에 직접 문제를 전달했지만 돌아온 메시지는 Google이 신경 쓰지 않는다는 것이었고, “우리 산업은 끝났다”는 표현까지 나옴
• 웹 미디어 회사들은 이제 Google이나 Facebook에서 오는 유입 트래픽을 안정적으로 기대하기 어렵고, 남은 트래픽만으로 버틸 수 있는 곳은 매우 적음

검색 랭킹이 블랙박스가 된 과정

• 문제는 일부 사이트의 실패에 그치지 않고, Google이 검색 결과를 고치기 위해 사이트 랭킹에 머신러닝을 사용한 흐름과 맞물려 있음
• What we can learn from the Google creators summit for HCU impacted sites에 따르면 helpful content system은 좋은 예와 나쁜 예를 학습해, 보지 못한 예시가 어느 쪽에 가까운지 예측하는 머신러닝 시스템이었음
• 하지만 지난 1년 동안 Google 검색은 많은 LLM 생성 스팸을 통과시키고, 블로그와 소규모 사이트를 대부분의 결과에서 사라지게 만들었다는 비판을 받음
• 일부 사이트는 머신러닝 모델에 의해 사실상 제외됐고, 정확한 이유는 아무도 모르는 상태로 남아 있음
• I Drank the Kool-Aid at the 2024 Google Web Creator Summit에서는 한 참석자가 전년 매출 25만 달러 이후 트래픽이 97% 줄었고, 현재는 푸드뱅크에서 식사를 구한다고 밝힘
• 이들은 Google이 검색 결과에 나오기를 원하는 콘텐츠를 만드는 사람들이었기 때문에 Summit에 초대됐다는 점에서 문제가 더 두드러짐
• Twitter 대화에서는 Google 측이 “콘텐츠가 문제가 아니었다”고 여러 번 말했고, Danny가 참석자들의 예시를 들고 엔지니어팀과 디버깅했지만 왜 표시되지 않는지 알아내지 못했다는 내용이 공유됨
• 검색 알고리듬은 Google 엔지니어도 파악하기 어려운 블랙박스가 된 것으로 보임

제품 악화가 사업 성과로 이어지지 않는 구조

• Google의 ML 전문가들이 LLM이 제품을 혼란스럽고 통제하기 어렵게 만들 수 있다며 피해야 한다고 경고했다는 점도 이 문제와 연결됨
• 대규모 해고로 내부 시스템을 깊이 이해하던 사람들이 떠나면, 남은 시스템은 더 쉽게 블랙박스화될 수 있음
• 악화가 계속되는 근본 이유는 Google의 사업 성과에 직접적인 영향을 주지 않기 때문이며, 독점 기업은 제품 유용성이 줄어도 주변에서 발생하는 가치를 포획할 수 있음
• 미국의 정치 상황을 고려하면 기술 산업의 독점과 과점은 더 강해지고, 제품의 실제 생산성·성능·효과는 점점 덜 중요해질 것이라는 전망으로 이어짐

[GN⁺]

Hacker News 의견들

• 근본적으로는 광고 쪽 사람들이 검색 엔진 쪽 사람들과의 권력 다툼에서 이긴 순간부터라고 봄. 예전에는 광고가 멋진 기술을 만들 자금을 대는 수단이었고, 덤으로 엄청난 부자가 되는 방식이었음
  지금은 시스템에서 마지막 가치 한 방울까지 빨아내며 숫자를 영원히 올리는 수단일 뿐이고, Google 고위 리더십에는 비전이나 전략도 완전히 없어 보임

  • Google이 지난 15년 동안 정말 인상적인 일을 한 가지도 떠올리기 어렵다. 검색은 2009년쯤 정점을 찍었고, Maps는 느려지고 정보량도 줄었으며, 예전처럼 장소 안의 모든 것을 보여주기보다 인기 있거나 돈 낸 것만 보여주는 쪽이 됐음
    Google Docs도 2006년에는 놀라웠지만 거의 20년이 지난 지금은 약간의 사용성 개선만 있었고, 그 외에는 닫히거나 애초에 그다지 혁신적이지 않았거나 남의 작업을 무기력하게 따라 한 경우가 많아 보임
  • 종이클립 극대화기가 지구 시스템의 모든 가용 물질을 종이클립으로 바꾸는 작업에서 꾸준하고 고무적인 진전을 보고했고, 그 소식에 $PCLIP 주가는 20% 올랐다는 풍자처럼 보임
  • 가장 중요한 건 콘텐츠는 계속 폭증하지만 인간의 총 주의력은 늘지 않는다는 점임. 그런데 광고 기술은 어떻게 해마다 더 많은 매출을 만들고 더 많은 광고를 팔까? 간단한 답은 사기라고 봄
  • 광고 쪽이 이겼다는 말이 Google 검색 결과가 나빠진 걸 어떻게 설명하는지 모르겠음. 광고는 검색 품질이 높고 사람들이 경쟁자로 옮기지 않을 때만 조회됨
    광고가 상단의 스폰서 결과를 채울 수는 있지만 자연 검색 결과에는 영향을 주지 않음. “광고 쪽이 이겼다”가 스폰서 슬롯이 늘었다는 뜻이라면, 그건 슬롯이 늘었다는 뜻일 뿐 자연 결과의 품질을 설명하지 못함
  • 예전 광고가 멋진 기술을 만들 자금을 대는 수단이었다면, 지금 광고는 무엇인지 따져봐야 함. 자금을 받는 “기술”이 사실은 컴퓨터 네트워크를 통한 광고 전달이라면, 그게 멋진 기술인지 의문임
    아니라면 그 멋진 기술은 광고 대상자를 끌어들이는 미끼, 즉 광고 서비스 기술의 구성요소일 뿐일 수 있음. 왜 굳이 광고 인력을 고용하지 말고 그 기술을 판매하거나 라이선스하지 않는지도 궁금함

• Morgan이 말한 것처럼 Danny가 엔지니어 팀과 방에 앉아 “왜 이 사람들이 안 나오느냐”고 예시를 들었고, 그들이 디버깅 절차를 밟았지만 원인을 못 찾았다는 게 인상적임
  한편 스웨덴의 한 사람이 거실의 데스크톱급 머신 한 대로, Google이 실패하면 자주 갈아탈 만큼 좋은 검색 엔진을 만들었음. 요즘은 Kagi를 쓰는데 우선순위와 차단 목록이 있고, 결과가 기본적으로 좋아서 그 기능을 쓰지 않음
  Kagi가 자체 색인을 만들고 있긴 하지만 오랫동안 Google+Bing 결과를 감싼 형태로 되팔던 것에 가까웠는데도 훨씬 더 좋았다는 점이 흥미로움
  가능성은 둘 중 하나임. Kagi가 상위 수십 개 결과를 읽고 재정렬하는 아주 똑똑한 시스템을 갖고 있거나, 더 그럴듯하게는 API 접근으로 Google 입력 쪽의 “질의 확장 및 멍청화 장치”와 출력 쪽의 개인화 단계를 우회해 아직 작동하는 Google 검색의 핵심과 직접 상호작용하는 것일 수 있음
  여기서 “멍청화 장치”는 obscure-js-lib를 이름이 비슷한 well-knowm-js-lib-with-kind-of-similar-name로 바꾸거나, Angular의 mat-table을 검색했는데 Angular와 무관한 매트가 깔린 테이블을 원한다고 판단하는 식의 파이프라인을 말함

  • 그 멍청화 장치는 SmartOS나 Illumos 같은 검색도 Solaris로 바꿔서 관련 없는 결과만 나오게 만듦
  • 작은 검색 엔진을 운영하면 내장된 장점이 생길 수 있음. 검색 엔진 최적화 전문가들이 그 결과를 조작하려고 들지 않기 때문임
  • Google이 exactly-this-thing.py를 검색했더니 “sorta-related.js를 잘못 쓰셨군요. 여기 있습니다”라고 내놓는 느낌임. “내가 말 더듬었냐?”는 반응이 절로 나옴
  • Kagi FAQ에 따르면 “검색 결과에는 전 세계 주요 검색 결과 제공자에 대한 익명화된 API 호출도 포함된다”고 되어 있으니, 완전히 자체 색인에만 의존하는 건 아닌 듯함
  • 그 스웨덴 검색 엔진이 무엇인지 궁금함

• 저자가 정확히 어떤 문제를 말하는지 잘 모르겠음. 어떤 사이트들이 검색 결과를 기반으로 사업 모델을 만들었다는 점인지, Google이 검색 알고리즘을 바꿨고 그 우선순위가 마음에 들지 않는다는 건지, 아니면 다른 문제인지 불명확함
  Google이 알고리즘 실험을 절대 하지 말아야 한다고 기대하는 건 다소 비합리적이고, 본질적으로는 제로섬 게임에 가까움. 오늘은 승자라도 내일은 패자가 될 수 있음
  수익 배분, 유입, 광고 배치 같은 것이 걱정이라면, 다른 기업의 변덕에 전적으로 성공이 달린 사업을 만드는 건 매우 현명하지 않음
  검색은 거대 언어 모델에 서서히 대체되고, 수년간 검색 엔진 최적화로 게임화됐기 때문에 콘텐츠 발견 방식으로 점점 나빠지고 있다고 봄
  콘텐츠 발견에는 Hacker News 같은 비슷한 관심사의 커뮤니티가 집단적으로 찾거나, 큐레이션되는 모델이 더 맞음. 큐레이터나 커뮤니티가 관심사에서 벗어나면 새로 찾아야 하지만, 이상하게도 같은 틀 안에서도 가능함

  • 그 다른 기업이 독점 기업이면 무슨 선택지가 있나? Google의 부상은 사실상 다른 트래픽 원천을 모두 죽였음
    예전 웹사이트는 웹링, 디렉터리, 여러 작은 검색 엔진에서 트래픽을 받았지만 지금은 Google 또는 그 자산들, 그리고 더 작은 비중의 Meta가 거의 전부임. 큐레이터와 커뮤니티 기반 발견 모델은 Google의 피해자이지 해결책이 아님
  • 검색에 기계학습 기반 최적화 층이 계속 추가되면서 거의 디버깅 불가능해졌다는 이론임
    달리 말하면 Google이 클릭률을 0.2% 올리고 무해해 보이는 실험 1000개를 출시했고, 그 결과 Reddit과 Quora 링크만 내주고 싶어 하는 시스템이 됐다는 얘기임
    Google의 비공개 Blind 섹션에서 이 얘기를 여러 번 봤고, 보통 2020년 이전 검색 책임자가 이런 결과를 걱정해 더 신중한 접근을 했다는 대화와 함께 나왔음
    전직 Google 직원으로서 2023년 10월에 나왔고 검색팀에서 일하진 않았지만, Google 밖에서는 이 이론이 잘 이해되지 않는 듯함. 이름은 기억나지 않지만 핵심을 찌른 유명 블로그 글 두 편 정도만 예외임
  • 비슷한 관심사의 커뮤니티나 큐레이션으로 콘텐츠를 찾는 모델이 어떻게 규모를 키울 수 있을지 궁금함. Google은 하루 85억 건 검색을 처리하는데, “Ask HN: X에 대한 최고의 자료가 어디인가요”를 85억 건 처리하는 건 확장되지 않을 듯함
  • 그런 의미에서 큐레이션된 Android 앱 스토어가 있으면 좋겠음. 아직도 광고 없는 앱으로 필터링할 수 없다는 점이 많은 걸 말해줌
  • 정치나 뉴스와 조금이라도 관련된 subreddit들이 전부 그렇게 편향된 이유가 바로 커뮤니티 기반 큐레이션 때문임. 물론 대안은 모르겠고, 알았다면 HN을 스크롤하는 대신 그 이상적인 사이트를 만들고 있었을 것임

• Google이 나쁜 결과를 내는 질의 목록이 있는지 궁금함. 검색 기록을 몇 분 살펴봤는데, 대부분은 사람 이름 같은 단순한 질의였고 Google이 잘 처리했음. 사람 검색은 가끔 LinkedIn보다 Google이 더 낫다고 느낌
  복잡한 질의 몇 개도 Kagi와 비교해 봤음. “How much bitcoin does microstrategy own”는 Google이 여기의 올바른 스니펫을 반환했지만 Kagi는 최근 며칠간 얼마를 취득했는지에 관한 기사만 링크했음
  “how to pronounce stratchery”는 Google이 Stratechery 웹사이트의 올바른 스니펫을 보여줬고, Kagi의 첫 결과는 잘못된 발음을 담은 스팸 항목이었으며 두 번째 결과가 올바른 발음의 트윗이었음
  Dan Luu의 글(https://danluu.com/seo-spam/)도 떠올랐지만, 검색 기록을 살펴보니 그가 쓰는 질의들은 내 일상 검색을 전혀 대표하지 않았음
  [0]https://www.forbes.com/sites/digital-assets/2024/11/29/micro...
  [1]https://stratechery.com/category/about/#:~:text=UPDATE%3A%20...
  [2]https://www.howtopronounce.com/stratechery

  • 이미 무의식적으로 Google이 형편없는 카테고리를 피하도록 검색 행동을 바꾼 것임
    제품 리뷰는 검색 엔진 최적화 쓰레기, 즉 블로그 스팸의 “Top 10” 목록으로 가득하고, 여행 관련은 자연 결과가 나오기도 전에 광고가 한 페이지를 채움. 귀찮아서 시도조차 안 하게 되고, 결국 아직 작동하는 질의만 남는 것임
  • 나도 같은 의문이었음. Google이 끔찍하고 망가졌다는 불평을 많이 보지만, 모든 검색 엔진이 어려워하는 것을 빼면 대체로 잘 작동하는 듯함
    Google로는 찾기 어렵지만 다른 것으로는 쉬운 구체적인 예가 있는지 궁금함
    최근 전 세계 사용 통계는 Google 89.33%, Bing 4.15%, YANDEX 2.8%, Yahoo! 1.33%, Baidu 0.83%, DuckDuckGo 0.69%임. 2024년 10월 기준 https://gs.statcounter.com/search-engine-market-share
    Google이 그렇게 나쁘다면 왜 나를 포함한 사람들이 다른 검색 엔진을 클릭하지 않는지 의문임. Giant Freakin Robot이 클릭을 못 받는 건 안타깝지만, 사용자 관점에서 Google이 나쁘다는 것과는 다른 문제임
    전부 눌러봤는데 다 작동함. Baidu는 중국어로 나오고 The Sound of Music을 검색했더니 Google 번역상 “수녀와 일곱 장난꾸러기 아이들” 같은 중국어 결과가 나와서 좀 웃겼음

• Google은 고객 가치와 콘텐츠 창작자 가치를 우선하는 데서 벗어나, 내부의 불투명한 핵심 성과 지표를 우선하는 쪽으로 명확히 전환했음. 광고주가 아닌 창작자에게는 더더욱 그렇다
  몇 년 전 DuckDuckGo로, 작년에는 Kagi로 옮긴 뒤 가끔 Google로 돌아갈 때마다 그들이 얼마나 길을 잃었는지 분명히 느껴짐
  지배력을 잃기까지는 10년은 더 걸리겠지만 징후는 분명함. 관성 and 시장 지위만이 아직 정상에 있는 이유임. 한편 젊은 세대는 웹 검색을 거의 쓰지 않고, 기술에 밝은 사람들은 점점 더 빠르게 빠져나가고 있음
  스타트업 입장에서는 기대할 만함. Google은 이제 와서 점심을 빼앗아 갈 800파운드 고릴라가 아니라, 개념적 부품을 수확당하길 기다리는 걸어 다니는 죽은 거인에 가까움

  • Kagi로 바꾸고 지난 2년간 Google 검색의 짜증 나는 변화까지 겪고 나니 다시 Google로 돌아가는 건 상상하기 어려움
    올해 Kagi에서 !g로 Google에 간 게 손에 꼽을 정도였고, 매번 곧바로 후회했음
    몇 년 전 DuckDuckGo를 쓸 때는 !g가 본능적이었고 아마 절반은 Google 결과가 더 낫게 느껴졌음. DuckDuckGo를 고수하는 건 이상주의적이고 품질은 2등급처럼 느껴졌지만, Kagi는 그렇지 않음. 매달 10달러가 생산성 향상으로 충분히 값어치를 함
    Kagi도 Google 검색 색인을 한 출처로 쓰는 만큼, Google이 기술적으로 결과나 사용자 경험을 개선할 수 없는 건 아님. 다만 조직적으로 불가능해 보임
  • 젊은 세대가 웹 검색을 거의 쓰지 않는다면, 대신 무엇을 하는지 궁금함. 내가 좀 시대에 뒤처졌을 수도 있음
  • Google의 고객은 광고주임. 고객은 돈을 내는 사람이고, 소비자는 그저 상품일 뿐임

• 대규모 해고의 흔한 결과 중 하나가 내부 시스템을 블랙박스로 만든다는 경고가 있었음. 시스템을 깊게 이해하던 사람들이 모두 떠나기 때문임
  지식 있는 사람을 직접 잃는 건 실제 일이지만, 이 시스템들이 블랙박스가 되는 주된 이유는 아님
  해고된 지식 있는 사람 한 명마다 남아서 회사에서의 미래가 훨씬 불확실해진 현실에 적응하는 사람은 스무 명쯤 있음. 그 적응은 사람마다 다르지만, “와, 문서를 개선하고 지식을 공유해서 내가 더 쉽게 해고되게 해야겠다!”고 말하는 사람은 말 그대로 아무도 없음

  • 퇴사할 때 문서화를 시작하기로 했고, 2주 전 통보를 하기 전에 탄탄한 문서를 만들어 뒀음. 남은 기간에는 다듬었고 꽤 좋은 문서가 됐음
    한 달 뒤 회사에서 연락해 계약직 일을 제안했지만 거절했음. 그 뒤 1년 동안 직원들이 직접 연락해 도움을 요청했는데, 내가 도와준 모든 내용은 이미 문서화돼 있었음
    회사에서 제대로 된 지식 이전을 위한 해결책은 없다고 봄. 그래서 사람들이 즉흥적으로 해고되는 걸 보면 흥미롭고, 직원 한 명보다 훨씬 많은 것을 잃게 됨
  • 사람들이 일자리를 지키겠다는 잘못된 생각으로 지식 사일로를 만드는 건 맞지만, 일부러 그러려는 사람들을 위해 결과를 짚고 싶음
    지식 사일로는 직업 안정성을 보장하지 않음. 오히려 승진 능력, 조직 간 협업 능력, 적응력, 다른 업무를 맡는 능력, 위임 능력을 제한하고 협업과 프로젝트 성공률을 낮춰 조직 내에서 보이는 성과도 떨어뜨림. 조직뿐 아니라 사일로 안에 사는 엔지니어 개인에게도 나쁜 이유는 더 많고, 관련 연구도 여러 편 있음
  • 반대 효과도 봤음. 큰 조직 안의 사람들이 오픈소스 프로젝트를 조직 변화와 우선순위 변화에 더 잘 견디게 만들려고 노력하는 경우가 있었음. 그래도 해고에 부작용이 있는 건 맞음

• Yandex, 즉 러시아의 Google은 사실상 2006년의 Google에 가까움. Google의 변호사들과 SF의 승진 자료를 챙기는 사람들이 보여주고 싶어 하는 것이 아니라, 내가 원하는 것을 보여준다는 의미임
  러시아 국내 관련 내용은 검열될 수 있겠지만, 내 사용 범위에서는 크게 벗어난 영역임

  • Yandex는 영어로 검색할 때만 좋음. 영어 시장에는 관심이 없기 때문임. 그들은 러시아어와 튀르크어권 시장에만 관심이 있는 듯하고, 베트남도 그랬는지 기억이 흐릿함
  • Yandex도 같은 궤적을 따라가고 있음. Yandex 역이미지 검색은 예전 Google처럼 이미지가 있는 웹사이트를 찾아줬지만, 이제는 똑같이 “비슷한 이미지” 쓰레기가 됐음
  • 2006년 Google의 대부분은 오픈소스이거나 공개 논문으로 알려진 것 아닌가? 그렇다면 미국에서도 Google을 재현하고 기본 PageRank로 돌아갈 수 있어야 할 듯함
    새 검색 엔진을 막는 게 규모와 서버 말고 또 있는지 모르겠음. 우리가 원하는 건 2006년에 존재하던 평범한 옛 검색일 뿐이라면 재현 가능해 보임
    DuckDuckGo 같은 다른 엔진도 있지만 실제로는 Bing에 가깝다는 걸 알게 됐음. 그렇다면 Google이 그렇게 형편없다면 왜 Bing이 장악하지 못하는지도 의문임. 아주 좋진 않아도 그렇게 나쁘진 않음
    더 읽어보니 Kagi가 이걸 하고 있는 듯함
  • 완전히 동의함. Google이 계속 멋졌던 대체 인터넷 같은 느낌임
  • DuckDuckGo를 주 검색 엔진으로 쓰고, Yandex를 보조로 씀

• Google이 내부에서 어떻게 파괴됐는지 보여주는 냉정한 글임
  https://www.wheresyoured.at/the-men-who-killed-google/

  • 내부 정보 없이도 2019년 말 Google 업데이트를 기억함. 그때 정말 망가졌고, “사악해지지 말자”에서 완전히 사악한 쪽으로 갔음
    실제로는 내가 예상했던 것보다 늦게 벌어졌지만, 지금까지 여파가 이어질 만큼 뚜렷한 사건처럼 보임

• Giant Freakin' Robot은 집계 사이트였음. 그 “콘텐츠”는 다른 웹페이지로 가는 링크와 그에 대한 장황한 말뿐임. Google은 이제 집계 사이트를 인식하고 낮게 순위를 매기는 듯함
  Google 자체가 집계 사이트인데 다른 집계 사이트에 트래픽을 넘겨줄 이유는 없음. Yelp 같은 것도 낮춰줬으면 좋겠음

  • 사이트를 빠르게 훑어보니 내가 보기에는 원본 콘텐츠로 가는 링크만 있는 듯함

• 인터넷을 오래 쓴 사람들은 인터넷 검색을 어떤 용도로 쓰는지 궁금함. 내 경우는 세 가지 중 하나임
  첫째, 정보가 어느 웹사이트에 있는지 알고 바로 감. 예를 들면 Wikipedia, Github, Google Maps임
  둘째, 실제 사람의 의견이나 피드백이 필요해서 보통 Reddit 도메인만 대상으로 Google 검색함
  셋째, 검증하기 쉬운 잘 알려진 정보가 필요하고, 이건 거대 언어 모델이 아주 잘하는 문제임
  이게 내 “서핑” 활동의 95% 이상이라서 주요 검색 엔진이 어느 날 내려가도 거의 알아차리지 못할 듯함

  • 그건 인터넷을 쓰는 게 아니라 Reddit을 벽으로 둘러싸인 정원처럼 쓰는 것임. 탈중앙화된 인터넷에 가치가 있다고 믿는다면 위험한 방식임