GN⁺: 구글 내부에서 운용된 예측 시장의 삶과 죽음

• 지난 20년간 구글은 두 개의 서로 다른 내부 예측 플랫폼(Prediction Platform)을 운영해 왔음
• 첫 번째 플랫폼은 실패했지만 두 번째 플랫폼은 지속될 수 있을까?

구글의 전성기 시절

• 2005년 7월 구글은 실리콘밸리의 총아였음. 구글맵을 공개했고 지메일은 아직 베타 버전이었음
• 이 당시 구글은 실리콘밸리의 관행에서 벗어난 비전형적인 회사였음
• 구글의 창업자들은 "구글은 전형적인 회사가 아니다"라고 말했음

Prophit - 구글 최초의 내부 예측 시장

• 2005년 구글은 내부 예측 시장인 Prophit을 출시함
• 구글 직원의 20%가 참여했고 3년 동안 운영됨
• Prophit은 정확한 예측을 제공했고 언론에서도 주목받음

Prophit의 실패와 교훈

• Prophit은 결국 2011년 폐쇄되었음
• 주요 장애물은 온라인 도박이 불법이라는 점이었음
• 또한 외부 출시를 시도했으나 법적 문제로 인해 실패함. 필요한 자원 확보가 어려웠음
• 이에 대한 후회로 "내부용으로만 운영했어야 했다"는 평가가 있었음

Gleangen - 구글의 두 번째 예측 시장

• 2020년 4월 구글 직원 댄 슈워츠가 Gleangen을 출시함
• 구글 직원의 8%(약 15000명)가 참여했고 월 1,000명 이상의 활성 사용자를 유지함
• Prophit의 교훈을 바탕으로 내부 의사결정 도구로 설계되었음

예측 시장의 중요성과 도전

• 예측 시장의 이점
  • 예측 시장은 집단 지성을 활용하여 정확한 예측을 제공할 수 있음
  • 기업은 이를 통해 경쟁사의 움직임을 예측하거나 내부 의사결정을 개선할 수 있음
• 실패의 원인
  • 법적 규제와 내부 데이터 공유의 어려움이 주요 장애물로 작용함
  • Prophit의 경우, 외부 출시를 위한 법적 허가를 얻지 못해 실패함
• 예측 시장 운영의 도전과제
  • 데이터 공유에 대한 꺼림, 프로젝트 실패에 대한 변명 여지 확보 욕구 등이 장애물임
  • 정보 통제에 대한 경영진의 욕구와 군중의 지혜 활용이 상충될 수 있음
  • 예측의 정확성보다 예측 프로세스의 투명성과 책임성이 우선시되기도 함

Waymo와 예측 시장의 활용

• Waymo에서의 적용
  • Waymo의 시스템 엔지니어링 팀은 예측 시장을 통해 안전성 측정 지표를 개선하려고 시도함
  • 그러나 데이터 접근의 제한과 관리의 지원 부족으로 인해 성공하지 못함

Gleangen의 발전과 AI의 역할

• Gleangen의 성공과 한계
  • Gleangen은 구글의 다양한 부서에서 예측을 통해 의사결정을 지원함
  • 그러나 내부 데이터의 제한과 경영진의 관심 부족으로 인해 완전한 성공을 거두지 못함
• AI와 예측 시장의 미래
  • AI는 예측 시장의 비용을 줄이고 정확성을 높이는 데 기여할 수 있음
  • AI와 인간의 집단 지성을 결합하여 더 나은 예측을 제공할 수 있음
• AI 예측과 인간 예측의 비교
  • 최근 연구에 따르면 AI 예측은 우연의 예측보다는 훨씬 나으나 인간 집단만큼 정확하지는 않음
  • 그러나 AI를 훈련시키는데 인간 예측이 활용되면서 기업 예측 시장의 가치가 높아지고 있음

기업 예측 시장의 미래

• 경영진에게 더 가치있는 정보를 제공하고 AI로 예측 비용을 낮추는 것이 관건임
• Anthropic 등 일부 기업이 내부 예측 시장을 도입하는 등 기업 예측 시장에 대한 관심이 높아지고 있음
• 성공적인 예측 시장은 정보의 가치를 높이고, 기업의 전략적 의사결정에 기여할 수 있음
• AI의 발전과 함께 예측 시장의 효율성은 더욱 향상될 가능성이 있음

[neo]

Hacker News 의견

• Google는 사내 카페, A/B 테스트, "dogfooding" 등 여러 기술 관행을 개척했음. 그러나 Microsoft 등은 이미 수십 년 전에 dogfooding을 시작했음

  • 회사 카페는 Google이 개념을 도입하기 훨씬 전에 존재했음

• 예측 시장에 대한 문제를 다루길 바랐으나, 기사는 건조한 역사만 다루고 있음

  • 순수한 예측 시장은 현실적으로 존재할 수 없으며, 예측 시장은 사건과 완전히 분리될 수 없음
  • 예측에 대한 이해관계가 결과에 영향을 미치게 되면 시장은 무용지물이 됨

• Google의 성공은 문화뿐만 아니라 시장의 빠른 성장에도 기인함

• 시장 가격은 0과 1 사이의 숫자를 제공하며, 사건이 더 가능성이 높아질수록 가격이 상승함

  • 그러나 이를 확률로 해석하는 것은 복잡하며, 현실적인 거래자들은 자본이 제한적이고 위험 회피 성향이 있음

• 예측 시장이 어떻게 이러한 문제를 해결했는지 궁금함

  • 시장 가격을 최종 확률로 변환하기 위한 후처리가 있었는지, 거래자들이 시장 가격을 확률로 해석할 수 있도록 행동했는지 궁금함

• 예측 시장은 집단 판단뿐만 아니라 초예측을 활용할 때 돌파구를 마련할 것임

  • 현재 예측 시장은 단순한 의견 조사와 같으며, 시장을 지속적으로 이기는 참가자를 식별하는 것이 필요함
  • 장기적인 베팅 추적과 개별 포지션의 시장 비공개가 필요함

• Google은 내부적으로 여러 도박 플랫폼을 운영했으며, HR과 컴플라이언스 부서는 이를 허용했음

• Polymarket은 가장 성공적인 예측 시장으로 평가됨