▲

Hacker News 유저 2,000명을 클론해 바이럴 게시물 예측하기

 (every.to)
7P by neo 1일전 | ★ favorite | 댓글과 토론
  • 실제 Hacker News 댓글 데이터를 기반으로 만든 1,903개의 AI 페르소나를 이용해 게시물 제목의 바이럴 여부를 예측했고, 60%의 정확도를 달성함
  • 이는 무작위 추정보다 20% 높은 성과로, 기존 시장조사 대체 가능성도 열어줬지만, 사회적 확산(dynamics)이 예측을 어렵게 만드는 주요 원인임이 드러남
  • 예측 실패 사례 분석을 통해 초기 몇 개의 업보트가 전체 결과를 바꿀 수 있는 운과 타이밍의 영향력이 확인됨
  • 이 결과는 AI가 개별 취향은 잘 모델링할 수 있어도, 바이럴 성공 여부는 예측 한계에 부딪힌다는 사실을 시사
  • 저자는 AI 시장조사는 정확한 예측보다는 방향성 탐색에 유용하며, 상대 평가와 반복 시뮬레이션 중심으로 활용할 것을 조언

실험 개요 및 결과

실험 방법: AI로 구성된 가상 Hacker News 커뮤니티

  • 2025년 3월 12일에 올라온 1,147개의 Hacker News 게시물 제목을 수집
  • 실제 유저 댓글 기반으로 1,903개의 AI 페르소나 생성, 각 페르소나에게 "해당 제목에 업보트를 할지"를 질문
  • 실제 상위 게시물과 하위 게시물을 섞어 보여준 후, 예측 정확도를 측정
  • 예측 성공률은 60% 로, 무작위(50%)보다 유의미하게 높은 성과를 보임

예측 실패의 사례와 한계

  • “Gemma 3: Google’s new multimodal models”는 AI가 바이럴로 예측했지만 실제로는 4업보트에 그침
  • 반면 동일 주제를 다룬 “Gemma 3 Technical Report [pdf]”는 1,324업보트를 기록
  • 또한, “TSA finds live turtle in man’s pants”와 같은 자극적인 제목도 AI는 성공 예측했지만 실제로는 실패

원인 분석

  • 바이럴 여부는 개별 콘텐츠의 품질보다는 초기 노출, 업보트 수, 타이밍 등 사회적 맥락에 크게 의존
  • Princeton 연구: 동일한 곡 리스트를 그룹에 따라 다르게 노출했더니, 일부 곡은 대성공하거나 완전한 실패를 반복
  • 결론: "좋은 콘텐츠가 성공한다"기보다 "운 좋게 노출된 콘텐츠가 더 성공한다"는 네트워크 효과의 지배

실용적 시사점: AI 시장조사의 활용 방식

  • AI 페르소나 예측은 완벽하진 않지만 '쓸 만한 정확도(60%)' 를 제공
  • 다른 AI 시장조사 툴들이 주장하는 90%대 정확도는 설문 데이터 기반이라 현실적 바이럴 예측과는 차이가 큼

실전 적용 전략

  • 예측이 아니라 반복 실험과 방향 탐색 도구로 활용할 것
    • 예: 10개 헤드라인을 테스트해 버릴만한 후보를 걸러냄
  • 반복 시뮬레이션을 통한 검증
    • 예: 8번 중 6번 이상 높은 평가를 받는 콘텐츠는 실험 가치 있음
  • 절대값보다 상대순위 비교에 집중
    • AI는 뚜렷한 강약 구분은 잘하지만, 비슷한 콘텐츠 간 예측은 어려움

직접 실험해보기: HN 유저 복제 프롬프트

  • Hacker News 유저의 댓글 페이지에서 텍스트를 복사해, 아래 프롬프트로 ChatGPT나 Claude에 입력하면 가상의 페르소나를 생성할 수 있음.

    You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...

  • 생성된 페르소나에 대해 여러 콘텐츠 아이디어를 테스트할 수 있음
  • 이 방식은 통계적으로 보정된 예측은 아니지만, 비용 없이 방향성 탐색이 가능한 유의미한 툴로 활용 가능

결론

  • AI는 개별 유저의 반응은 꽤 잘 모델링할 수 있지만, 바이럴 성공은 사회적 확산이라는 '혼돈'의 영향을 받음
  • 결국 콘텐츠 예측에서 AI는 예언자가 아닌, 방향성 가이드 역할에 머물 수밖에 없음
  • 그럼에도 불구하고, 이 실험은 소규모 팀이나 개인도 AI로 시장조사를 저비용으로 해볼 수 있다는 가능성을 열어줌