봇, 너무 많은 봇

 (wakatime.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • ProductHunt는 100만 개 이상 가입자를 가진 제품 출시 플랫폼이지만, 공개 데이터 분석에서 가입자의 60% 이상이 자동화 봇 계정으로 분류됨
  • 제품 설명에 LLM 프롬프트 인젝션을 넣어 직접 출시하자 거의 모든 댓글이 자동화된 것으로 나타났고, 최근 댓글 상당수도 ChatGPT가 만든 것처럼 보였음
  • 봇 여부는 공개 데이터만으로 단정하기 어려워 활동 기간, 업보트 패턴, 다른 봇과의 겹침, 댓글 내용을 조합한 위험 점수로 판별함
  • 2018년 이후 봇 가입이 실제 사용자 가입을 앞질렀고, 2022년에는 봇 업보트가 실제 업보트를 넘어서며 투표 링이 순위에 영향을 줄 가능성이 커짐
  • ProductHunt 출시는 여전히 노출 기회가 될 수 있지만, 댓글 대응과 SEO 효과를 기대하기보다 짧게 준비하고 과도한 시간을 쓰지 않는 편이 현실적임

ProductHunt에서 드러난 봇 활동

  • ProductHunt는 2014년 초부터 최신 기술 제품 출시를 확인하고, 댓글로 유사 도구를 찾거나 자체 제품 피드백을 모으는 데 유용했음
  • 최근 제품 댓글 대부분이 ChatGPT 생성 댓글처럼 보여, 제품 설명에 간단한 LLM 프롬프트 인젝션을 넣어 직접 출시해 봄
  • 출시 후 거의 모든 댓글이 자동화된 것으로 나타나면서, ProductHunt 출시자가 댓글에 답하는 일이 시간 낭비일 수 있다는 의문이 커짐
  • 돈을 받고 업보트를 제공한다는 이메일이 계속 오고, Reddit에는 ProductHunt 업보트를 두 번 구매했다는 사례도 있음

분석에 사용한 공개 데이터

  • 공개적으로 접근 가능한 ProductHunt 사용자, 출시, 업보트, 댓글 목록을 분석함
  • 데이터 규모는 다음과 같음
    • 사용자 가입: 100만 개 이상
    • 출시: 30만 개 이상
    • 댓글: 250만 개
    • 업보트: 2,000만 개
  • 각 제품에는 출시일 기준 PDT 자정부터 24시간 뒤 점수인 일일 순위가 있음
    • 1위는 daily rank 1
    • 일부 제품은 rank가 null이며, 삭제·신고·미출시 때문일 수 있음

봇 계정 판별 방식

  • 공개 데이터만으로는 봇 탐지가 어렵기 때문에 단일 기준만으로 충분하지 않았음
  • 처음에는 사용자 댓글 시간대를 분석해 경향을 찾으려 했음
    • 한 사용자는 가입 677일, 댓글 2,009개, 업보트 4,649개를 기록해 자동화를 쓰는 파워 유저로 보였지만 봇으로 분류하지 않음
    • 다른 사용자는 가입 140일, 댓글 173개, 업보트 246개를 기록했고, 댓글 간격이 규칙적이며 차트가 매끄럽지 않고 박스형으로 보였음
  • 최종적으로 여러 신호를 조합해 각 사용자에게 위험 점수를 부여함
    • 계정 활동 기간
    • 시간에 따른 업보트 패턴
    • 다른 봇과 공유한 업보트 수
    • 댓글 내용
  • ChatGPT 생성 댓글에는 game-changer 같은 단어가 더 자주 나타남
  • 봇 댓글에는 일반적으로 입력하기 어려운 em-dash 같은 문자나, 매우 길거나 ™가 포함된 제품명을 그대로 넣는 사례가 있었음
  • 일부 봇 계정은 실제 사람의 LinkedIn 이름과 자기소개를 그대로 사용했지만, 해당 인물들은 ProductHunt 계정을 만든 적이 없다고 답함
  • 클러스터링은 일부 효과가 있었지만, 많은 봇 계정이 사용 후 버려져 여러 무작위 투표 중 하나만 다른 봇과 겹치는 경우가 많음
    • cupy와 cudf에 GPU에서 필요한 메서드가 구현되어 있지 않아 작은 데이터셋에만 클러스터링을 실행함
    • 더 많은 경험이 있는 사람이 접근하면 봇 탐지가 개선될 수 있음
  • 분석 결과 사용자 가입의 60% 이상이 자동화 봇 계정으로 탐지됨
    • 모든 봇을 잡아낸 것은 아니어서 보수적인 수치임
    • ProductHunt 내부 데이터가 있다면 봇 활동을 더 정확히 찾기 쉬움

시간에 따른 봇 활동 변화

  • 사용자 가입

    • 2018년 이후 실제 사용자보다 봇 사용자가 더 많이 생성됨

  • 댓글

    • 2022년 말부터 봇 댓글이 크게 늘어남
    • 이 시점은 ChatGPT가 널리 사용 가능해진 때와 비슷함
    • 2024년 급증은 시간이 지나며 봇 계정이 삭제되기 때문일 수 있음
    • 최신 계정은 아직 삭제되지 않았을 가능성이 높아 댓글 접근이 더 쉬움

  • 업보트

    • 2022년에 봇 업보트가 실제 사용자 업보트를 넘어섬
    • 봇들은 ProductHunt 뉴스레터에 들어갈 가능성을 높이려는 투표 링을 형성함

  • 순위

    • 대부분의 출시는 실제 업보트를 몇 개만 받음
    • 봇은 무작위로 투표해 섞여 보이려 하기 때문에 봇 업보트 추세선이 실제 사용자 업보트보다 더 매끄러움

일일 순위와 봇 업보트의 관계

  • ProductHunt 1위 출시는 일간·주간 뉴스레터에 소개됨
  • 1위를 차지하는 데에는 15% 봇 투표가 안전한 수준처럼 보였음
  • 봇 투표가 60%를 넘는 출시는 어떤 이유에서인지 1위에 오르지 않는 것으로 보였음
  • 2020년 이후 출시만 보면 최근 상위 게시물에서 봇이 업보트의 더 큰 비중을 차지함
  • 업보트를 구매한 출시는 고품질 제품이 아닐 가능성이 있어 1위보다는 상위 5위에 머무는 경우가 많다고 봄

ProductHunt 출시의 실효성

  • 댓글과 업보트 대부분이 봇이어도 ProductHunt에는 여전히 실제 사용자가 일부 있을 수 있음
  • 봇에게 돈을 지불해 뉴스레터에 소개되면 더 많은 실제 사람이 제품을 볼 가능성이 있음
  • ProductHunt 출시는 백링크 SEO 효과가 없음
    • Google이 백링크로 계산하려면 제품으로 향하는 a 링크 요소에 nofollow가 없어야 함
    • ProductHunt의 제품 링크에는 nofollow가 포함되어 검색엔진이 백링크로 계산하지 않음
    • 제품에 링크를 하나만 입력하면 실제 링크가 아니라 JavaScript로 제품 페이지를 여는 button 요소임
    • 다른 집계 사이트가 출시를 가져가 링크할 수는 있지만, ProductHunt 자체는 백링크로 계산되지 않음
  • 투자자 중에는 ProductHunt #1 배지를 중요하게 보는 그룹이 있어 투자자와 이야기할 때 도움이 될 수 있음
  • 전반적으로 ProductHunt 출시는 해볼 만하지만, 출시 준비에 몇 분 이상 쓰지 않고 댓글 답변에 시간을 낭비하지 않는 편이 나음

남은 분석과 관련 프로젝트

  • 봇 투표를 제거했을 때 그날의 1위 출시가 바뀌는지 보기 위해 봇 투표 없는 출시 목록을 만들고 싶었음
  • 실제로 돈을 내지 않았는데 봇 업보트가 많은 출시를 지목하고 싶지 않고, 돈을 낸 출시에도 추가 홍보를 해주고 싶지 않아 해당 분석은 향후 글로 미룸
  • 관련 논의는 HN에 있음
  • ProductHunt 문제를 개선하려는 시도로 wonderful.dev와 wonderful.dev/alan도 함께 소개됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • ProductHunt가 어떤 CAPTCHA 솔루션이라도 쓰는지 궁금함
    CAPTCHA가 보통 욕을 많이 먹긴 하지만, 이런 스팸 공격 대부분을 막는 데는 여전히 가치가 크다고 봄. 사용성·접근성·개인정보 문제는 최근 몇 년 사이 사용자 입력 없이 동작하고 개인정보도 보호하는 방식으로 개선돼 왔고, 고도화된 봇이 우회할 수 있다는 비판도 저노력 봇을 막는 데는 전통적 기법만으로도 충분히 유용함. 실제 인간을 쓰는 공격에는 CAPTCHA가 애초에 맞지 않으니, 사이트가 별도 방어 수단을 둬야 하지만 그건 오늘날 보이는 스팸의 주된 원인은 아니라고 봄

    • 요즘 인간일 가능성이 높음을 증명하는, 일종의 판돈이 걸린 시스템을 만들 수 있을지 고민 중임
      예를 들어 “증명자” 사이트에서 원하는 자선단체에 5달러를 1회 기부하면, 돈을 썼다는 증명 토큰을 받고 HN 같은 협력 사이트가 그 토큰을 소각해 계정을 인간일 가능성이 높거나 최소한 차단되면 주인이 손해를 보는 봇으로 표시할 수 있음. 국가 신분증 조회 시스템 여러 개보다 훨씬 개인정보 친화적이고, “발언권을 돈으로 산다”처럼 보여도 무료 시스템에서 드는 시간·교통비·서류 작업보다 실제로는 더 쌀 수 있음. 큰 문제는 도난 카드로 토큰을 사는 부정 결제, 돈만 받고 사라지는 증명자 사이트, 증명 토큰을 몰래 수집하는 목적지 사이트, 여러 기부 사이트와 계정 사이트가 각자 다른 토큰을 신뢰하는 탈중앙화 처리가 될 듯함
    • CAPTCHA 풀이 서비스 산업이 이미 있고, 대부분 인건비가 싼 지역의 인간을 씀
      인기 있는 서비스 중 하나에서는 reCAPTCHA 1회당 $0.001~$0.002 정도라 사용에 큰 기술 수준도 필요 없음. 댓글마다 CAPTCHA가 필요하다고 해도 연 50달러쯤이면 하루 100개 댓글로 한 사이트를 스팸할 수 있고, 평균적인 스크립트 키디는 걸러질지 몰라도 스팸으로 돈을 벌 수 있다면 쉽게 수익이 남음. 이런 서비스를 “엣지 케이스”라고 보긴 어려움
    • 웹사이트 운영자들은 데이터를 공개하고 싶어 하면서도 복사는 못 하게 하고 싶어 함
      이건 동작하지 않는 DRM과 같은 내재적 모순임. 웹 개발자들도 MB 단위 JavaScript와 과하게 복잡한 디자인으로 사이트를 잔뜩 부풀리는데, 그냥 정적 사이트와 CDN을 쓰는 편이 훨씬 쌀 수 있음
    • 거의 완벽한 해법은 모든 제출물을 수동 검수하는 것임
      자동화 시스템을 스팸 1차 방어선으로 쓰고, 통과한 제출물은 사람을 고용해 하나씩 확인하면 됨. 사람이 올린 것이라도 이 과정에서 일정한 품질 기준을 보장할 수도 있음. 초기 스팸 필터에 걸린 정상 제출물은 이메일 등으로 이의 제기해 수동 검토 대기열에 넣으면 됨. 쉽지는 않고 게시까지 시간이 걸릴 수 있지만, 스팸과 저품질 콘텐츠는 사실상 0에 가까워질 수 있음
    • VPN 사용 때문에 이미 CAPTCHA에 자주 걸리는 입장에서는 더 늘어나지 않았으면 함
      이런 것들에 낭비된 인간 시간이 얼마나 되는지 생각해 봐야 함

  • 5년쯤 전에 ProductHunt에 제품을 올렸을 때도 1위 보장 홍보 제안을 수십 개 받았음
    게시한 지 literally 한 시간 만에 메시지가 쏟아졌고, 지금은 아마 더 심할 것임

  • 사용자가 봇인지 아닌지를 검증할 방법이 없는 임의 분류에서 출발해 분석하는 건 문제가 있음
    그 분류가 틀리면 분석 전체가 틀림. 특히 “2022년 말 ChatGPT가 널리 쓰이기 시작한 즈음 봇 댓글이 급증했다”는 부분이 눈에 띄는데, 분류 기준 중 하나가 “ChatGPT 생성 댓글은 game-changer 같은 단어 빈도가 높고, em dash나 ™ 같은 입력하기 어려운 문자, 긴 제품명을 그대로 포함한다”는 것임. 즉 ChatGPT처럼 행동하면 봇으로 분류해 놓고, ChatGPT 출시 뒤 그런 사용자가 늘었다고 흥미로운 발견처럼 보는 셈임. 그 전에도 봇은 많았지만 다른 소프트웨어를 써서 다르게 행동했고 그래서 탐지하지 못했을 가능성도 있음

    • 맞는 말이지만, ChatGPT 사용 봇 분류가 정확하다면 ChatGPT 생성 댓글이 실제로 급증했다는 것 자체는 주목할 만함
      그리고 그 분류가 맞다면, ChatGPT를 쓰지 않는 봇까지 포함해 전체 봇 수를 과소계산하고 있더라도 봇 생성 댓글이 실제 사람 댓글 수를 훨씬 넘어섰다는 점도 중요함. 물론 말한 것처럼 여기에는 “만약”이 꽤 많고, 전제가 무너지면 결론도 무너짐
    • 글은 프롬프트 주입 테스트로 시작하고, 전제에는 증거가 붙어 있음
      그렇지 않다면 대안 분류법을 제시해야 하고, 아니면 악의적으로 보이며 도움이 되지 않음
    • 이런 통계적 방법은 댓글란이 봇으로 가득한지 판단하는 데는 정확할 수 있지만, 개별 댓글 하나가 봇인지 판정하는 데는 훨씬 덜 정확함

  • ProductHunt에 누가 있는지가 핵심 질문임
    고객인가? 의심스럽고, 인디 해커들인가? 그럴 가능성은 있음. 우리가 누구에게 팔고 있는지, 애초에 PH에 출시할 의미가 있는지 따져봐야 함

    • 아주 좋은 지점임
      PH에 출시해서 그날 1위와 그 주 1위를 했지만, 신규 고객은 거의 늘지 않았고 대신 투자자 인바운드는 많이 받았음. 펀드레이징 중이라면 가치가 있지만, 그게 아니라면 고객이 있는 곳으로 가야 함. 우리 고객은 PH 사용자가 아니었음

  • 분석은 훌륭하지만, ProductHunt가 “진짜” 웹사이트라는 사실이 오히려 더 놀라움
    오래전에 ublacklist로 PH를 차단했는데, SEO 홍보/쓰레기처럼 보였고 콘텐츠가 거의 없는 “VS/비교/베스트 앱 5개”류 사이트와 너무 비슷했기 때문임. 이런 사이트는 손으로 필터링하는 속도보다 더 빨리 튀어나옴. 다시 확인해 보고 순수 생성 콘텐츠가 아니라는 걸 알게 된 뒤에도, 검색 결과에서 우연히 만났다면 여전히 가치 제안을 모르겠음

    • PH에서 좋은 순위를 얻는 걸 꽤 중요하게 여기는 회사를 여럿 알지만, 반응은 똑같았음
      실제 최종 사용자나 회사들이 정말 신경 쓰는 곳인가?

  • 봇과 인간의 추세가 좀 불안함
    탐지된 인간은 시간이 갈수록 투표와 댓글을 줄이는 것처럼 보이는데, 봇은 반대로 늘고 있음. 이게 죽은 인터넷 이론이 맞다는 또 다른 신호일까?

    • DIT는 이름이 잘못 붙었음
      아직 일어나지 않았지만 미래에 실현될 것이라는 뜻에서 죽은 인터넷 예언이 더 나은 표현이었을 듯함
    • 관련해서 HN의 실제 인간은 6시간에 댓글 5개로 제한되지만, 악의적 행위자는 계정 수백 개를 만들기만 하면 이 제한을 피할 수 있음

  • 예전에는 웹사이트에 투표하는 신뢰의 웹(WOT) 이 있었음
    인간용 신뢰의 웹이 봇 방어에 도움이 될 수 있을까? 내가 실제 인간이라고 보증할 수 있는 계정이 열댓 개쯤 있고, 다른 사람들도 나에게 투표할 수 있다면 신뢰망을 만들 수 있음. 물론 시드가 필요하지만, 인증 계정이나 소셜 미디어 연결과 상호작용으로 비교적 쉽게 세울 수 있음. X와 Meta는 어떤 계정이 봇인지 꽤 확실히 알고 있을 텐데, 이 지식을 서비스로 제공하는 데는 관심이 없어 보임

    • AI는 계속 더 좋아질 것임
      실제 사람이 뒤에 있다고 믿게 만드는 온라인 존재감을 구축하는 목적의 AI가 등장하기까지 그리 멀지 않았음. 가짜 인물이 평범한 활동을 하는 생성 동영상까지 올릴 수 있음. 결국 신뢰의 웹, 증명, 에이전트 평판 점수가 필요해질 텐데, 여기에는 현실 세계의 대면 상호작용, 정부의 일정한 지원, 촬영물과 메타데이터를 인증할 수 있는 카메라 같은 요소가 포함돼야 할 듯함. 콘텐츠를 소비하며 진위를 확인하고 싶은 사람들은 이 체계에 참여하거나 기존 언론에 머물러야 할 것이고, 일부 국가는 시민이 진실한 뉴스를 소비하도록 돕는 법을 만들 수 있음. 다만 상대의 정체를 실제로 모른 채 꽤 강한 신뢰망을 만드는 방법은 없다고 봄. 그래서 이 신뢰망은 범죄자와 정부가 표적을 찾는 데도 쓰일 것임. AI가 인간 행세를 허용하는 사회적 비용이 너무 커서, 이를 금지하는 입법은 가치가 있을 수 있음
    • 결국 당신은 고객이 아니고, 어떤 광고주가 고객임을 기억해야 함
      더 많은 광고를 팔기 위해 사용자 수를 부풀리는 것이 이런 서비스들의 주된 기능임
    • 그런 체계는 국가적 편의 목적에 맞춰 쓸려나가고 왜곡될 것임

  • Reddit에 댓글은 많지 않은 글이 몇 개 있는데, 매주쯤 GPT 기반 봇이 와서 “와! 정말 생각할 거리네요, 왜 중요한지 궁금하네요” 같은 식으로 매우 뻔한 질문을 남김
    내게 더 많은 데이터를 시스템에 먹이게 하려는 시도처럼 보임. 이런 봇을 Reddit이 직접 돌려 참여를 유도한다고 해도 놀랍지 않음

    • Reddit의 역사를 보면 됨
      봇이 가능해지기 전에는 사람이 직접 관리하는 가짜 계정으로 큐레이션했고, 이제 봇이 가능해졌으니 인기 서브레딧의 댓글과 게시물 대부분은 봇이라고 강하게 믿음. 그중 상당수는 Reddit이 직접 운영한다고 봄
답변달기