▲

a16z 투자 스타트업, AI 틱톡 계정으로 광고한 사실이 해킹으로 드러남

 (404media.co)
1P by GN⁺ 1일전 | ★ favorite | 댓글 2개
  • 1,100대의 스마트폰을 이용한 ‘폰 팜(phone farm)’ 이 해킹되어, TikTok에서 운영 중이던 AI 생성 광고 계정들의 활동이 드러남
  • 이 시스템은 a16z 의 투자를 받은 스타트업 Doublespeed가 운영하며, 수백 개 이상의 AI 기반 소셜미디어 계정을 관리해 제품 홍보에 사용함
  • 해커가 접근권한을 확보해 계정 할당, 프록시 정보, 작업 내역을 확인
  • 생성형 AI로 만든 인물 이미지와 영상이 보충제, 앱, 마사지기 등 다양한 제품 홍보에 사용되고, 광고 표시 없이 제품을 홍보한 정황이 다수 확인
  • 해커는 10월 31일 취약점을 회사에 보고했으나, 여전히 백엔드와 폰 팜에 접근 가능한 상태라고 밝힘

Doublespeed 해킹 사건 개요

  • 해커가 1,100대의 모바일폰으로 구성된 폰 팜을 장악해 TikTok에서 운영 중이던 AI 생성 광고 계정들의 활동을 노출
    • 이 폰 팜은 Doublespeed가 관리하며, AI로 생성된 소셜미디어 계정 수백 개 이상을 통해 제품 홍보를 수행
  • 해킹을 통해 광고임을 명시하지 않은 홍보 콘텐츠가 다수 존재함이 드러남
    • 해당 계정들은 AI 인플루언서 형태로 제품을 홍보하고 있었음
  • 해커는 회사의 백엔드에 접근해 각 PC 매니저가 어떤 폰과 틱톡 계정을 제어하는지 확인함
    • 프록시 서버와 비밀번호, 계정별 작업 큐까지 모두 노출된 상태였음
    • 해커는 약 1,100대의 스마트폰을 자유롭게 조작할 수 있었으며, 연산 자원이나 스팸에 악용 가능했다고 밝힘

틱톡에서의 AI 인플루언서 홍보 방식

  • Doublespeed가 운영한 400개 이상 틱톡 계정 중 약 200개가 실제로 제품 홍보에 사용됨
  • 다수의 게시물이 광고임을 표시하지 않은 상태로 업로드됨
  • 일부 계정은 실제 사용자처럼 보이기 위해 사전 활동을 쌓는 ‘워밍업’ 과정을 거친 것으로 보임
  • 틱톡의 비진정성 행위 탐지를 피하기 위해 실제 스마트폰 사용 패턴을 모방함

구체적인 홍보 사례

  • AI로 생성된 중년 여성 캐릭터가 신체 통증을 이야기하며 Vibit 마사지기를 반복적으로 노출함
  • UCLA 학생으로 설정된 AI 인물이 제약 산업을 비판하면서 Rosabella 모링가 보충제를 홍보함
    • 제품 병 라벨의 글자가 의미 없는 형태로 생성돼 AI 이미지임이 드러남
  • 일부 계정은 AI 생성 영상까지 활용해 Playkit 같은 틱톡 콘텐츠 에이전시를 홍보함

해커의 접근 및 회사 대응

  • 해커는 보복을 우려해 익명을 요청했으며, 10월 31일 Doublespeed에 취약점을 보고했다고 밝힘
  • 기사 작성 시점에도 해커는 여전히 회사 백엔드와 폰 팜 시스템에 접근 가능하다고 언급
  • Doublespeed는 언론의 논평 요청에 응답하지 않음

플랫폼과 투자사의 반응

  • Doublespeed는 Andreessen Horowitz(a16z) 의 투자를 받은 스타트업
  • 틱톡은 AI 생성 콘텐츠에 대한 라벨 표시 의무를 명시하고 있으며, 제보 이후 해당 계정에 라벨을 추가함
  • a16z와 Doublespeed는 사건에 대해 공식 입장을 내지 않음
  • Reddit의 대변인은 Doublespeed의 서비스가 약관 위반에 해당한다고 밝힘
  • Meta는 공식 답변을 하지 않았으나, 해당 사업은 진정한 신원 표현 정책을 위반하는 구조임
▲
roxie 8시간전  [-]

와 이런 비즈니스가,,,

답변달기
▲
GN⁺ 1일전  [-]
Hacker News 의견들

  • archive 링크

  • AI가 장기적으로 소셜 미디어를 파괴하고 있음
    이미 AI 이전에도 많은 게시물과 댓글이 봇이나 유료 계정이었음
    이제 Reddit은 ChatGPT보다도 덜 믿을 수 있는 공간이 되어버렸음
    그래도 아직은 The Onion-verse 같은 풍자 공간이 남아 있음

    • ‘Dead Internet Theory’가 농담에서 현실로 바뀐 느낌임
    • 전 세계가 즉흥적으로 대화하는 구조가 긍정적인 결과를 낼 수 있다고 생각하지 않음
      인간은 익명성과 무감독 환경에 약하고, 이런 포럼은 그 약점을 극대화함
      지금의 규모로는 애초에 좋은 아이디어가 아니었음
    • 오히려 좋은 일일 수도 있음
      점점 더 많은 사람들이 이런 플랫폼을 떠나 주류 미디어로 돌아가면 더 이성적으로 변할 수도 있음
    • Reddit은 이번 여름 비공개 프로필을 허용했을 때 이미 나에게는 죽은 플랫폼이 되었음
    • 나도 비슷하게 생각하지만, 사람들이 이런 저품질 콘텐츠(sloppy content) 를 좋아하는 게 걱정됨
      단지 신기해서 그런 걸까, 아니면 정말로 이런 걸 원해서일까 궁금함

  • 이제 봇 팜(bot farm) 이 일상화된 현실에 살고 있는 게 너무 이상함
    예전엔 이런 걸 러시아나 중국 같은 권위주의 정권과 연관 지었는데, 이제 우리도 그렇게 되어가는 건가?
    게다가 VC들이 이런 걸 투자하고 있다니 충격적임
    이제 a16z 팟캐스트를 들을 때마다 봇 팜이 떠올라서 듣기 힘듦
    사람들은 도덕과 윤리에 대해 정말 생각하는 걸까 하는 회의가 듦

    • 그래도 나는 여전히 신뢰 기반의 웹(web of trust) 형태의 미래가 가능하다고 믿고 있음
      다만 그걸 어떻게 설명해야 할지 모르겠음

  • “인간의 마음을 닮은 기계를 만들지 말라”는 말이 떠오름
    마치 Butlerian Jihad가 예정보다 빨리 도래한 느낌임
    억압이나 폭력이 아니라 바이럴 마케팅과 가짜 계정이 반란을 부르고 있음

    • 하지만 이미 폭력은 시작된 셈임
      OpenAI가 여러 건의 소송에 대응 중인데, 챗봇 사용자들이 스스로 목숨을 끊은 사건 때문임

  • 웃김. 방금 누군가에게 Vibit 광고가 너무 많고, 댓글들이 전부 가짜 같다고 말했었음

  • 해킹으로 드러난 내용이 결국 그 스타트업이 자신들이 하겠다고 말한 그대로 하고 있다는 것뿐이라면, 이건 그냥 광고 아닌가 하는 생각이 듦

  • Zuhair의 트위터와 공식 사이트를 보니 정말 역겨움
    그의 폰 팜 사진들은 이 트윗에 다 있음
    “죽은 인터넷을 가속한다”라니, 왜 우리가 이런 공공 공간의 황폐화(enshitification) 를 부추기고 있는지 이해가 안 됨

    • 그는 단순히 분노 유발용 콘텐츠(ragebait) 를 노리고 있는 듯하지만, 문제는 그 제품이 실제로 존재한다는 점임
      Cory가 처음부터 옳았음
    • 그는 똑똑하지만 잘못된 방향으로 간 청소년처럼 보임
      나쁜 사람이라기보다, 더 나은 롤모델이 필요해 보임
      누구나 나중에 부끄러워할 일을 해보지 않으면 반성할 기회도 없다고 생각함
    • 접근 가능한 링크는 xcancel.com/rareZuhair임
    • 이런 도구를 만드는 건 위험함
      언젠가 창작자 자신에게 되돌아올 무기가 될 수 있음
    • 이상한 게 아니라, 단순히 탐욕과 통제욕의 결과임

  • 이건 단순히 그 회사가 자신들의 사업을 운영하는 방식을 보여주는 보고서 같음
    doublespeed.ai

    • “never pay a human again”, “** spawn variation**” 같은 문구를 그대로 내세우는 게 오히려 신선함
      물론 싫지만, 마케팅 포장으로 속이는 다른 회사들보다 솔직해서 그나마 낫다고 느낌
    • 이런 비즈니스는 불법이거나 최소한 그레이존일 줄 알았는데, 이제 VC들이 도덕을 완전히 버린 듯함
      도박? 좋지. 스팸? 투자하겠음. 광고 사기? 문제없음
    • 이런 AI 콘텐츠 팜으로 TikTok에서 어떻게 수익을 내는지 궁금함
    • 결국 이런 논란 자체가 그들에게 무료 홍보가 되고 있음
    • 진짜로 “악당 광고 카피”를 현실에서 보고 있는 기분임

  • 왜 이런 회사를 컴퓨터 사기 및 남용법(CFAA) 으로 고소하지 않는지 의문임

    • CFAA를 싫은 대상에게 휘두르는 건 위험함
      이미 이런 기만적 마케팅을 다루는 법률이 존재함
      예: 미국 연방규정집 16 CFR Part 255
    • 하지만 자금과 후원 네트워크가 있는 회사는 법의 적용을 피해감
      최악의 경우에도 사면(pardon) 은 요즘 그리 비싸지 않다고 들음
답변달기