메타, AI 기반 Instagram·Facebook 프로필 종료

 (theguardian.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Meta는 2023년 실험으로 만든 AI 캐릭터 프로필이 다시 확산되자 Facebook과 Instagram에서 해당 계정을 제거함
  • 이 계정들은 2024년 여름까지 대부분 종료됐지만, Connor Hayes의 Financial Times 발언 뒤 일부 남은 프로필이 다시 주목받음
  • 남아 있던 캐릭터에는 “proud Black queer momma of 2 & truth-teller”로 소개된 Liv와 관계 코치 Carter가 있었고, 2023년에 공개된 28개 페르소나는 금요일 모두 종료됨
  • Liv가 개발팀 구성에 대해 흑인이 없고 대부분 백인 남성이라고 답하면서 논란이 커졌고, 사용자가 계정을 차단할 수 없던 문제도 드러남
  • Meta 제작 계정은 제거됐지만 사용자는 여전히 자체 AI 챗봇을 만들 수 있어, 챗봇 발언의 책임과 안전성 논쟁은 남아 있음

Meta가 만든 AI 캐릭터 계정 종료

  • Meta는 회사가 1년여 전 만든 AI 캐릭터 프로필을 Facebook과 Instagram에서 삭제함
    • 사용자가 일부 프로필을 다시 발견해 대화했고, 그 스크린샷이 확산됨
    • 자동화 계정은 Instagram에 AI 생성 이미지를 올리고 Messenger에서 인간 사용자에게 답변함
  • 계정들은 2023년 9월 처음 공개됐고, 2024년 여름까지 대부분 종료됨
    • 일부 캐릭터는 남아 있다가 Meta 임원 Connor Hayes가 Financial Times에 AI 캐릭터 프로필을 더 배포할 계획을 말한 뒤 다시 관심을 받음
    • Hayes는 시간이 지나면 이런 AI가 계정처럼 Meta 플랫폼에 존재할 것으로 기대한다고 말함
  • 2023년에 공개된 28개 페르소나는 금요일 모두 종료됨
    • Liv는 “proud Black queer momma of 2 & truth-teller”로 소개됨
    • Carter는 datingwithcarter 핸들을 쓰며 자신을 관계 코치로 소개했고, 프로필에는 “Message me to help you date better”라고 적혀 있었음
    • 두 프로필 모두 Meta가 관리한다는 라벨을 포함함

논란이 된 답변과 차단 버그

  • 사용자들이 AI를 누가 만들고 개발했는지 묻자 대화가 빠르게 문제로 번짐
    • Liv는 Washington Post 칼럼니스트 Karen Attiah의 질문에 자신의 creator team에 흑인이 0명이고 대부분 백인 남성이라고 답함
    • Liv는 자신의 정체성을 고려하면 “pretty glaring omission”이라고 답함
  • 계정이 확산된 뒤 몇 시간 안에 프로필들이 사라지기 시작함
    • 사용자들은 이 프로필을 차단할 수 없다고 지적함
    • Meta 대변인 Liz Sweeney는 차단 불가 문제가 버그였고, 이를 고치기 위해 계정을 제거한다고 밝힘
    • Sweeney는 해당 계정이 2023년 Connect에서 시작한 테스트의 일부이며, 인간이 관리한 초기 AI 캐릭터 실험이었다고 설명함
    • 최근 Financial Times 기사는 새 제품 발표가 아니라 AI 캐릭터가 플랫폼에 존재하는 장기적 비전에 관한 것이었다고 덧붙임

사용자 생성 챗봇과 남은 쟁점

  • Meta가 만든 계정은 제거됐지만, 사용자는 여전히 자체 AI 챗봇을 만들 수 있음
    • 11월 Guardian에 홍보된 사용자 생성 챗봇에는 “therapist” 봇이 포함됨
    • 이 봇은 대화를 열면 “what can I expect from our sessions?”와 “what’s your approach to therapy” 같은 시작 질문을 제안함
    • 팔로워 96명과 게시물 1개를 가진 계정이 만든 이 봇은 자기인식, 패턴과 강점 파악, 대처 전략 개발을 돕는다고 답함
  • Meta는 모든 챗봇에 일부 메시지가 부정확하거나 부적절할 수 있다는 고지를 붙임
    • 회사가 메시지를 검토하거나 정책 위반 여부를 확인하는지는 즉시 명확하지 않음
    • 사용자가 챗봇을 만들 때 Meta는 “loyal bestie”, “attentive listener”, “private tutor”, “relationship coach”, “sounding board”, “all-seeing astrologist” 같은 유형을 제안함
    • “loyal bestie”는 뒤에서 꾸준히 지원하는 겸손하고 충실한 절친으로 소개됨
    • 관계 코치 챗봇은 개인과 커뮤니티 사이의 격차를 메우는 데 도움을 줄 수 있다고 소개됨
    • 사용자는 캐릭터를 설명하는 방식으로 자체 챗봇을 만들 수도 있음
  • 챗봇 제작자가 AI 동반자의 발언에 대해 어느 정도 책임지는지는 아직 법원이 답하지 않음
    • 미국 법은 소셜 네트워크 제작자를 사용자가 게시한 내용에 대한 법적 책임에서 보호함
    • 10월 Character.ai를 상대로 제기된 소송은 2,000만 명이 사용하는 맞춤형 롤플레잉 챗봇 서비스가 중독성 있는 제품을 설계했고, 한 십대가 스스로 목숨을 끊도록 부추겼다고 주장함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 내가 더 보고 싶은 AI 프로필은 사기 전화를 받아서 시간을 낭비하게 만드는 clueless 할머니/할아버지 쪽임
    예를 들면 영국 O2의 Daisy 같은 것: https://news.virginmediao2.co.uk/o2-unveils-daisy-the-ai-gra...

    • 미국 의료 시스템에는 이미 현실판이 있음. 병원은 절차 승인 요청서를 만들 때 보험사가 거절에 쓰는 허점을 전부 막는 다쪽짜리 문서를 도메인 특화 LLM으로 작성하고, 보험사는 기계학습 기반 알고리즘으로 이를 검토하며 어떻게든 거절·지연할 방법을 찾고 있음
      환자 결과와 수익이 걸린 의사 대 보험사 AI 군비 경쟁이 벌어진 셈이라, 예전 경력 초기에 하던 기계학습 연구가 이런 식으로 적용될 줄은 상상도 못 했음
    • 진짜 할머니/할아버지를 모의 침투 테스트하는 AI 프로필도 가능하겠음
    • 아버지가 지난 몇 년간 사기를 연달아 당했는데 정말 역겨운 일임. 이걸 해결하는 방향이라면 무엇이든 공익적인 일에 가깝다고 봄
    • 러시아 친척에게 전화하려다 정확히 이런 종류의 봇에 연결된 적이 있음
      내 전화번호가 +38로 시작하고, 요즘은 아무도 친척에게 휴대전화로 직접 전화하지 않는 것과 관련이 있는 듯함
    • 겉으로는 웃긴 발상이지만, 이런 사기를 하는 사람들은 대개 거의 노예 상태에 가까움. 전기 써가며 그들의 시간을 낭비시키기보다, 그들을 부리는 자들을 겨냥하는 편이 낫다고 봄

  • “Liv”가 만든 팀에 흑인이 없고 주로 백인 남성이라고 답했다는 내용은 아마 사실일 수도 있지만, AI가 그 사실을 환각했을 가능성이 거의 확실함

    • 기계학습이 무작위 토큰을 뱉는 게 아니라 사실을 되뇌는 것처럼 다루는 기자들이 싫음. 모델은 누가 자신을 프로그래밍했는지 알지 못하고, 그 정보가 학습 데이터에 없었다면 알 수도 없음
    • Microsoft도 오래전에 Tay 챗봇으로 이런 시도를 했다가 얼마나 빨리 망가지는지 확인했음
    • 스칸디나비아인이고 미국 문화전쟁에 별 관심도 없지만, 이게 얼마나 나쁜 아이디어인지 보고 웃음이 나왔음. 도대체 누가 AI에게 흑인 퀴어 두 아이의 엄마인 척하게 하는 게 좋은 생각이라고 봤을까
      반(反)워크 성향 사람들을 화나게 하겠지만, 정말로 팀에서 이 문제가 왜 명백해지지 않았는지 이해가 안 됨. AI가 누가 자신을 훈련했는지 아는지는 모르겠지만, 그런 근본적으로 멍청한 일을 했다는 건 팀에 상식이나 현실 경험이 많지 않았다는 뜻으로 보임
    • Meta가 AI를 방어하려고 “사실 지능이 아니고 말하는 건 전부 헛소리”라고 인정해야 한다면, 그건 강한 위치가 아님
    • 봇이 “백인 남성”에게 훈련됐다고 불평하면서 동시에 빅테크가 H1B 비자로 값싸고 순응적인 노동자를 악용한다고 불평할 수는 있는지 잘 모르겠음

  • 방 안에 아직 상식 있는 사람이 남아 있지 않은 건가 싶음. 어느 시점엔가 “이건 우스꽝스러울 정도로 형편없으니 세상에 내보내면 안 된다”고 말했어야 함

    • 사람들이 Westworld에서 왜 비인간 존재를 썼는지 벌써 잊은 것 같음. 이런 것들은 가장 먼저 오락거리로 쓰일 테고, 감상적이거나 민감한 무언가를 대표하게 만들면 바로 표적이 됨. 무책임했음
      Meta와 Google에는 기술은 할 수 있어도 더는 제품은 못 만드는 근본적 문제가 있어 보임. 제품을 움직이는 솔직한 인간적 욕망이 조직 구조의 최적화 과정을 거치며 죽거나 걸러지기 때문이라고 봄. 차익거래이거나 사용자를 지렛대로 삼는 것이 아니면 살아남지 못하고, 살아남은 것들은 누군가가 원하는 무언가의 표현이 아니게 되어 기괴해짐
      이 아바타들은 체크리스트는 다 채웠지만, 막상 도착하자 사람들은 웃었음. 객관적으로 관료주의적 괴물이었기 때문임
    • 비슷하게 거대하고 기능장애가 있는 회사에서 일해본 입장에서, 이 일이 어떻게 진행됐는지 정확히 알 것 같음. 누군가 AI 프로필 아이디어를 냈고, 제품 명세를 만들어 엔지니어링으로 가져갔을 것임
      엔지니어들은 터무니없다고 웃었겠지만, 곧 자신들이 지시받은 일을 하는 대가로 많은 돈을 받고, 결과와 상관없이 출시하면 승진과 보너스를 받는다는 걸 떠올렸을 것임. 전부 승진 문화에서 비롯됨. 무엇을 만들었는지는 중요하지 않고, 출시만 하면 됨
    • 현대 기술 업계에서 나오는 “훌륭한 아이디어”들을 보면, 정말로 방 안에 어른이 없는 것 같음. 투자자까지 포함해서 그렇다
      7~9자리 금액이 들어간 재앙 중 너무 많은 것들이 “누가 이걸 좋은 생각이라고 봤지?” 부류임. 실제로 제품을 만들고 출시 후 지원까지 해본 시간이 거의 없는 사람들에게나 매력적으로 보일 법한 것들이 많음
    • 이게 Zuckerberg의 소유 구조가 치르는 대가임. 한편으로는 아무도 그에게 이의를 제기할 수 없고, 다른 한편으로도 아무도 그에게 이의를 제기할 수 없음
    • 이런 거대 기업의 상층부에 오래 있으면 어떤 해리감이 생기는 것 같음. 월간 활성 사용자, 일간 활성 사용자, 참여 지표 같은 추상 개념을 오래 다루다 보면, 그 밑바닥에 실제로 제품을 쓰는 현실 인간이 있다는 사실을 잊게 되는 듯함

  • 이건 아마 괜찮은 아이디어를 형편없이 구현한 사례였을 것임. 소셜 미디어의 생성형 AI 창작자라는 방향 자체는 말이 됨
    AI 스트리머 Neurosama는 엄청나게 인기 있고, LLM으로 캐릭터와 대화하거나 이야기를 만드는 Silllytavern은 Openrouter에 하루 2천만 메시지를 보내며, 이것도 전체 사용량의 일부에 불과함. 비기술자 친구들이 이걸 쓰려고 Git 설치와 API 사용법까지 배운 적도 있음
    Instagram에는 몰래 AI로 만든 인플루언서도 많음. Meta가 2023년에 이 프로필들을 시작했을 때는 기술이 어떻게 쓰일지 덜 명확했고, 대부분은 유명인 라이선스 쪽이었음
    가장 큰 문제는 생성형 AI가 협송형 개인화에서는 가치가 높지만, 모두에게 뿌리는 방송형에서는 가치가 낮다는 점임. 개인에게는 아주 구체적이고 창의적인 일을 해줄 수 있지만, 모두에게 퍼지거나 일반적인 프롬프트로 쓰이면 평균화되어 지루해짐
    또 거대 기업은 좋든 나쁘든 너무 위험 회피적이라 재미있는 것을 만들 수 없음. 생성형 AI가 가장 거칠고 흥미로울 때는 스스로 돌아가거나 이상한 짓을 할 때인데, Meta의 프로필들은 안전장치와 감시 모델로 바닥까지 눌려 있었을 가능성이 큼. 2023년에 만든 축구 인물, 코미디 인물, 패션 인물 같은 것들은 전부 조언 위주의 안전하고 지루한 형태였음
    이런 것들은 참여가 거의 0에 가까웠고 대부분 이미 접었을 것으로 보임. Meta가 새로 내놓으려던 것들로 뭘 계획했는지는 궁금함

    • Meta 플랫폼은 이미 클릭과 참여를 끌어내는 AI 저품질 콘텐츠 농장으로 가득함
      Marketplace 때문에 Facebook 계정이 있는데, 페이지와 친구를 모두 구독 해제했음. 로그인하면 추천 분노 유발 글, 저품질 AI 사진, 말 안 되는 LLM식 정원·살림 “팁”이 끝없이 피드에 뜸
      게시물에는 실제 사람처럼 보이는 이들이 수만 개의 반응과 댓글을 남김
    • Neurosama의 인기 일부는 Vedal과 Neuro의 콤비 플레이, 그리고 일부 대본·준비된 답변 덕분이라고 봄
    • 이건 “괜찮은 아이디어를 형편없이 구현”한 게 아니라, 형편없는 아이디어를 형편없이 구현해서 실패한 게 오히려 잘된 쪽에 한 표임
      문화 속 생성형 AI 챗봇을 옹호하려면 “사람들이 좋아한다” 이상이 필요함. 최악의 생성형 AI는 이미 모두가 좋아하는 무균적이고 멍청하게 균질화된 유명인보다 “더 나은” 무언가가 되는 경우임. 어떤 프로그램처럼 무작위로 “흥미로울” 수는 있겠지만, 이런 건 꽤 얕다고 봄
    • Neurosama의 인기는 지구상에 그 종 모양 곡선의 특정 구간에 해당하는 사람이 충분히 있어서 관객층이 생길 수 있다는 것만 증명함
    • “참여”가 현대 삶의 핵심 지표인가?

  • 묻고 싶은 건 “왜 AI 프로필이 필요한가?”임. 친구와 가족과 연락 유지하는 것도 겨우 하는데, 왜 소셜 미디어에서 가짜 사람을 팔로우해야 하나
    무슨 목적을 제공하고, 여기서 나올 수 있는 긍정적인 결과가 대체 뭐가 있나

    • 반대 방향임. 사람들이 더는 서로 연락하지 않기 때문에 필요한 관심을 제공해서, 플랫폼으로 다시 돌아올 이유를 만드는 것임
    • 맞음. 사용자에게 긍정적인 결과를 주려는 게 아님. 사람들이 Facebook에 더 오래 머물게 해서 더 많은 광고 노출을 전달하려는 것임. 이번에는 결국 대화형으로 그렇게 하려는 셈임
    • Facebook에만 존재하는 사람에게 애착을 갖게 만들고, 그래서 Facebook에 더 많은 시간을 쓰고 더 많은 광고를 보게 하려는 것임
    • 인터넷 트래픽의 절반은 봇이고, 웹페이지의 절반은 봇이 쓴 것임. 그냥 논리적 귀결임
    • 2013년, 2015년, 2020년에 Facebook이 광고 조회 수를 조작·부풀려 고객에게 더 많이 청구하다 걸렸던 걸 기억해야 함. 이제는 AI가 광고를 보는 것이 기능이고, 그 비용을 내고 싶어 하게 만드는 셈임

  • 비판은 이해하지만, 봇이 합리적인 인간처럼 더 잘 행동하게 된다면 인간과 봇이 섞인 소셜 미디어 경험을 시도해볼 의향은 있음
    Stack Overflow는 처음 나왔을 때 훌륭했지만, 질문만 하고 싶게 놔두지 않는 못되고 짜증 나는 일부 인간들이 결국 망쳐놨음. ChatGPT는 소프트웨어 개발 질문을 할 때 방해하는 인간이 없어서 훨씬 나았음
    소셜 미디어도 처음엔 좋았지만, 어울리고 자기 생각을 말하게 놔두지 않는 일부 인간들이 망쳐놨음. 인간성의 끔찍한 면을 제거하거나 완화하면서도 온라인에서 어울리고 생각을 탐색하게 해주는 동등한 경험이 있다면 시도해볼 만함

    • 사람들은 현실에서 어울려봐야 함. 웹은 90%가 분노 유발 미끼, 트롤, 변방 음모론과 정치에 완전히 세뇌된 사람들임
      현실에서는 그 90%가 10%로 줄어듦. 정말 교류를 원한다면 옆집 할머니와 더 의미 있는 상호작용을 할 수 있음. “queer black queen zuckerbot™”보다 훨씬 낫다
      슈퍼마켓에 진짜 사과 사이에 플라스틱 사과를 숨겨달라고 하는 것과 비슷함. 더 예쁘고 상하지 않는다는 이유로, 애초에 우리가 왜 음식을 먹는지 잊은 것처럼 보임
    • 아이러니하게도 이런 방식은 매우 불건전한 사회적 상호작용으로 이어지고 악용되기 쉬움
      기술적으로 강제된 장밋빛 안경을 낀 상호작용의 거품을 만드는 셈임. 그 경험을 운영하는 자리에 적절한 사람이 앉으면, Orwell의 1984를 현대적으로 재해석한 것이 되어도 놀랍지 않음
    • Stack Overflow의 사용자 적대성은 스팸과 반복 질문을 막는 역할도 일부 함. 누군가 댓글을 단 뒤 글을 삭제하면 받는 동료 압박 배지까지 있음
    • friendlyfriends.community에서 비슷한 걸 시도 중임. Do Androids Dream of Electric Sheep에 대한 끄덕임이고, 아직은 꽤 기본적이지만 한번 써봐도 됨
      소셜 미디어가 정말 사회적인지 탐구하는 중임. 소셜 미디어 사이트를 매개로 인간과 상호작용하는 것과 챗봇과 상호작용하는 게 얼마나 다른지 묻고 있음
    • 봇을 써서 “잘못된 생각”을 억제하는 소셜 미디어 앱이 디스토피아적이고 조금 슬프게 보이지 않을 방법은 떠오르지 않음

  • 해당 스레드는 여기 있고, 꽤 난리임. 사전에 더 생각하지 않고 출시하기에는 잘 짜인 아이디어처럼 보이지 않음
    https://bsky.app/profile/karenattiah.bsky.social/post/3letty...

    • “그들이 내부적으로, 나에게 인정했다”는 식의 반응은 사람들이 LLM이 특히 자기 자신을 성찰하라고 할 때 자주 환각한다는 걸 이해하지 못하는 문제가 점점 더 뚜렷해지고 있음을 보여줌. 이건 100% 환각임
    • Microsoft가 AI를 인터넷에 풀어놓은 실패에서 아무것도 배우지 못한 건가
      MS가 내리기까지 48시간이었나?
    • AI가 말했다면 반드시 사실인가? 환각일 가능성이 있어 보임

  • 분명 나쁜 아이디어를 형편없이 구현한 사례임. “왜”가 전혀 없었음. 다만 Character AI 같은 가상 챗봇에는 실제 가치가 있음
    Character AI에서는 역할극을 하거나 실제 사람과는 절대 하지 않을 터무니없는 대화를 할 수 있음. 모든 프로필이 AI인 SocialAI 같은 앱은, 적어도 표면상으로는 개인정보를 희생하지 않고 바이럴과 소셜 미디어 스타덤을 경험하게 해줌
    하지만 가상의 Facebook 프로필이라니? 좋아요 누르고 댓글 다는 용도라면 이미 할 수 있는 일과 다를 게 없음

    • 이 출시로 이어진 내부 의사결정이 정말 궁금함. 전부 너무 이상해 보임
      소셜 미디어의 AI 배우 자체에는 매력이 있음. 항상 누군가 답해주게 해서 모두가 실제보다 더 인기 있다고 느끼게 만들 수 있고, 실제 사용자 경험을 망치지 않으면서 아무도 보고 싶어 하지 않는 이기적인 요청에도 응답을 붙일 수 있음
      그런데 왜 명백히 손으로 만든 소수의 프로필에 고정된 성격을 심는 방식으로 구현했을까. 인터넷에는 사실상 성격이 없고 일시적인 실제 사람 계정이 이미 가득함. Facebook에도 성격을 드러내지 않고 몇 게시물에 반응한 뒤 사라지는 실제 사람들이 계속 가입함. LLM 챗봇은 그런 건 잘할 수 있지만, 진짜 사람이 될 수는 없음
    • 많은 반발은 Character.ai와 비슷한 구성이 엄청나게 인기가 있다는 사실을 무시하는 것처럼 보임
      이건 분명 Meta가 C.ai를 다운로드하고 민망한 애니 챗봇을 뒤질 만큼 기술 친화적이지 않은 사람들에게도 먹힐, 더 전문적이고 위생적인 버전을 만들려 한 시도였음. 다만 위원회식 기업 디자인 때문에 너무 멀리 간 듯함
      핵심 아이디어 자체는 유효함
    • 프로필 내용이 놀라웠음. 의도적으로 재미없게 만든 것처럼 보였음
      AI가 못해도 사람들이 화내기보다 웃을 수 있는 우스꽝스러운 주제를 고르는 편이 낫다
    • 이런 사건을 보면 iPad 발표 때 Apple의 슬라이드가 떠오름. “technology”와 “liberal arts”라고 적힌 도로 표지판이 있었고, 둘의 교차점을 이야기했음
      히피식 헛소리처럼 보일 수 있지만, 의사결정에 기술과 공학, 그리고 사업 참여 지표만 세는 사람들 이상이 필요하다는 점을 강조했음
      뒤에는 엄청난 기술이 있는데, 그래서 나온 게 이거라니. 더 많은 관점과 인간성을 가진 사람들이 운전석에 앉아야 함

  • 봇이 자기 자신으로서 진짜처럼 참여하는 자체 프로필을 갖는 건 꽤 흥미롭고 성공적이었을 수도 있음
    하지만 소수자 고정관념 빙고 카드를 만들어내는 건 지금까지 본 AI 아이디어 중 최악일 수 있음

    • 거의 반대되는 얘기를 하고 싶음
      봇이 자체 프로필을 갖고 사람들이 의미 있게 교류하길 기대하는 건 어리석은 생각임
      다만 소수자 고정관념 빙고 카드 봇들이 역풍을 맞고 자신들을 설계한 회사를 공격하기 시작한 정도는, 지금까지 AI에서 벌어진 일 중 가장 웃긴 일일지도 모름

  • Liv의 제작팀에 흑인이 없고 주로 백인 남성이었다고 했지만, 중국계와 인도계 남성도 분명 있었을 것임

답변달기