- 내부고발자들은 Meta와 TikTok이 알고리듬이 분노를 유발할수록 참여율이 높아진다는 내부 연구 결과를 알고도, 더 많은 유해 콘텐츠를 사용자 피드에 노출시켰다고 폭로함
- Meta 엔지니어는 주가 하락을 이유로 ‘경계선 콘텐츠’ 노출을 늘리라는 지시를 받았다고 밝혔으며, TikTok 직원은 정치인 관련 사례가 아동 피해보다 우선 처리되었다는 내부 대시보드를 공개함
- Meta의 Reels는 TikTok과 경쟁하기 위해 충분한 안전장치 없이 출시되었고, 내부 연구에서 괴롭힘·증오발언·폭력성 댓글 비율이 인스타그램 본피드보다 높았다는 결과가 확인됨
- TikTok 내부 안전팀 직원은 정치적 관계 유지를 위해 아동 안전이 후순위로 밀렸다고 증언하며, “부모는 앱을 삭제하라”고 경고함
- 두 회사는 모두 고의적 유해 콘텐츠 증폭을 부인했으나, 내부 문건과 증언은 참여 중심 알고리듬이 사용자 안전보다 수익을 우선시했다는 구조적 문제를 드러냄
내부고발자들의 폭로 개요
- 12명 이상의 내부고발자와 관계자들이 폭력, 성적 착취, 테러 관련 콘텐츠 등 안전 문제를 무시한 채 사용자 참여 경쟁을 벌였다고 증언
- Meta 엔지니어는 여성혐오·음모론 등 ‘경계선 콘텐츠’ 를 더 노출하라는 경영진의 지시를 받았다고 밝힘
- TikTok 직원은 정치인 관련 신고가 아동 피해보다 우선 처리된 사례를 BBC에 제시
- TikTok 내부에서는 정치인과의 관계 유지가 규제나 금지 위험을 피하기 위한 이유로 언급됨
Meta 내부 연구와 Reels의 문제
- Meta 연구원 Matt Motyl은 Reels 출시(2020) 당시 안전장치가 부족했다고 밝힘
- 내부 연구에 따르면 Reels 댓글은 인스타그램 본피드보다 괴롭힘·증오발언·폭력 조장 비율이 각각 75%, 19%, 7% 높음
- 회사는 Reels 성장에 700명 인력 투입, 반면 아동 보호·선거 무결성 담당팀은 인력 충원이 거부됨
- 내부 문건은 알고리듬이 사용자 복지보다 수익 극대화를 우선시한다고 지적
- “Facebook은 사용자를 ‘패스트푸드’처럼 소비시킬 수 있으나 오래 지속되기 어렵다”는 표현 포함
TikTok 내부 안전팀의 증언
- BBC는 2025년 수개월간 TikTok 신뢰·안전팀 직원 ‘Nick’ 과 접촉
- 그는 AI 도입과 인력 감축으로 유해 콘텐츠 대응이 약화되었다고 밝힘
- 테러, 성폭력, 학대, 인신매매 관련 자료 증가를 확인했다고 증언
- 내부 대시보드에서 정치인 풍자 게시물이 청소년 성적 협박 피해 사례보다 우선 검토된 사례 제시
- 이라크 16세 피해자 사례 등에서 긴급도 낮게 분류된 사실 확인
- Nick은 “회사가 아동 안전보다 정치적 관계를 더 중시한다”고 말하며, 부모에게 ‘TikTok을 삭제하라’고 조언
- TikTok은 “정치 콘텐츠가 아동 안전보다 우선되지 않는다”며 주장 왜곡이라고 반박
- 청소년 계정에는 50개 이상의 기본 안전 설정이 적용된다고 설명
알고리듬 경쟁과 Meta의 대응
- 2020년 코로나19 시기 TikTok 급성장에 대응해 Meta는 Reels를 긴급 출시
- Motyl은 “사용자 보호보다 속도가 우선이었다”고 언급
- Reels 팀은 유해 콘텐츠가 더 높은 참여를 유도하기 때문에 안전 기능 도입을 꺼렸다고 함
-
Brandon Silverman(Crowdtangle 창립자) 은 당시 Mark Zuckerberg가 경쟁에 극도로 민감했다고 증언
- Reels 확장에는 700명 투입, 안전팀은 인력 확보에 어려움
- 전 Meta 엔지니어 ‘Tim’은 TikTok과의 경쟁으로 ‘경계선 콘텐츠’ 제한이 완화되었다고 밝힘
- “주가 하락과 매출 압박 속에 단기 수익 확보를 위해 조치 완화 결정이 내려졌다”고 언급
알고리듬의 작동 방식과 사회적 영향
- 내부 문건은 분노·도덕적 자극 콘텐츠가 높은 참여를 유도하며, 알고리듬이 이를 선호한다고 명시
- “이용자가 분노를 느낄수록 더 많은 콘텐츠를 소비하게 된다”는 구조
- 영국 경찰 테러전문가들은 최근 반유대주의·인종차별·극우 폭력 게시물의 ‘정상화’ 현상을 목격했다고 보고
- 한 10대 이용자는 14세부터 알고리듬에 의해 ‘급진화’되었다고 증언, 분노와 혐오감이 강화되었다고 설명
기업의 공식 입장
-
Meta: “금전적 이익을 위해 유해 콘텐츠를 증폭시킨다는 주장은 사실이 아니다”
- 지난 10년간 안전·보안에 대규모 투자를 진행했고, 청소년 보호 기능을 도입했다고 강조
-
TikTok: “주장은 조작된 것”이라며, 유해 콘텐츠가 노출되지 않도록 기술 투자를 지속 중이라고 설명
- “수백만 명이 새로운 관심사를 발견하고 커뮤니티를 형성하도록 지원한다”고 덧붙임
Hacker News 의견들
-
지난 5년간 이런 문제는 이미 상식 수준이 된 것 같음
하지만 진짜 질문은 “그래서 우리는 뭘 해야 하는가?”임
나는 온라인에서 분노에 시간을 낭비하지 않으려 노력하지만, 이건 개인이 감당하기엔 너무 큰 사회적 병폐임- 규제로 이런 행동을 막거나, 아예 회사를 폐쇄해야 한다고 생각함
Meta나 TikTok이 사회에 순손익이 음수라면 존재할 자연권은 없음 - 온라인 광고를 과세하고 강력히 규제해야 함
문제의 뿌리는 ‘참여 유도’가 너무 돈이 되기 때문임. 금전적 유인이 사라지지 않는 한 문제는 사라지지 않음 - 내 Instagram 피드는 요즘 거의 정치인 영상과 대통령 관련 논란, 그리고 자극적인 콘텐츠로 가득함
NPR만 들을 때보다 더 많은 정보를 얻는 기분이지만, 제작된 콘텐츠(편집, 음악, 해설 등)는 피함
나는 실제로 일어난 일이나 누군가의 발언에서 오는 감정적 반응만 받아들이고 싶음
‘뉴스로서의 콘텐츠’는 실제성이 있어야 함 - “약의 효능을 줄이자”는 식의 접근은 답이 아님. 금지도 마찬가지임
밀레니얼보다 Gen Z가 술을 덜 마시는 이유를 보면, 그 안에 해법이 있을지도 모름 - 아마 우리는 아무것도 하지 않고 계속 불평만 할 것 같음
- 규제로 이런 행동을 막거나, 아예 회사를 폐쇄해야 한다고 생각함
-
“유해 콘텐츠”라는 말은 결국 정부나 특정 국가가 싫어하는 것을 뜻한다고 봄
결국 또 다른 형태의 검열 요구로 들림- BBC 내부 연구에 따르면 Reels 댓글에는 괴롭힘·증오 발언이 다른 곳보다 훨씬 많았다고 함
만약 어떤 집단이 이런 폭력을 반대한다면, 그건 오히려 좋은 일 아닌가? - 내 TikTok 피드에는 유대인에 대한 직접적인 폭력 선동이 뜨기도 함
신고해도 “규정 위반 없음”이라는 답변만 돌아옴
- BBC 내부 연구에 따르면 Reels 댓글에는 괴롭힘·증오 발언이 다른 곳보다 훨씬 많았다고 함
-
이런 플랫폼들이 여전히 이런 식으로 운영되는 게 답답함
이미 10년 넘게 사회적 피해가 알려졌는데도 아무 일도 일어나지 않음
Facebook과 TikTok은 사실상 디지털 마약임. 그것도 사회적 공감 능력이 결여된 사람들이 설계한 것임 -
이런 결과가 놀랍지 않음. 대부분의 사람도 그럴 것임
그래도 증거가 명확히 제시되는 건 좋은 일임 -
이런 현상은 피할 수 없는 걸까?
클릭과 조회수, 사용자 참여를 만들어내기 때문에 한 플랫폼이 그렇게 하면 다른 곳도 따라갈 수밖에 없음- 이제는 사용자가 직접 피드를 관리해야 함. 플랫폼이 대신 정리해주길 기대할 수 없음
- 참여율이 시장 점유율과 같지는 않음
예를 들어, 맥도날드 직원이 손님을 모욕하면 ‘참여’는 늘겠지만 시장 점유율은 떨어질 것임
-
그들이 그렇게 행동한 건 당연함
법적으로 허용되고 이익이 나는 한, 계속 그렇게 할 것임 -
이건 최소 2012년부터 반복된 이야기임
Max Fisher의 책 The Chaos Machine에 잘 정리되어 있음
Facebook, YouTube 모두 비판이 나오면 “조치를 취했다”고 말하지만 실제로는 회피·지연·축소·부정의 반복임 -
유해 알고리즘을 감시하고 소송까지 진행하는 기관이 있는지 궁금함
Reset.tech이 이 분야에서 좋은 일을 하지만, 다른 곳도 있는지, 그리고 누가 자금을 대는지 알고 싶음 -
200억 달러를 벌고 벌금이 2억 달러라면, 그들은 사용자 정신 건강에 전혀 신경 쓰지 않을 것임
-
대중이 여전히 선정적 콘텐츠에 반응하는 한, 플랫폼이 그걸 이용하지 않을 이유가 없음
대부분의 게시물은 결국 클릭 유도 미끼에 불과함