PyData Berlin에서 TikTok 추천 알고리즘을 직접 구현하는 방법에 대해 발표했음
TikTok의 개인화 추천 엔진은 세계에서 가장 가치 있는 AI 중 하나로, 클릭 후 1초 이내에 추천이 업데이트됨. 이처럼 피처 신선도(feature freshness) 가 낮으면 아무리 좋은 추천이라도 느리고 멍청하게 느껴짐
이 시스템은 Apache Flink, Kafka, 분산 모델 학습 인프라 등 유럽 기술 기반으로 구성되어 있음
핵심은 ‘온라인 학습’이 아니라, 클릭 이벤트가 1초 이내에 예측 피처로 반영되는 구조임
이런 구조를 위해서는 Flink 같은 이벤트 기반 스트리밍 아키텍처가 필요함
관련 영상은 YouTube 발표 영상, 참고 논문은 Monolith paper
TikTok에서 본 영상이 떠올라서 아주 대충 설명을 검색해도, 거의 항상 첫 번째 결과가 내가 찾던 영상이 나옴
다른 어떤 플랫폼도 이렇게 정확한 검색 기능을 제공하지 못하는 것 같음
YouTube Shorts도 비슷하게 작동함. 짧게 넘기다가 개 영상 하나를 오래 보면, 다음 영상도 개 관련 영상이 나옴
Feldera 언급 고마움. Feldera와 IVM을 써서 오프라인-온라인 피처 엔지니어링 동기화를 완벽히 맞출 수 있음 Feldera 문서의 예시에서 바로 시작할 수 있음
Flink는 이런 용도엔 너무 느림. 사용자별 상태를 추적하려면 Redis로도 훨씬 빠르게 가능함
Flink는 오히려 병목이 될 수 있음. 만약 실제로 Flink를 쓴다면, 그건 경쟁 우위가 아님
Flink가 스택에 포함된 건 반가움. Kafka 대신 Pulsar가 들어갔으면 더 좋았을 것 같음
디자인 패턴을 남용한다고 해서 금지하는 건 회의적임
영화관에서 봤던 클리프행어나 시퀄이 여전히 매력적이었던 것처럼, 짧은 영상 포맷이 정부 개입을 받아야 할 이유는 모르겠음
진짜 문제는 ‘조작적 디자인으로부터 보호’와 ‘개인의 선택 존중’ 사이의 경계가 어디냐는 것임
중독성 있는 패턴은 스트리밍, SNS, 게임, 이메일 알림 등 어디에나 있음
나는 정부 규제보다 미디어 리터러시와 투명성 강화가 더 중요하다고 생각함
이런 앱들은 의도적으로 중독성을 높이도록 설계됨. 수십억 달러를 들여 사람을 붙잡아두는 구조를 만듦
일반 사용자는 이런 초정밀 조작 시스템과 싸울 방법이 없음. 불공정한 싸움임
사회는 시간이 지나며 ‘해로운 행동’을 스스로 규제하려 함. 완벽한 기준은 없고, 시대에 따라 달라짐
짧은 영상은 기존 미디어 소비 패턴을 완전히 바꿨음. 알고리즘 기반 무한 스크롤은 인류에 해롭다고 생각함
그런 논리라면 모든 엔터테인먼트가 인간 본성을 이용하는 것이므로 금지해야 함. 말이 안 됨
TikTok이 EU 규제에 대응하려면 영상 사이에 ‘쿨다운 딜레이’ 를 넣을 수도 있음. 하지만 결국 사용자는 더 오래 앱에 머물게 될 것임
기사 제목이 실제 상황보다 과장되어 있음
아직 결론이 난 게 아니라 TikTok이 대응할 기회를 주는 초기 단계임
제목은 이미 결론이 난 것처럼 보이지만, 실제로는 조사 개시 단계임
어떤 제목을 말하는 건지 궁금함. “Europe Accuses TikTok of ‘Addictive Design’ and Pushes for Change”라면, 그게 과장인가?
EU 집행위의 보도자료에 따르면
TikTok은 ‘무한 스크롤’ 비활성화, ‘화면 시간 휴식’ 도입, 추천 시스템 수정 등 중독성 완화 조치를 요구받음
하지만 진짜 문제는 추천 시스템 자체임. 콘텐츠를 일부러 덜 흥미롭게 추천해야 하나? 어느 정도로 나빠야 만족할까?
나도 동의함. 앱의 본질은 사용자 관심 유지임. TikTok이 단지 더 잘하는 것뿐인데, 그걸 억제하는 게 해법일까?
결국 ‘덜 좋은 콘텐츠’ 를 보여주는 게 목표라면, 사용자 경험만 나빠질 뿐임
중국판 TikTok(抖音)은 아동용으로 이런 보호 장치가 이미 있음
사실상 EU가 TikTok, X 등 소셜미디어에 벌금 부과할 명분을 쌓는 과정 같음
목표는 단순함 — 중독성이 사라질 만큼 ‘나쁘게’ 만드는 것임
법적인 건 잘 모르지만, 코로나 시기 TikTok 중독을 겪고 끊은 경험이 있음
하루 4~8시간씩 보고, 설거지할 때도 영상을 틀었음
음악을 하루 종일 듣는 것보다 TikTok이 더 나쁘다고 느껴짐. 하지만 그 이유를 설명하기는 어려움
어떻게 끊었는지 궁금함
짧은 영상은 정말 약물처럼 중독적임. YouTube Shorts를 몇 시간 본 뒤 마치 약에 취한 듯 멍해졌음
그 이후로는 절대 안 들어감. 사람마다 취약성은 다르지만, 위험성은 분명함
Duolingo도 비슷한 심리 조작형 UX를 쓴다고 생각함
연속 학습 스트릭 유지, 의도적 난이도 조절, 강제 복습 등으로 사용자를 붙잡음
실제로는 사용자 목표(언어 숙달) 와 비즈니스 모델이 정반대임
나에겐 오히려 스트릭이 부담감으로 작용함. 실패하면 동기부여가 떨어지고, 오히려 앱을 안 쓰게 됨
Duolingo를 너무 과대평가하는 듯함. 수업이 단조롭고 중독성도 없음. 대부분은 단순히 스트릭을 유지하려고 씀
최근 AI 오버홀 이후 품질이 급락했고, 음성 합성도 망가짐
요즘은 거의 모든 산업이 이런 무한 구독 모델로 움직임. 문제 해결보다 지속 결제를 유도함
Duolingo는 별로지만, 대안인 Anki 플래시카드는 비기술 사용자에게 설정이 어렵다는 단점이 있음
HN 이용자들이 TikTok을 ‘무기화된 중독 기계’ 로 보는 게 의외임
YouTube도 한때 훌륭한 추천 시스템을 가졌고, 관심사에 맞는 영상 추천이 뭐가 문제인지 모르겠음
그냥 멍 때리며 보고 싶을 때 TikTok을 보든 TV를 보든 큰 차이가 있나?
효율적이라는 이유로 자전거를 금지하지 않듯, 중독성만으로 금지하는 건 비합리적임
TikTok은 실제로 중독 유발 설계를 함
TV는 모든 사람에게 같은 콘텐츠를 보여주지만, TikTok은 개인화된 피드를 제공함
자전거는 중독되지 않지만, 약물처럼 중독되는 콘텐츠는 규제 대상이 될 수 있음
나에겐 TikTok이 전혀 재미없었음. 30분 억지로 봤다가 바로 삭제함
친구들은 “아직 알고리즘이 너를 몰라서 그래”라 했지만, 내 관심사 영상은 전부 쓰레기 수준이었음
TikTok 알고리즘은 기본적으로 인기 장르를 보여주고, 체류 시간(dwell time) 으로 세분화된 카테고리를 A/B 테스트함
진짜 비결은 영상의 정확한 분류와 큐레이션임. 과거엔 TikTok이 직접 콘텐츠를 발굴하고 보상했음
나도 비슷했음. 설치하자마자 현지 영상만 추천돼서 바로 삭제함. YouTube가 훨씬 콘텐츠 품질이 높음
계정은 있지만, 친구들이 보내는 영상만 봄. 단순히 포맷 자체가 싫음
중독될까봐 삭제했는데, Instagram이 Reels로 따라 하면서 결국 거기에 중독됨. 친구 메시지 때문에 삭제도 못 함
무한 스크롤 금지는 좋은 디자인 자체를 금지하는 것과 비슷함
사용성 향상을 불법으로 본다면, 모든 디자이너를 감옥에 보내야 함
추천 엔진 금지도 말이 안 됨. YouTube, Amazon, Twitter의 추천도 다 같은 원리인데 TikTok만 문제인가?
무한 스크롤은 좋은 UX일 수 있지만, 알고리즘 피드에서는 ‘한 번만 더’ 심리를 유도하는 다크 패턴이 됨
기업들은 심리학자까지 고용해 도파민 수확 엔진을 설계함
추천 알고리즘 자체를 금지하는 건 어리석지만, 이런 비즈니스 모델의 병폐는 규제가 필요함
결국 문제는 기술이 아니라, 인간의 시간을 착취하는 경영 구조임
무한 스크롤이 좋은 디자인이라면, 그걸 만든 디자이너가 아니라 그 목표를 강요한 관리자가 책임져야 함
Hacker News 의견들
archive.is 링크에서 관련 내용을 참고할 수 있음
PyData Berlin에서 TikTok 추천 알고리즘을 직접 구현하는 방법에 대해 발표했음
TikTok의 개인화 추천 엔진은 세계에서 가장 가치 있는 AI 중 하나로, 클릭 후 1초 이내에 추천이 업데이트됨. 이처럼 피처 신선도(feature freshness) 가 낮으면 아무리 좋은 추천이라도 느리고 멍청하게 느껴짐
이 시스템은 Apache Flink, Kafka, 분산 모델 학습 인프라 등 유럽 기술 기반으로 구성되어 있음
핵심은 ‘온라인 학습’이 아니라, 클릭 이벤트가 1초 이내에 예측 피처로 반영되는 구조임
이런 구조를 위해서는 Flink 같은 이벤트 기반 스트리밍 아키텍처가 필요함
관련 영상은 YouTube 발표 영상, 참고 논문은 Monolith paper
다른 어떤 플랫폼도 이렇게 정확한 검색 기능을 제공하지 못하는 것 같음
Feldera 문서의 예시에서 바로 시작할 수 있음
Flink는 오히려 병목이 될 수 있음. 만약 실제로 Flink를 쓴다면, 그건 경쟁 우위가 아님
디자인 패턴을 남용한다고 해서 금지하는 건 회의적임
영화관에서 봤던 클리프행어나 시퀄이 여전히 매력적이었던 것처럼, 짧은 영상 포맷이 정부 개입을 받아야 할 이유는 모르겠음
진짜 문제는 ‘조작적 디자인으로부터 보호’와 ‘개인의 선택 존중’ 사이의 경계가 어디냐는 것임
중독성 있는 패턴은 스트리밍, SNS, 게임, 이메일 알림 등 어디에나 있음
나는 정부 규제보다 미디어 리터러시와 투명성 강화가 더 중요하다고 생각함
일반 사용자는 이런 초정밀 조작 시스템과 싸울 방법이 없음. 불공정한 싸움임
기사 제목이 실제 상황보다 과장되어 있음
아직 결론이 난 게 아니라 TikTok이 대응할 기회를 주는 초기 단계임
제목은 이미 결론이 난 것처럼 보이지만, 실제로는 조사 개시 단계임
EU 집행위의 보도자료에 따르면
TikTok은 ‘무한 스크롤’ 비활성화, ‘화면 시간 휴식’ 도입, 추천 시스템 수정 등 중독성 완화 조치를 요구받음
하지만 진짜 문제는 추천 시스템 자체임. 콘텐츠를 일부러 덜 흥미롭게 추천해야 하나? 어느 정도로 나빠야 만족할까?
결국 ‘덜 좋은 콘텐츠’ 를 보여주는 게 목표라면, 사용자 경험만 나빠질 뿐임
법적인 건 잘 모르지만, 코로나 시기 TikTok 중독을 겪고 끊은 경험이 있음
하루 4~8시간씩 보고, 설거지할 때도 영상을 틀었음
그 이후로는 절대 안 들어감. 사람마다 취약성은 다르지만, 위험성은 분명함
Duolingo도 비슷한 심리 조작형 UX를 쓴다고 생각함
연속 학습 스트릭 유지, 의도적 난이도 조절, 강제 복습 등으로 사용자를 붙잡음
실제로는 사용자 목표(언어 숙달) 와 비즈니스 모델이 정반대임
최근 AI 오버홀 이후 품질이 급락했고, 음성 합성도 망가짐
HN 이용자들이 TikTok을 ‘무기화된 중독 기계’ 로 보는 게 의외임
YouTube도 한때 훌륭한 추천 시스템을 가졌고, 관심사에 맞는 영상 추천이 뭐가 문제인지 모르겠음
그냥 멍 때리며 보고 싶을 때 TikTok을 보든 TV를 보든 큰 차이가 있나?
효율적이라는 이유로 자전거를 금지하지 않듯, 중독성만으로 금지하는 건 비합리적임
TV는 모든 사람에게 같은 콘텐츠를 보여주지만, TikTok은 개인화된 피드를 제공함
자전거는 중독되지 않지만, 약물처럼 중독되는 콘텐츠는 규제 대상이 될 수 있음
나에겐 TikTok이 전혀 재미없었음. 30분 억지로 봤다가 바로 삭제함
친구들은 “아직 알고리즘이 너를 몰라서 그래”라 했지만, 내 관심사 영상은 전부 쓰레기 수준이었음
진짜 비결은 영상의 정확한 분류와 큐레이션임. 과거엔 TikTok이 직접 콘텐츠를 발굴하고 보상했음
무한 스크롤 금지는 좋은 디자인 자체를 금지하는 것과 비슷함
사용성 향상을 불법으로 본다면, 모든 디자이너를 감옥에 보내야 함
추천 엔진 금지도 말이 안 됨. YouTube, Amazon, Twitter의 추천도 다 같은 원리인데 TikTok만 문제인가?
기업들은 심리학자까지 고용해 도파민 수확 엔진을 설계함
추천 알고리즘 자체를 금지하는 건 어리석지만, 이런 비즈니스 모델의 병폐는 규제가 필요함
결국 문제는 기술이 아니라, 인간의 시간을 착취하는 경영 구조임