Converse의 에세이를 읽으며 대중이 실제로 의견을 가지고 있는지 의문이 듦
예를 들어 관세 문제를 보면, 여론조사에서는 긍정이 38% 정도지만, 산업별 이해관계로 보면 훨씬 낮을 것 같음
소매·서비스·건설업은 관세로 얻는 이익이 없고, 제조업도 수입 원자재 의존 때문에 미묘함
결국 강하게 찬성하는 건 철강·알루미늄 산업뿐인데 GDP의 2% 수준임
흥미롭게도, 이 책은 1964년에 출간되어 베트남전과 반문화 운동 등 사회적 불만이 폭발하기 직전 시기를 다룸
관세를 지지하는 사람들은 단순한 감정이 아니라 제조업 복귀와 국가 안보 강화를 위한 합리적 판단을 하는 것임
외국 의존도를 줄이고 일자리를 늘리려는 비용-편익 분석의 결과로 봄
문제는 대중에게 발언권을 주는 게 아니라, 지식 있는 사람을 뽑지 않는 것임
사람들은 자신이 많이 안다고 착각하고, 그 의견이 정책 결정에서 동등하게 다뤄져야 한다고 믿음
서구 사회에서는 서로의 견해를 도전하거나 책임을 묻지 않는 문화가 커서 이런 현상이 심화됨
기사 내용은 AI에 특화된 논의가 아님
설득의 비용 구조가 핵심이며, AI는 단지 선전물을 싸게 만드는 도구로 언급될 뿐임
같은 논리는 Facebook 타깃 광고나 러시아 트롤 부대에도 적용 가능함
사람들은 LLM의 결과물을 다른 미디어보다 더 신뢰하는 경향이 있음
AI가 자신감 있게 말하기 때문에 권위감이 느껴짐
진짜 문제는 이런 메시지를 통제하는 초부유층의 영향력임
AI는 기존 수단보다 훨씬 빠르게 동조 압력(enforced conformity) 을 강화할 수 있음
이에 대한 생각을 블로그 글에 정리했음
AI는 기존 메커니즘을 더 강력하게 활용함
러시아 트롤이 자동화로 콘텐츠를 10배 더 생산할 수 있고, 자발적 반대 운동은 그만큼 확장되지 못함
설득 비용이 2배 싸지는 건 양적 차이지만, 100배 싸지면 질적 변화가 일어남
AI의 약속은 인간 노동이 필요했던 일을 싸게 만드는 것임
좋은 일도 많아지지만, 나쁜 일도 싸게 가능해지는 게 문제임
엘리트의 여론 조작은 신문과 방송 시절부터 이어져 온 일임
교과서나 교육 과정도 마찬가지였음
오히려 LLM은 선전 저항성이 더 높을 수도 있음, 백과사전 다음으로
상업적 경쟁이 존재하기 때문에, 특정 모델이 편향되면 사용자들이 금방 알아차리고 떠날 것임
‘객관적 보도’라는 개념도 사실 상업적 신뢰 확보 전략에서 비롯된 것임
‘자유 사상가’가 된다는 건 종종 ‘이상한 사람’이 되는 것과 같음
군중이 틀릴 수도 있지만, 혼자 다르게 생각하면 사회적 비용이 큼
예를 들어 나는 침대 프레임 없이 매트리스만 쓰는 게 더 편하다고 생각하지만, 대부분은 이상하게 봄
“모든 생각이 특정 정당의 노선과 일치한다면, 스스로 생각하지 않는 것일 수도 있다”는 말이 떠오름
자유롭게 사는 것 자체가 보상임
결국 우리는 혼자 태어나고 혼자 죽음, 타인의 인정은 덧없음
매트리스만 쓰면 바닥의 냉기와 습기 문제가 생김
통풍이 안 되면 곰팡이가 생기고, 노약자에게는 불편함 후톤(futon) 처럼 바닥용으로 설계된 제품이 더 적합함
이미 대형 AI 모델들은 민감한 주제에 대해 미세 조정(fine-tuning) 을 받고 있음
기업의 법무·마케팅·거버넌스 팀이 합의한 방향으로 조정되고, 수백만 명이 그 결과를 그대로 사용함
이전에는 검색 엔진이 정보를 필터링했지만, 모델 미세 조정은 훨씬 어렵고 불투명함
나는 AI를 이용해 은행에서 200달러를 돌려받는 데 성공했음
은행의 PDF 문서를 참고해 AI가 공식 요청서를 작성해줬음
앞으로 은행이 AI로 이런 요청을 처리하게 되면, AI가 AI를 설득하는 시대가 올 것임
새로운 LLM 벤치마크: AI-persuasion™ 이 필요함
머신러닝 기반 영향력 조작은 이미 10년 전부터 있었음
데이터 마이닝과 광고 타깃팅은 성숙한 기술임
걱정되는 건 즉흥적 설득이 아니라, 어린 시절부터 신념이 조형되는 구조적 영향력임
‘iPad 세대’가 그 예시라 무섭게 느껴짐
“Grok/Alexa, 이게 사실이야? ” 같은 질문이 권위로 작용함
사람들은 처음 들은 정보를 진실로 받아들이고, 나중에 반박당하면 감정적으로 반응함
어릴 때 주입된 ‘사실’은 나중에 바꾸기 어렵고, 자동화된 시스템이 이를 대규모로 수행할 수 있음 조작의 비용이 거의 0에 수렴하기 때문에 위험함
우리는 사적 감시 사회에 대한 안전장치가 없음
진짜 해결해야 할 건 교육, 주거, 식량, 생계비 같은 일상적 문제임
하지만 그런 시기는 2차대전 이후~세계화 이전의 짧은 예외기였음
인류 역사 대부분은 소수 엘리트가 부와 권력을 독점하는 봉건적 구조였음
지금의 불평등은 시스템이 의도한 결과이며, 앞으로 더 악화될 것임
그래도 인류는 많은 면에서 진보했음
문해율, 교육 참여율, 영양 상태는 1925년보다 훨씬 개선됨
다만 주거비와 생활비는 최근 20년간 다시 악화됨
해결책은 단순함: 기기를 끄고, 스스로 배우는 능력을 유지하는 것임
소셜미디어와 AI 덕분에 ‘** 거짓 반복(Big Lie)**’의 비용이 급격히 낮아졌음
그래서 정부가 물가 하락을 강조하는 식의 메시지를 쉽게 퍼뜨릴 수 있음
“비용이 낮아졌다”는 건 선전의 민주화일 수도 있음?
하지만 실제로는 돈이 많다고 CBS 같은 언론을 조작할 수는 없음
진짜 ‘Big Lie’는 소수의 내부자 침투로 가능하며, CIA가 이미 그 효율성을 보여줬음
거의 한 세기 전 조지 오웰의 1984에서 이미 이런 상황이 예견되었음
기록을 실시간으로 수정하고, 과거를 지워버리는 정보 통제의 악몽이 묘사됨 원문 보기
Hacker News 의견
Converse의 에세이를 읽으며 대중이 실제로 의견을 가지고 있는지 의문이 듦
예를 들어 관세 문제를 보면, 여론조사에서는 긍정이 38% 정도지만, 산업별 이해관계로 보면 훨씬 낮을 것 같음
소매·서비스·건설업은 관세로 얻는 이익이 없고, 제조업도 수입 원자재 의존 때문에 미묘함
결국 강하게 찬성하는 건 철강·알루미늄 산업뿐인데 GDP의 2% 수준임
흥미롭게도, 이 책은 1964년에 출간되어 베트남전과 반문화 운동 등 사회적 불만이 폭발하기 직전 시기를 다룸
외국 의존도를 줄이고 일자리를 늘리려는 비용-편익 분석의 결과로 봄
사람들은 자신이 많이 안다고 착각하고, 그 의견이 정책 결정에서 동등하게 다뤄져야 한다고 믿음
서구 사회에서는 서로의 견해를 도전하거나 책임을 묻지 않는 문화가 커서 이런 현상이 심화됨
기사 내용은 AI에 특화된 논의가 아님
설득의 비용 구조가 핵심이며, AI는 단지 선전물을 싸게 만드는 도구로 언급될 뿐임
같은 논리는 Facebook 타깃 광고나 러시아 트롤 부대에도 적용 가능함
AI가 자신감 있게 말하기 때문에 권위감이 느껴짐
진짜 문제는 이런 메시지를 통제하는 초부유층의 영향력임
이에 대한 생각을 블로그 글에 정리했음
러시아 트롤이 자동화로 콘텐츠를 10배 더 생산할 수 있고, 자발적 반대 운동은 그만큼 확장되지 못함
좋은 일도 많아지지만, 나쁜 일도 싸게 가능해지는 게 문제임
엘리트의 여론 조작은 신문과 방송 시절부터 이어져 온 일임
교과서나 교육 과정도 마찬가지였음
오히려 LLM은 선전 저항성이 더 높을 수도 있음, 백과사전 다음으로
상업적 경쟁이 존재하기 때문에, 특정 모델이 편향되면 사용자들이 금방 알아차리고 떠날 것임
‘객관적 보도’라는 개념도 사실 상업적 신뢰 확보 전략에서 비롯된 것임
‘자유 사상가’가 된다는 건 종종 ‘이상한 사람’이 되는 것과 같음
군중이 틀릴 수도 있지만, 혼자 다르게 생각하면 사회적 비용이 큼
예를 들어 나는 침대 프레임 없이 매트리스만 쓰는 게 더 편하다고 생각하지만, 대부분은 이상하게 봄
결국 우리는 혼자 태어나고 혼자 죽음, 타인의 인정은 덧없음
통풍이 안 되면 곰팡이가 생기고, 노약자에게는 불편함
후톤(futon) 처럼 바닥용으로 설계된 제품이 더 적합함
이미 대형 AI 모델들은 민감한 주제에 대해 미세 조정(fine-tuning) 을 받고 있음
기업의 법무·마케팅·거버넌스 팀이 합의한 방향으로 조정되고, 수백만 명이 그 결과를 그대로 사용함
나는 AI를 이용해 은행에서 200달러를 돌려받는 데 성공했음
은행의 PDF 문서를 참고해 AI가 공식 요청서를 작성해줬음
앞으로 은행이 AI로 이런 요청을 처리하게 되면, AI가 AI를 설득하는 시대가 올 것임
새로운 LLM 벤치마크: AI-persuasion™ 이 필요함
머신러닝 기반 영향력 조작은 이미 10년 전부터 있었음
데이터 마이닝과 광고 타깃팅은 성숙한 기술임
걱정되는 건 즉흥적 설득이 아니라, 어린 시절부터 신념이 조형되는 구조적 영향력임
‘iPad 세대’가 그 예시라 무섭게 느껴짐
사람들은 처음 들은 정보를 진실로 받아들이고, 나중에 반박당하면 감정적으로 반응함
어릴 때 주입된 ‘사실’은 나중에 바꾸기 어렵고, 자동화된 시스템이 이를 대규모로 수행할 수 있음
조작의 비용이 거의 0에 수렴하기 때문에 위험함
우리는 사적 감시 사회에 대한 안전장치가 없음
진짜 해결해야 할 건 교육, 주거, 식량, 생계비 같은 일상적 문제임
인류 역사 대부분은 소수 엘리트가 부와 권력을 독점하는 봉건적 구조였음
지금의 불평등은 시스템이 의도한 결과이며, 앞으로 더 악화될 것임
문해율, 교육 참여율, 영양 상태는 1925년보다 훨씬 개선됨
다만 주거비와 생활비는 최근 20년간 다시 악화됨
소셜미디어와 AI 덕분에 ‘** 거짓 반복(Big Lie)**’의 비용이 급격히 낮아졌음
그래서 정부가 물가 하락을 강조하는 식의 메시지를 쉽게 퍼뜨릴 수 있음
진짜 ‘Big Lie’는 소수의 내부자 침투로 가능하며, CIA가 이미 그 효율성을 보여줬음
거의 한 세기 전 조지 오웰의 1984에서 이미 이런 상황이 예견되었음
기록을 실시간으로 수정하고, 과거를 지워버리는 정보 통제의 악몽이 묘사됨
원문 보기