▲

왜 합리주의자 커뮤니티에는 컬트가 많은가?

 (asteriskmag.com)
1P by GN⁺ 2일전 | ★ favorite | 댓글 1개
  • 합리주의자 커뮤니티 내부에서 작고 이상한 신념 집단이 여러 번 탄생했으며, 일부는 실제 폭력 사건과 연관되어 있음
  • 이런 현상은 합리적 사고법을 강조하는 콘텐츠(Sequences) 가 “더 나은 생각”의 기술을 약속하면서도 현실적으로 그 약속을 충족하지 못하는 데서 비롯됨
  • 취약한 위치에 있는 사람들이 커뮤니티에서 해로운 그룹에 휘말릴 가능성이 높으며, 종종 외부와 단절되어 빠져나오기 어려움
  • 집단 내부 신념과 행동의 연계, 아이디어를 심각하게 받아들이는 태도, 사회적 고립 등이 심각한 역기능을 유발할 수 있음
  • 합리주의 컬트의 발생은 완전히 막기 힘들지만, 외부 현실과의 연결, 사회적 다양성, 건강한 조직 구조 유지가 악영향을 줄일 수 있음

서론

  • 합리주의자 커뮤니티는 AI 연구자 Eliezer Yudkowsky가 집필한 블로그 연재 ‘Sequences’에서 비롯된 모임임
  • 이 연재는 합리적으로 생각하는 법을 주제로 하며, 커뮤니티 구성원들이 비판적 사고와 회의주의의 표본일 것이라 기대됨
  • 그러나 실제로는 악마와 교류하는 소규모 이상 집단, 폭력 사건, 트라우마를 유발하는 그룹 등 이상하고 해로운 집단들이 커뮤니티 내에서 발생
  • 대표적으로 Zizians라는 비건 아나키스트 트랜스휴머니스트 그룹 및 Black Lotus, Leverage Research 등의 사례가 존재함
  • 필자는 커뮤니티 내부자이면서 깊이 있는 인터뷰를 통해 전례 없는 접근성과 솔직함을 얻음

젊은 합리주의자들의 문제

  • 합리주의자 커뮤니티는 전반적으로 기능적이나, 일부 집단은 심각하게 역기능적 구조를 띔

  • ‘Sequences’는 “더 잘 생각하는 예술”과 비범한 미래를 약속하지만, 현실적으로 그 약속은 실현 불가능함

  • 많은 인터뷰이들은 이러한 콘텐츠가 컬트의 원재료를 만든다고 지적함

  • Eliezer Yudkowsky는 집단성 구축에는 소극적이지만, 외부에서 유입된 사람들은 권위자에 의한 변화와 영웅적 사명을 갈망하는 경우가 많음

  • 어떤 집단의 역기능은 리더(예: Black Lotus의 Brent Dill) 때문이거나, 또는 아래에서부터 독성 역학이 자연스레 생성됨(예: Leverage Research)

  • 취약한 사람들이 분리된 집단의 포로가 되기 쉽고, 문제 상황에서 벗어나기도 어려움

  • 초기에는 커뮤니티가 미숙한 구성원을 도왔으나, 점차 성공한 사람들이 자신의 지원을 거두는 경향이 생김

  • 지원을 받지 못한 뉴커머들은 해로운 내부 그룹의 표적이 되기 쉬움

신념의 심각성

  • 역기능 집단 내부에서는 사회적 고립과 리더에 의한 조종보다 신념 자체가 핵심 원인임

  • 예를 들어, Zizians의 과격한 결정 이론(위협에 무조건적으로 대응해야 한다는 신념)은 실제 행동과 직접적으로 연결되었음

  • Leverage Research는 ‘Connection Theory’라는 심리학 통합 이론을 통해 멤버의 내면 구조를 이해하고 문제를 해결하려 했음

  • 이런 단순화된 심리 모델에 자신의 행동을 맞추려다 정신적 문제까지 유발함

  • Brent Dill은 세계와 타인을 냉소적으로 해석하도록 멤버를 유도, 이는 집단 불신과 가장 근본적인 해악으로 작용함

  • 합리주의자들이 전문가에 대한 신뢰를 거부하며 스스로 사고하는 과정에서 역설적으로 카리스마 리더에게 사고를 위임하는 위험이 생김

  • '아이디어를 진지하게 받아들이기'와 '주체성'은 본래 미덕이나, 잘못 적용되면 규범에서 벗어난 위험 행동으로 연결됨

심리학에 대한 경계

  • 문제적 집단에서는 철학, 심리학, 집단 내 관계에 대해 장시간, 강도 높은 논의가 일상화되었음

  • 반대로 건전한 고요 그룹에서는 외부 활동이나 실질적 성취(프로그래밍, 게임 등) 에 집중함

  • Black Lotus 멤버 또한 실제로 중요한 역할을 맡으며 자신감을 얻은 사례 있음

  • Leverage Research에서도 실질적 프로젝트(암호화폐 개발 등)를 하는 소그룹이 더 건전했음

  • 지나친 집단 내 감정 논의와 심리 분석은 역기능, 불안, 고립, 현실과의 단절을 심화시킴

  • 실질적 외부 목표가 없는 집단에서 내부 토론이 길어지면, 해로운 역학이 증폭됨

  • 장시간 집단 심리, 감정 탐구가 일상이면, 컬트가 아니더라도 뭔가 잘못되고 있는 신호임

결과주의(Consequentialism)의 위험

  • 결과주의적 세계관을 진지하게 받아들이면 리더에게 과도한 헌신, 희생이 정당화될 수 있음
  • 합리주의자 커뮤니티에서 자주 언급되는 AGI(인공지능) 멸종 위기론은 집단 내 긴장·강박을 야기
  • AI에 기여할 능력이 부족한 사람들은 대체 프로젝트나 소규모 그룹에 집착하면서 역기능에 빠지기도 쉬움
  • 대의명분(인류의 위기 등)이 일상 사안까지도 과도한 의미 부여로 이어짐
  • 실제로는 위기 극복이 단순하고 반복적 과업의 연속임에도, 그에 부합하지 못하는 영웅적 환상을 추구함

고립에 대한 경계

  • 사회적 고립과 그룹 내 동조현상, 외부와의 단절이 역기능 심화의 핵심
  • 멤버들이 집이나 사무실 외부를 드나들지 않는 것이 컬트 여부의 가장 확실한 징후 중 하나임
  • 내부에서만 정의되는 현실, 비판자 배제, 상호 감시가 집단사고 및 신념 과잉으로 이어짐
  • 같은 집에 거주하며 모든 필요를 집단이 제공하는 패턴은 외부 세계에서의 독립성과 역량을 약화시킴
  • 내부 그룹끼리조차 정보를 공유하지 않는 비밀주의가 문제가 되며, 폭로와 소통 부족이 악순환으로 작용

결론 및 제언

  • 합리주의자 커뮤니티의 역기능은 특별히 더 심각하다기보다는 “더 흥미로운 방식으로” 나타남
  • 커뮤니티 특유의 ‘믿음을 행동으로 옮기기’, ‘기존 사회와 다르게 살기’ 성향이 원인 중 하나지만, 완전히 제거할 수는 없음
  • 개인적, 공동체적 수준에서 아래와 같은 전략이 역기능 감소에 도움

개인을 위한 권고

  1. 집단 내 인간관계/감정에 대한 장시간 대화가 계속된다면 주의 신호임
  2. 성취 객관 기준이 있는 활동, 외부 현실과 접점 만들기
  3. 다양한 사회적 집단과의 관계 유지
  4. 일, 거주, 치료 과정을 분리
  5. 모두가 믿는 신념이라도, 외부 사람이나 독립적 검증 필요
  6. 한참을 거친 추상적 논리가 “타인을 해쳐도 된다” 또는 “모든 게 이 일보다 덜 중요하다”로 귀결된다면 의심해야 함
  7. 다른 선택지가 없는 상태에서 요구가 많은 집단 참여는 신중히 고려

커뮤니티를 위한 권고

  • 역기능적 집단에 들어간 멤버와의 유대 유지 및 비난보다 정상적 소통 제공
  • 신입 멤버에게 현실적 기대치 부여, 실질적 지원 확대 방안 고민
  • AI 안전 등의 영역 진입이 쉽지 않음을 솔직히 전달, 기여하지 못하는 사람의 가치를 평가절하하지 않기
  • “윤리적 금지선”(명백히 해서는 안 될 것)에 대한 논의 활성화
▲
GN⁺ 2일전  [-]
Hacker News 의견

  • 아주 흥미로운 글임. 15년 전 내 생각으론 이런 자기 선언 합리주의자들은 장황한 팬픽션 쓰는 사람들이었지만, 지금은 하위 그룹들이 살인도 하고 악령 퇴치까지 하는 단계에 왔다고 생각하게 됨. 1950년대 허버드 작품 하나 읽은 독자가, 몇십 년 후 허버드가 거대한 종교를 이끄는 걸 보게 된 기분과 비슷함. 기사는 이런 그룹에서 긍정적 내용을 힘들게라도 찾으려고 애쓰며 ‘합리주의자들은 코로나 팬데믹 초기에 올바른 견해를 가졌고, 인공지능의 위협에 대해 먼저 경고했다’는 주장을 언급함. 하지만 WHO 견해에 동의한다거나 스카이넷 같은 AI가 위험하다고 생각하는 것이 특별할 게 없다고 느껴짐. 기사에서 드러난 합리주의자들의 성공 사례는, 맞지 않는 시계도 하루 두 번은 맞는다는 말과 비슷하다고 봄

    • WHO가 2020년 3월 11일까지는 팬데믹을 선언하지 않았음. 그때보다 먼저 경고한 합리주의자들도 있었음(다른 사람들도 마찬가지). 나는 합리주의자 블로그 경고를 읽고 다른 포럼에 코로나 뉴스에 대해 글을 올렸는데, 그곳에서 중요한 경고를 준 사람으로 여겨졌음. 실제로 큰 차이를 만들었는지는 모르겠음
      https://pmc.ncbi.nlm.nih.gov/articles/PMC7569573/

    • 저 문단이 너무 실망스러워서 거기서 읽기를 그만뒀음. 저 두 가지 사례 모두 사실이 아니고, 기사에서 합리주의를 옹호하기 위해 그나마 찾은 예시라는 게 안타까움. AI 위협은 실제로 없었고, 이 부류 사람들이 구글의 LLM 공개를 늦추고 이미지 모델이 로봇만 그리도록 만든 배경이 됨. 하지만 지금은 훨씬 더 좋은 모델을 개인 노트북에서 돌릴 수 있고, 대규모 실업이나 붕괴도 없어졌음. AI는 오히려 우호적인 편임. 그리고 마스크 쪽도, 실제 자료와 그래프를 아무리 봐도 의미 있는 영향이 있었던 흔적이 없음. 완전히 마스크를 안 쓰던 나라들이 하루아침에 다 쓰게 되었는데도, 확진자 수 그래프는 변화가 없었음. 바이러스가 마스크 틈새나 마스크 벗은 순간, 심지어 눈을 통해서도 들어올 수 있으니까. 결국 합리주의자들은 맞는 주장이 하나도 없었음. 정말 실망스러움

  • 이 기사는 아름답게 쓰였고, 제대로 된 독창적 연구가 많이 들어가 있음. 그런데 대부분의 댓글이 즉흥적인 "합리주의자들ㅋㅋ" 식 반응이라 아쉬움. 기사에서 이미 더 풍부하고 세련되게 다루고 있는 내용이 많지만 그런 댓글은 잘 안 보임

    • Asterisk는 사실상 “합리주의자 잡지”이고, 저자는 유명 합리주의자 블로거임. 그러니 이 글이 이 현상을 공정하게 다루는 거의 유일한 사례라는 게 놀랍지 않음. 보통 외부에서는 합리주의가 컬트이고 Eliezer Yudkowsky가 컬트 리더라 얘기하는데, 이런 시각 자체가 말이 안 된다고 생각함

    • 이런 기사들을 읽고 나서 “확실히 컬트네”라고 느끼는 건 전혀 문제없다고 생각함. 그들이 우주선이든, 악마든, AGI든 뭘 믿는지는 상관없음. 진짜 중요한 인사이트는 지도자가 구성원을 사회에서 고립시키면 그게 위험 신호라는 점임. 너무 새롭거나 특별한 통찰은 아님

  • 이런 그룹에 대해 내가 느끼는 문제 중 하나는, 겉보기에 논리적으로 이어지는 믿음을 굉장히 자신감 있게, 때로는 공격적으로 말한다는 점임. 그런데 그 기반이 되는 전제(공리)가 사실상 아무런 검증도 안 된 판타지라는 걸 나중에 알게 됨. 이런 모습은 어디서나 볼 수 있지만, 이 커뮤니티들에서 특히 심각함. 자기 논리에만 함몰되는 경향이 있어 참여하면 약간 답답해짐. 내가 아는 정말 똑똑한 사람들은 자신이 뭘 안다고 확신하지 못하는 경우가 많았음. 스스로 결론을 내놓고 너무 확신하는 사람은 일단 의심스럽게 느껴짐

    • 단순히 잘못된 전제 때문만의 문제는 아니라고 생각함. 사람들은 각각의 논리적 추론 단계가 반드시 전 단계에서 필연적으로 나오는 것이라 확신하지만, 사실 한 단계씩 틈이 생기면서 거짓 확신이 커져 버림. 비합리주의자들이 합리주의자보다 논리를 잘 다루는 것도 아니지만, 적어도 지적 겸손의 혜택은 받음

    • 강력 추천하고 싶은 NYer의 Curtis Yarvin 프로필이 있음. (Curtis Yarvin도 "합리주의"를 자신의 믿음 근거로 씀) 특히 글 후반부에 그가 가장 존경하는 이념적 영웅을 장시간 만나는 부분이 인상적임
      https://www.newyorker.com/magazine/2025/06/09/curtis-yarvin-profile

      인터넷 때문에 이런 그룹이 폭발적으로 늘어남. 온라인에서는 ‘사람’ 아닌 ‘아이디어’만 보게 하니까 그런 듯함. 실제로 열렬한 합리주의자들과 방이나 섬처럼 한 공간에서 오랜 시간 보내면, 그들이 아무리 글로 영리하게 주장해도 실제론 금방 그 이론을 무시하게 됨

    • “무엇이든 확신하는 사람은 의심스럽다”는 점에 동의함. 사기꾼을 'conman'이라고 부르는 이유도 마찬가지임. 자신감이 반드시 정답과 연결된다는 자연스러운 믿음을 교묘히 이용해서 속임. 사기를 치지 않아도, 정말 어떻게 확신하게 될 수 있을까? 반대되는 증거들을 모두 무시했기 때문임. 실제로 뭘 아는 사람은 항상 맥락을 한정하고, ‘아마도’, ‘만약에’ 같은 조건을 단 조심스러운 설명을 함. 일반화된 이야기를 거의 하지 않음

    • “진리를 찾는 사람을 소중히 여기고, 진리를 찾았다고 생각하는 사람을 조심하라” - 볼테르

    • 미래 돈의 가치를 두고 나온 논쟁도 많음. “discount function”을 참고하면, 어떤 이들은 소위 ‘rational altruists’로, 미래 가치를 1.0으로 잡고, “drill, baby, drill” 쪽은 0에 가까움.
      할인 함수에는 예측의 불확실성을 나타내는 노이즈 항이 꼭 들어가야 한다고 생각함. 미래를 예측할수록 노이즈가 커지기 때문임. 이걸 고려하지 않으면 엉뚱한 문제를 풀다가 실패함. 고대 로마 시절 묘지 공간 부족을 염려했듯, 에너지 고갈·인구 과잉 역시 실제로 일어나지 않은 이유는 예측 과정에서 노이즈가 너무 적게 반영됐기 때문임
      https://en.wikipedia.org/wiki/Discount_function

  • 오래 전에 Eliezer Yudkowsky를 만났음. 그가 합리성과 관련된 팜플렛을 줬는데, 내용이 농담이거나 오히려 포교를 풍자한 것 같았음. 둘이 같이 웃었음. 몇 번 훑어보고 책장에 넣어버렸는데, 이 사람이 이렇게 큰 영향력을 가지게 될 줄은 전혀 몰랐음

    • 이런 사람들은 후광효과를 입고 있다고 생각함. 그들 배경을 보면, 지금 위치에 오를 만한 내용이 없음. Eliezer Yudkowsky는 내 기억에 Thiel baby로 분류되는 인물 아님?

    • 나한텐 Eliezer Yudkowsky가 Harry Potter 팬픽 <Harry Potter and the Methods of Rationality>로만 알려져 있음. 혹시 이외에 대중적으로 유명할 만한 이유가 있음?

  • 이런 사람들은 철학을 하고 싶어 하면서도, 정식 교육을 받는 건 자존심 상해서 안 하는 것 같음. 난 이 현상을 “작은 어항 증후군”이라 부름. 더 나은 용어가 있으면 좋겠음

    • 사람들이 정식 교육을 받으려 하지 않는 이유는, 현대 철학 자체가 별로 쓸모 없어 보이기 때문임. 예를 들어 2006년 듀크 대학 강간 사건을 보면, 히스테리에 동참한 교수들은 대개 인문학(철학 포함) 출신이었고, 심지어 검사가 범죄로 기소될 때까지 아무도 태도를 바꾸지 않음. 반면, 이 문제에 그나마 저항한 사람들은 경제학자, 과학자, 법학자였음. 제대로 옳고 그름도 분간하지 못하는 인문학계를 굳이 진학하지 않는 게 이해감

    • 완전 공감함! 난 학계 철학 분야에서 10년을 버틴 생존자임. 이 커뮤니티 분위기는 마치 학부생을 잔뜩 태운 비행기를 Survivor 섬에 내려다 놓고 무한 피자 포켓과 아드레랄린만 주는 걸 보는 기분임

    • 꼭 정식 훈련이 필요할까? 플라톤, 소크라테스, 도스토옙스키, 카뮈, 카프카 등 고전을 직접 읽는 게 지금 하는 일보다 훨씬 나은 선택이라고 생각함

  • “많은 합리주의자들이 영웅적 노력이 없으면 AGI 개발로 인류가 멸망할 것이라 기대한다” “이런 믿음은 다른 어떤 일에도 신경 쓰기 어렵게 만든다. 인류가 멸망 직전인데 간호사, 공증인, 소설가가 무슨 의미가 있겠는가?” AGI 종말론을 휴거로 바꿔도 미국 근본주의 기독교 신자들과 비슷함. 그들은 환경, 경제, 사회 문제 해결을 거부하는데 곧 휴거가 올 거라 믿음. 이런 식으로 묵시론에 빠지면 머릿속에서 벗어나기 어렵고, 불안 장애 경험이 있는 사람이라면 파국적 상상은 반드시 극복해야 함을 배움. 그런데 이런 커뮤니티에서는 오히려 파국 신앙을 서로 강화해줘서, 반복적인 '파국의 루프'에서 못 빠져나오게 됨

    • 나도 어릴 때부터 지구가 망할 거라는 공포와 “지옥 끌려간다”는 두려움 아래 자라서 지금도 불안을 철저히 관리함. 논리적 근거에서 나온 게 아니라, 집과 주변 커뮤니티의 온갖 미디어에서 쏟아지는 공포 때문임

    • 휴거 신앙은 신자들에게(원래 의미로 보면) 파멸이 아님. 오히려 AI 종말론 쪽이 더 극단적임. 그리고 실제로, 신앙 때문에 현실 세계 일 모두 포기하는 근본주의자는 많지 않음

    • 기후변화가 끔찍한 문제를 가져올 것이라 믿는 사람도 많음. 그 자체로는 그럴 수 있는 믿음이고, 결국 포괄적으로 보면 미국인 대다수가 뭘 하나쯤은 파국적으로 믿게 됨. AGI 종말 신앙에도 그럴싸한 논리가 있긴 함. 나는 그 쪽을 믿지 않지만, 신앙 체계로 보면, 기후변화 신앙이랑 더 가까움

    • AGI 대신 기후변화로 바꿔도 굉장히 합리적인 신앙 체계가 나옴

  • 나는 자꾸 어벤저스 1편에서 로키가 “봐라, 이게 니 본성 아니냐”라고 군중 위에서 외치던 장면이 생각남. 어떤 의미에서는 선택권이 없다는 사실에서 기묘한 안도감을 느끼는 것 같음. 논리에 기반한 합리주의 체계가 애매함을 견디지 못하는 태도와 맞물려 엉뚱한 방향으로 치닫기 쉬움

    • 인간이 닭은 아니지만, 서열 싸움을 은근히 좋아하는 것 같음

    • 이들은 본인이 원하는 걸 할 수 있도록 자기 논리를 개발하는 경향이 있음. 신이 자신을 이끈다던 옛날 버전의 현대판이라고 생각함

  • 합리주의자들을 잘 아는 입장에서 말하자면,

    1. 비판할 거리가 있으면 이미 그들 자신이 내내 그걸 비판하며 고민해왔음(특히 이름이 멍청하다는 것 포함). 그렇다고 해결해냈단 뜻은 아님
    2. 이들은 실제로 굉장히 책을 많이 읽음. 순진하거나 헷갈려 하는 집단이 아니라, 오히려 항상 색다른 도전을 적극적으로 실험함. 이 커뮤니티에서 겪을 수 있는 엉뚱한 경험은 정말 놀라움
    3. 실제로 ‘좋은 일을 하려는 진심’도 있음. 괴상하거나 불편하거나 좀 무서운 그룹들 얘기는 들어봤을지 몰라도, 착하고 멋진 프로젝트 얘기는 소문에 잘 안 남.
      경험상, 이들이 길을 잘못 드는 영역은 ‘수단을 넘어선 노력’에 몰두할 때임. 대부분 합리주의 프로젝트 근간에는 “사람이 일상적으로 겪는 고통을 새롭게 생각하고, 모두 행복할 수 있는 해법을 찾자”는 마음이 들어가 있음. 냉소가 많거나 현실적인 사람은 어떤 문제든 반드시 누군가는 만족 못 한다는 현실을 얘기할 텐데, 합리주의자들은 그 한계를 기어이 돌파하려 듦. 그래서 본인만 번아웃 되는 게 아니라, 주변을 같이 믹서에 집어넣게 됨. 극단적 사례로 Zizians 그룹은 ‘대부분 인간은 영혼이 없으니, 영혼 없는 사람은 고려하지 않아도 모두 행복하게 만들 수 있다’고 결론 내렸다 함. 좀 덜 극단적이면 이상주의(실현 불가능한 꿈) 또는 현실과 담쌓은 논리가 됨. “이 사고실험으로 9경 단위의 고통이 발생할 가능성이 1%라도 있다면, 내 인생을 그것만 막는 데 바쳐야 하고, 네가 그렇게 안 하면 9경 단위 고통에 네가 도덕적 책임이 있으니 넌 악하다”는 식임.
      대부분 합리주의자들은 이상하긴 해도, 최소한 괴짜 극단주의자들과는 거리 두고 살며 “고통을 못 느끼는 동물성분 채식”만 하고, 연 $30만 벌면 $20만을 기부하는 정도에 머묾. 아주 극단적인 사람들은 정말 대화도 힘들고 다들 피함

  • 이 그룹은 여러 스레드: 각 사이트, 커뮤니티, 등등에서 동시다발적으로 성장했음. 철학계에선 Nick Bostrom의 Simulation 이론이 실제 가치보다 훨씬 높이 평가받는 걸 목격했음(다들 대중적 수준에서 무비판적으로 받아들임). 뒤돌아보니 less wrong, 기타 여러 사이트에서도 이 이슈가 발전했음. 시뮬레이션 논의가 철학을 지배하는 걸 보며 그 뿌리가 궁금했음. 이제 와 보니 모든 현상이 하나로 엮여 움직인다는 걸 알게 됨.
    겉으로는 똑똑해 보였고, 몇몇 사이트는 진심이었지만 결국 흐름이 변질됨

    • 오해 없게 하자면, 이 글은 합리주의 그 자체를 컬트라 부르는 게 아니라, 합리주의 개념을 일부 차용했거나 사회적으로 연결된 컬트(예: Zizians)를 다룬 것임

    • 댓글의 상당수가 컬트 일반에 대해 이야기하고 있는데, 사실 이건 왜 이 컬트가 특별히 성공적이었는지를 봐야 함. 성공 비결 중 상당 부분은 돈과 지위가 맞닿는 지점임. 실리콘밸리 유명 인물들이 연결되고, 엔젤/VC 등 자본이 결합되면서 급속도로 퍼졌음.
      한동안 지위(어쩌면 돈)까지 따라오는 커뮤니티였고, 그래서 비정상적으로 성공함

답변달기