1P by GN⁺ | ★ favorite | 댓글 1개
  • 익명 인터넷 연구자·작가 Gwern Branwen은 2020년 전후 많은 AI 논자가 놓친 LLM 스케일링 흐름을 일찍 받아들인 인물로 소개됨
  • 익명성은 보복 회피를 넘어, 독자가 글쓴이를 특정 정체성이나 niche에 가둬 즉시 무시하지 못하게 해 일단 읽힐 기회를 만든다고 봄
  • 기업 자동화는 CEO부터 내려오기보다 하위 업무부터 위로 올라가는 bottom-up 압력이 강하고, 인간 임원이 AI 조직의 장기 선택을 맡는 구조가 더 현실적이라고 봄
  • Gwern은 지능을 Turing machine 탐색으로 보고, GPT-1·GPT-2·GPT-3, 2017년 Baidu scaling laws paper, AlphaZero, BigGAN을 통해 compute·data·trial and error의 힘을 강조함
  • AGI가 몇 년 안에 온다는 가정에서는 모든 프로젝트를 직접 끝내기보다, 선호·욕구·평가·판단처럼 AI가 대신 정할 수 없는 것을 기록해 미래 실행의 재료로 남기는 일이 중요해짐

익명성, 아바타, 자동화된 조직

  • 인터뷰는 대면 녹화였지만 Gwern의 익명성을 보호하기 위해 아바타를 사용함
    • 영상 속 얼굴과 목소리는 실제가 아니며, 말만 Gwern의 것임
  • 익명성의 과소평가된 장점은 독자가 글쓴이를 특정 정체성이나 niche에 넣고 미리 무시하기 어렵게 만든다는 점임
    • 보복을 피하는 효과도 있지만, Gwern은 맥락 때문에 즉시 배제되지 않고 최소한 읽히는 기회를 얻는 점을 더 크게 봄
    • 집으로 헤로인이 발송되거나 SWAT 신고를 당하는 일을 피한 것도 이익으로 봄
  • 기업 자동화는 CEO부터 대체되는 top-down 방식보다 노동자·하위 업무부터 올라가는 bottom-up 압력이 더 강하다고 봄
    • 기존 조직에서는 아래쪽 직무를 대체하고 점차 위로 올라가는 쪽이 받아들여지기 쉬움
    • 최종적으로는 인간 임원이 AI들로 구성된 회사를 감독하는 형태를 상정함
  • 강화학습 관점에서 인간이 AI보다 나을 수 있는 부분은 장기 비전과 새로운 장기 전략, 기회 포착일 수 있음
    • 인간 CEO가 비전을 제시하고, AI 조직이 제안과 실행을 담당하며, 인간 CEO가 그중 선택하는 구조가 가능함
    • 이런 인간 주도 기업은 전적으로 AI로만 구성된 기업보다 장기적으로 더 나은 선택을 할 수 있다고 봄
  • Gwern은 자기 작업에서 마지막까지 남을 인간 역할도 Steve Jobs식 선택에 가깝다고 봄
    • AI minion들이 에세이를 가져오면, 자신은 어느 글이 더 좋은지 고르고 어떤 방향으로 더 밀어붙일지 판단하는 역할을 상상함

AI 조직과 선택 단위

  • AI로 구성된 회사에서 선택 단위는 개별 모델보다 큰 “마음들의 패키지”나 부서 단위가 될 수 있음
    • 개별 모델을 완벽히 복제할 수 있으면 선택 단위가 더 위로 이동함
    • 개별 mind는 미분 가능한 방식으로 훈련할 수 있지만, mind들 사이의 상호작용은 직접 훈련하기 어려움
  • 특정 상호작용 요소로 환원할 수 없어도 전체적으로 잘 맞는 모델 그룹이 있을 수 있음
    • 예시는 programmer, manager type, secretary type, financial type, legal type 등을 포함한 department unit
    • 새 unit이 필요할 때 기본 패키지를 복사하고 각 구성 요소에 무작위 변이를 준 뒤, 성능이 좋은 패키지를 남기는 방식의 진화가 가능함

Singularity 계보와 지능 이론

  • Singularity를 언제부터 예견할 수 있었는지에 대해 Gwern은 적어도 Samuel Butler의 1872년 Erewhon 또는 1863년 에세이 “Darwin among the Machines”까지 거슬러 올라가야 한다고 봄
    • Butler는 1863년에 기계 생명이 점점 발전해 자율성을 얻고 결국 인류에 위협이 된다는 비전을 명시적으로 썼음
    • Butler는 기계에 대해 “war to the death should be instantly proclaimed against them”라고 결론 내림
    • Gwern은 1863년 이전의 더 명확한 Singularity 시나리오는 확신하지 못한다고 말함
  • Isaac Newton은 자기 시대의 발명과 진보를 실제 기술 가속이 아니라, 문명이 몇천 년마다 파괴되고 과거 지식을 재발견하는 현상으로 설명했다고 함
    • Dwarkesh는 이를 공간상의 외계 문명에 대한 Fermi paradox가 아니라 시간상 서로 다른 문명에 대한 Fermi paradox처럼 봄
    • Gwern은 Lucretius도 약 1,700년 전 로마의 혁신과 학문을 보며 비슷한 논리를 썼다고 말함
  • Gwern의 지능 이론은 “Turing machine들에 대한 탐색”임
    • 일어나는 모든 것은 다양한 길이의 Turing machine으로 기술될 수 있음
    • 학습이나 스케일링은 더 많고 더 긴 Turing machine을 탐색해 특정 사례에 적용하는 과정임
    • 일반적인 master algorithm이나 특별한 intelligence fluid는 없고, 엄청난 수의 특수 사례를 학습해 뇌에 encode하는 것이라고 봄
  • 인간 지능 차이도 더 많은 compute로 더 많은 Turing machine을 더 오래 탐색하는 차이로 봄
    • 뇌에 fluid intelligence를 담당하는 “IQ gland” 같은 부위는 없을 것이라고 말함
    • 뇌는 개별 특수 문제를 많이 학습하고, 이후 그것들이 재조합되어 fluid intelligence처럼 보인다고 봄
    • 큰 neural network model은 많은 작은 문제에 맞춘 small model들의 거대한 ensemble처럼 볼 수 있음
  • 인간 수준 일반 지능이 진화하는 데 오래 걸린 이유는, 많은 생물에게 특정 문제에 맞춘 기제가 general-purpose intelligence보다 더 적응적일 수 있기 때문임
    • 작은 Turing machine은 충분한 진화가 있으면 유전자가 더 직접적으로 encode할 수 있음
    • 정적인 niche, 지능이 매우 비싼 niche, 수명이 짧아 학습 시간이 부족한 생물에서는 인간식 학습보다 특정 문제용 메커니즘이 더 나을 수 있음

스케일링을 일찍 받아들인 과정

  • Gwern의 스케일링 관점은 2000년대 중반 MoravecRay Kurzweil을 읽은 데서 시작함
    • 두 사람은 충분한 compute가 있으면 인간 뇌에 맞는 neural network architecture 발견으로 이어질 수 있다는 connectionist 논지를 폈다고 함
    • Gwern은 당시 이를 “magical thinking”처럼 봤고, 알고리듬은 복잡하며 깊은 통찰이나 어려운 수학이 필요하다고 생각해 회의적이었음
  • LessWrong, transhumanism, AI risk에 관심을 두며 Shane Legg의 글을 따라봤고, Legg의 예측을 접함
    • Gwern에 따르면 Legg는 Moore’s Law가 계속되면 2019년쯤 첫 generalist system, 2025년쯤 generalist capabilities를 가진 humanish agents, 2030년쯤 AGI를 예측함
  • DanNet과 AlexNet 이후 Gwern은 connectionism의 인상적인 성공 사례를 확인함
    • 이것이 고립된 성공인지, GPU가 생기면 더 나은 알고리듬이 나타난다는 Kurzweil·Moravec·Legg의 흐름인지 주목하기 시작함
    • deep learning 문헌을 계속 읽으며 dataset size, model size, GPU 사용량이 커지고, neural network 적용 범위가 좁은 use case에서 점점 넓어지는 것을 봄
    • arXiv에서 CNN이 매일 다른 문제에 적용되는 흐름을 보며 “지능은 많은 compute, data, parameters를 적용한 것일 수 있다”는 쪽으로 이동함
  • GPT 계열은 판단을 바꾼 중요한 계기였음
    • GPT-1의 unsupervised sentiment neuron은 스스로 학습한다는 점에서 놀라웠음
    • GPT-2의 prompting과 summarization은 스케일링 세계에 살고 있다는 느낌을 강하게 줌
    • GPT-3는 GPT-2에서의 대규모 scale-up이자, Go 같은 좁은 task가 아니라 스케일링의 타당성을 가늠할 중요한 test로 봄
    • GPT-3 paper 앞부분의 few-shot learning chart를 보고 “we are living in the scaling world”라고 판단함
  • 2020년 무렵 많은 AI 논자들이 LLM, GPT-3, scaling laws를 놓친 이유는 두 가지로 봄
    • 이전 스케일링 결과들을 충분히 따라보지 않았고, retrospective하게 중요한 결과를 평가하지 못함
    • 알고리듬이 compute보다 중요하다는 믿음을 공유함
  • Gwern은 compute가 trial and error와 serendipity를 가능하게 하므로 먼저라고 봄
    • 작은 hyperparameter 차이나 architecture 선택이 결과를 크게 바꿀 수 있지만, 몇 번밖에 시도하지 못하면 작동하지 않는다고 판단하고 포기하기 쉬움
    • compute가 많으면 계속 시도하다가 잘 작동하는 해법을 찾고, 이후 단순화·개선·원인 파악을 통해 robust solution으로 만들 수 있음
  • 오래된 deep learning 문헌에는 현대적 아이디어가 이미 있었지만 compute가 부족해 실제로 쓰기 어려웠던 사례가 있다고 봄
    • ResNet은 1988년에 발표되고 작동했지만 규모가 너무 작아 실질적 쓸모가 없어 잊혔고, 2015년에야 deep learning의 혁명으로 등장했다고 설명함
    • BigGAN이 300 million images까지 scaling한 사례도 사람들이 충분히 보지 못한 결과로 봄

AGI 시대의 프로젝트와 글쓰기

  • Gwern의 AGI timeline은 2005~2010년에는 2050년 이후처럼 매우 멀었음
    • AlexNet과 DanNet 이후에는 timeline이 매년 2년씩 당겨지는 속도로 줄어들었다고 표현함
    • deep learning은 장벽을 계속 넘었고, 대안 paradigm들은 잘하지 못한 반면 이 paradigm은 매우 잘했다고 봄
  • AlphaGo 이후 일부 사람들은 AI hype에 과하게 업데이트했다고 봄
    • Dota 이후의 큰 reinforcement learning 시도들이 simulated game universe 밖의 어려운 문제에서 잘 작동하지 않자, Gwern도 자신이 과하게 앞서갔다고 생각함
    • GPT 등장 이후 그 판단을 지웠고, RL은 generative model이라는 cake 위의 cherry가 될 것이라고 봄
  • AGI가 몇 년 안에 온다고 진지하게 받아들이면 모든 프로젝트를 직접 구현할 필요가 없음
    • 하고 싶거나 즐기는 일은 AI가 3년 뒤 할 수 있더라도 지금 함
    • 어떤 프로젝트는 원하는 것, 왜 좋은지, 어떻게 할지를 명확히 sketch해두고 더 나은 AGI가 실행하게 할 수 있음
  • Gwern은 앞으로 더 기록하려는 것을 preferences, desires, evaluations, judgments로 봄
    • AI는 “당신 대신 아이스크림을 먹을 수 없고”, 어떤 아이스크림을 좋아하는지 대신 결정할 수 없음
    • 작업 판단 기준은 세 가지임
      • 미래 AI와 무관하게 즐기기 때문에 하는 일인지
      • 인간이 해야 하는 부분만 하고 AGI가 나중에 할 수 있는 일인지
      • 오늘 기록되지 않은 것을 써서 미래 AI 버전의 자신을 돕는 일인지
    • 이 셋에 속하지 않는 일은 기본적으로 하지 않으려 함
  • Gwern-quality essay를 AI가 쓸 수 있는 시점에 대해서는, 전체 corpus를 결합하면 AGI 없이도 가능하게 만들 아이디어가 있다고 말함
    • 많은 잠재적 essay idea가 이미 corpus 안에서 대부분 완성돼 있어, 끌어내는 데 super intelligence가 필요하지 않을 수 있음
    • 일반적인 AGI 계획 기준으로는 Anthropic timeline인 2028년이 좋은 출발점처럼 보인다고 말함
  • 글쓰기는 미래의 Shoggoth에 영향을 주는 행위로 봄
    • LLM이 예측해야 하는 토큰은 AI가 인식하는 몇 안 되는 currency이며, 글쓰기는 미래에 투표하는 것에 가까움
    • 온라인 텍스트에 표현되지 않은 가치·취향·욕구는 AI에게 사실상 존재하지 않음
    • “If it wasn’t written down, it wasn’t written down”이라는 식으로, 기록되지 않은 자전적 정보나 특정 시점의 감정은 나중에 흔적으로 복원하기 어려움

Rabbit holes, 청각장애, Wikipedia

  • Gwern은 삶에서 최대화하려는 것을 rabbit holes라고 말함
    • 전혀 몰랐던 새로운 생각이나 영역에 깊이 빠져드는 것을 가장 기대함
    • catnip에 반응하지 않는 고양이 사례에서, 왜 일부 고양이가 catnip에 면역인지와 대체 catnip 약물까지 조사하게 됐다고 말함
  • 동시에 깊게 탐구할 수 있는 rabbit hole은 2~3개가 최대라고 봄
    • 그 이상이면 실제 노력을 들여 파고드는 것이 아니라 지나가는 관심에 가까움
    • rabbit hole은 강박적이어야 하며, 계속 끌리지 않는다면 진짜 rabbit hole이 아님
  • 가장 오래 빠졌지만 만족스럽게 이어지지 않은 rabbit hole로 Neon Genesis Evangelion 관련 초기 작업을 듦
    • 영어로 쓰인 거의 모든 자료를 읽고 개발 과정과 작품이 그렇게 된 이유를 이해하려 했지만 당시에는 명확한 답을 얻지 못하고 소진됨
    • 여러 해 뒤 우연히 이해했지만, 다시 쓰거나 완성할 만큼 관심이 남아 있지 않다고 말함
  • Gwern은 태어날 때부터 청각장애가 있었고, 유치원 전에는 청각장애 및 다른 장애 아동을 위한 특수교육 학교에 다님
    • 학교에서는 교사에게 연결된 보청기와 큰 갈색 상자를 매 수업마다 가져가야 했고, 자신이 다른 아이들과 구별되는 느낌 때문에 굴욕감을 느꼈음
    • 당시 보청기 성능이 좋지 않아 대화를 이해하는 데 항상 한 박자 늦었고, 이는 사회화에 큰 악영향을 줌
    • 독서는 청각장애의 영향을 받지 않고 할 수 있는 활동이었기 때문에 자신을 bookworm으로 만드는 데 영향을 줬다고 봄
  • 블로그를 시작하기 전에는 Wikipedia를 편집함
    • Wikipedia는 gwern.net 이전의 gwern.net 같은 역할을 했고, 지금 자신의 사이트에서 하는 일을 당시에는 English Wikipedia에서 했을 것이라고 말함
    • Fujiwara no Teika 문서를 여전히 자랑스러워함
    • 글쓰기에 대해 배운 많은 것은 학교나 대학보다 Wikipedia 편집에서 왔다고 말함
  • 현재 English Wikipedia에서는 과거처럼 rabbit hole 기반의 훈련을 하기 어렵다고 봄
    • 2004년보다 문서가 훨씬 많이 채워졌고, 편집 커뮤니티가 상세하고 강박적인 연구성 기여에 더 적대적이라고 말함
    • 그런 기여는 삭제되거나 original research, 승인되지 않은 출처 문제로 거절될 수 있음
  • 첫 큰 성공은 Silk Road 글이었음
    • Adrian Chen이 Gawker에 Silk Road에서 LSD를 사는 글을 쓰자, Bitcoin이 인터넷에서 실제로 마약을 살 수 있을 정도로 현실적이라고 보고 태도를 바꿈
    • Gwern은 Silk Road를 직접 사용하고 주문 과정을 스크린샷과 함께 문서화함
    • 글은 공개 후 수십만 조회수를 기록했고, Google Analytics 차트에서 수직 스파이크로 보일 정도였다고 말함

작업 방식, 글쓰기 동기, 사이트 디자인

  • Gwern은 사람들이 자신의 지능을 과대평가한다고 봄
    • 많은 것을 기억하고 오랫동안 많이 썼기 때문에 즉석에서 모두 해내는 사람처럼 보인다고 말함
    • 실제 대화에서는 이미 썼거나 오래 생각한 내용을 인용하는 경우가 많음
    • 즉석에서 빠르게 업데이트하는 사람들과 비교하면 자신이 특별히 똑똑하지는 않지만, 결국 중요한 것은 산출물이라고 봄
  • 작업 과정은 천재적 한 방보다 오랜 시간의 작은 메모 축적에 가까움
    • “이상하다”, “이 패턴의 또 다른 사례다” 같은 메모가 10년에 걸쳐 쌓이면 결과물이 마법처럼 보일 수 있음
    • Penn & Teller의 “마술은 합리적인 사람이 기대하는 것보다 더 많은 노력을 들이는 것”이라는 말을 좋아한다고 말함
  • “Evolution as Backstop for RL” 같은 에세이는 같은 패턴을 반복해서 본 결과 생긴 종합임
    • 멍청하고 비효율적인 학습 방식으로 더 똑똑한 것을 배우지만, 원래 방식을 완전히 없앨 수 없는 구조가 중심임
    • 기업, meta reinforcement learning, neural networks, pain 같은 예시가 연결되며 현재 구조가 갖춰짐
  • 어떤 에세이는 유레카 순간에서 나오지만, 그 전에는 서로 연결된 줄 모르는 여러 메모가 오래 남아 있음
    • 어느 날 갑자기 모두 연결되어 있다는 순간이 오면 거대한 에세이를 한 번에 써 내려감
    • “The Melancholy of Subculture Society”는 이런 유레카형 에세이의 예임
  • 하루 작업 흐름은 전날 웹사이트 작업을 정리하는 것에서 시작함
    • formatting, spelling errors, 배치 문제를 처리하고, 추가 생각이나 중요한 코멘트를 넣음
    • 이후 Twitter나 RSS feed를 통해 많이 읽고, 댓글이나 질문에 주의가 끌리면 글을 씀
    • 저녁에는 실제 프로젝트나 기여 작업을 하려 하고, 이후 gym에 감
  • Gym에 가는 이유는 컴퓨터 앞에 앉아 읽는 것과 정반대의 활동이기 때문임
    • weightlifting을 특별히 좋아해서가 아니라 burnout을 피하려면 가능한 한 다른 일을 해야 한다고 봄
  • 온라인 논쟁은 Gwern에게 강한 글쓰기 동기임
    • 글을 쓰고 생각을 결정화해 “수확”하려면 동기가 필요함
    • 온라인에서 사람들이 틀렸다는 데서 생기는 분노와 논쟁의 동기는 풍부함
    • 다만 spite는 필요한 동안만 쓰고 이후 내려놓아야 하며, 계속 붙잡으면 자신을 독살하게 된다고 봄
  • 웹사이트 CSS와 디자인에 시간을 많이 쓰는 일은 사회적 효용 관점에서 완전히 방어할 수 없다고 말함
    • 자신이 좋아해서 하는 취미이며, 아름다운 웹사이트는 자기 글을 반복해서 읽는 일을 견디기 쉽게 만듦
    • 사이트 유지보수는 저자에게 일종의 spaced repetition이 될 수 있다고 봄

생계, Patreon, 연 12,000달러 미만 생활

  • 전업 글쓰기는 Patreon과 저축으로 유지함
    • Patreon 수입은 월 약 900~1,000달러 수준임
    • 초기 Bitcoin 보유로 운 좋게 장기간 쓸 수 있을 만큼 벌었지만 영구적으로 충분하지는 않음
    • 가능한 한 지출을 줄여 글쓰기 runway를 늘리려 함
  • Patreon과 Substack의 보상 설계는 Gwern에게 어색함
    • paywall을 만들지 않는 좋은 보상을 만들기 어렵다고 봄
    • Scott Alexander처럼 정기 뉴스레터식 업데이트를 좋아하는 사람에게는 Patreon과 Substack이 잘 맞지만, 자신은 그런 방식을 좋아하지 않음
  • 연 12,000달러 미만으로 사는 조건은 매우 검소함
    • 외딴 곳에 살고, 여행·외식·건강보험 지출이 거의 없으며, 직접 요리하고 무료 헬스장을 이용함
    • 침실 바닥이 습기로 썩어 무너질 때 고철목과 장선으로 받쳐 놓고 벌레가 들어오는 정도는 감수한 사례를 듦
    • 본인의 생활을 “더 나은 라면을 먹는 대학원생”에 가깝다고 표현함
  • 이 생활 방식은 이상적이거나 다른 작가가 그대로 따라 할 수 있는 모델이 아님
    • 지금까지 건강이 매우 좋고 큰 비상 상황이 없었던 점도 운이라고 봄
    • Bitcoin, 수도승처럼 사는 데 만족하는 성향, 건강이 모두 맞아떨어진 특수한 사례라고 말함
    • 작가·블로거가 되려는 사람은 Substack이나 기술 회사에서 JavaScript 일을 하며 사이드로 쓰는 방식 등 각자 다른 생계 모델을 찾아야 함
  • San Francisco로 이주하지 않는 주된 이유는 돈임
    • San Francisco에서 한 달 살 때마다 몇 달치 글쓰기 runway를 포기해야 하는지를 생각하기 싫다고 함
    • 누군가 연 50,000~100,000달러를 주고 SF로 이주해 지금처럼 전업 글쓰기를 계속하게 해준다면 즉시 받아들이겠다고 말함

AI 모델 다양성, GLP 약물, 환경 요인, psychedelics

  • Gwern은 “능력”을 제외하면 AI 모델이 이미 인간보다 인지적으로 훨씬 다양하다고 봄
    • 서로 다른 LLM은 샘플만 봐도 distinct한 방식으로 생각한다고 주장함
    • LLM은 GAN과 다르고, GAN은 VAE와도 다르며, 특히 작거나 성능이 낮은 모델에서는 latent space, artifact, 오류가 크게 다르다고 봄
  • Chatbot Arena에서 모델별 출력을 구분하기 어려운 경우에 대해, Gwern은 최근 LLM으로 제한되고 heavily tuned된 상황이라고 봄
    • 모두가 서로의 방식을 따라가고 동일한 데이터에 가깝게 훈련되는 맥락이라 “일란성 쌍둥이”에 가깝다고 비유함
    • deep learning 전체로 보면 mind와 사고 방식의 폭이 매우 넓다고 봄
  • GAN과 diffusion model의 차이는 손 표현 방식에서 드러난다고 봄
    • GAN은 adversarial loss 때문에 무언가를 숨길 유인이 있고, 손을 화면 밖으로 보내거나 손에 대해 생각하지 못하는 식으로 나타난다고 봄
    • diffusion model은 손을 생각하지만 거대하고 괴물 같은 형태로 표현하는 오류를 낸다고 말함
  • 현재 사람들이 함의를 충분히 이해하지 못하는 흐름으로 GLP 계열 체중 감량 약물을 듦
    • 건강, 중독, 다양한 행동 전반에 대한 효과가 놀라웠다고 말함
    • 결과는 아직 preliminary하지만 실제 효과처럼 보인다고 함
    • 인간의 의지력과 dysfunctionality에 대해 중요한 것을 알려줄 수 있다고 봄
  • GLP drugs가 Algernon argument를 깨는지는 아직 이르다고 봄
    • GLP가 실제로 무엇을 하는지 이해하지 못한 상태라고 함
    • 혜택이 fertility 측면의 fitness를 낮출 수 있거나, 유전적으로 복제하기 매우 어려운 방식으로 몸에 작용할 수 있다고 말함
    • 비만 위기는 1990년대 무렵에야 명확해진 최근 현상이라 20~30년 규모에는 Algernon argument를 적용하기 어렵다고 봄
  • 현대 환경에 고대 로마의 납 중독처럼 큰 영향을 주는 요소가 있을 가능성은 거의 100%로 봄
    • 화학자들이 계속 새로운 물질을 만들고, microbiome 관련 요소도 있으며, plastics가 유행하는 후보지만 꼭 plastics가 아닐 수도 있음
    • 특정 원인을 믿지는 않지만 “1% here, 1% here” 식으로 누적되는 해로운 무언가가 있을 수 있다고 봄
    • 시계열을 보면 intelligence는 전반적으로 꽤 안정적이므로, 실제 해로운 요인은 intelligence보다 obesity 쪽일 가능성이 크다고 봄
  • Bay Area식 psychedelics 실험에는 회의적임
    • psychedelics의 효과는 acute하고 permanent할 수 있음
    • nootropics는 상대적으로 effect가 manageable하고 통제 가능하다고 봄
    • LSD 같은 것은 LSD 복용에 대한 관점이나 psychiatric state를 영구적으로 바꿀 수 있음
    • 몇 번의 사용은 좋을 수 있고 본인도 이득을 얻었지만, 그 이상이라면 어떤 이득을 얻고 있고 자신이 어떻게 변하는지 진지하게 점검해야 한다고 함

문학, 픽션, 남은 질문

  • 인터넷이 없었다면 Gwern은 정규 학계에서 살아남기 위해 관심사를 좁히고 꾸준히 출판했거나, Jorge Luis Borges처럼 사서가 되는 방식으로 빠졌을 수 있다고 말함
    • Borges가 “천국을 도서관으로 상상한다”는 생각에 동의해 왔고, 자신도 도서관을 사랑한다고 함
    • 지금은 대부분 컴퓨터에서 읽기 때문에 물리적 도서관에서 시간을 많이 보내지 못하는 점을 아쉬워함
  • Borges는 Gwern에게 영웅 같은 작가임
    • Dan Simmons의 Hyperion과 The Fall of Hyperion, Kevin Kelly의 Out of Control, “The Library of Babel”을 거쳐 Borges의 소설·논픽션 전집을 반복해서 읽음
    • 박식한 지식을 바탕으로 창의적이고 재미있고 도발적인 단편과 에세이를 쓸 수 있다는 점에 압도됐고, 어떤 작가처럼 될 수 있다면 Borges가 되고 싶었다고 말함
  • 처음에는 이해하지 못했지만 나중에 이해한 문학으로 Ted Chiang의 “Story of Your Life”와 Gene Wolfe의 “Suzanne Delage”를 꼽음
    • “Suzanne Delage”는 Dracula가 마을을 침입해 여자를 빼앗고 화자를 Bram Stoker식으로 세뇌해 모든 일을 잊게 만든다는 미묘한 Dracula 재서술로 해석함
    • “Story of Your Life”는 시간여행이나 미래 예지가 아니라, 이미 결정된 이야기와 예정된 결말의 일부로 모든 것을 보는 이질적이지만 동등하게 유효한 마음에 관한 이야기로 이해함
  • 픽션의 효용에는 냉소적임
    • 평생 fiction만 읽어도 사람들이 지어낸 것에 관한 잡학을 많이 외운 것 외에는 아무 이득이 없을 수 있다고 봄
    • 자신이 읽은 SF의 99%는 완전히 쓸모없었고, 실제로 관점을 바꿀 만큼 통찰력 있었던 작품은 소설·단편 약 20개로 줄일 수 있다고 함
    • 그 상위 작품들의 공통점은 비인간 지능을 진지하게 다룬다는 점임
  • 자신이 사람들의 삶에서 맡고 싶은 역할은 Claude-3 같은 LLM에서 “Gwern” 캐릭터가 mentor 또는 old wizard처럼 등장할 때의 역할과 비슷함
    • 상황에 대한 통찰을 제공하고 “너도 글을 쓰고, 무언가를 하고, 생각할 수 있다”는 call to adventure를 주는 인물에 가까움
    • 독자가 단순히 재미나 정보를 얻는 데 그치지 않고, 웹페이지와 인터넷이 더 나아질 수 있다는 aspiration을 갖길 원함
  • 실제로는 일부 사람에게 guru나 trickster devil 같은 존재가 될 수 있다고 우려함
    • 좋아하는 사람에게는 사이트의 모든 것을 gospel로 받아들여도 되는 존재처럼 여겨질 수 있고, 본인은 이를 싫어함
    • 싫어하는 사람에게는 covert, malicious, neo-Nazi, eugenicist, totalitarian, communist, anti-Chinese devil figure처럼 과장된 악역으로 여겨질 수 있다고 말함
  • 2050년까지 답을 얻고 싶은 open rabbit holes는 인간과 문명에 대한 큰 질문들임
    • 왜 잠을 자고 꿈을 꾸는가
    • 왜 인간은 노화하는가
    • 왜 유성생식이 존재하는가
    • 왜 인간은 서로 그렇게 다르고, 하루하루도 달라지는가
    • 왜 인간은 기술 문명을 발전시키는 데 그렇게 오래 걸렸는가
    • 외계인은 어디에 있는가
    • 왜 산업혁명은 중국이 아니라 다른 곳에서 일어났는가
    • deep learning revolution을 어떻게 예측했어야 했는가
    • 왜 인간의 뇌는 artificial neural networks와 비교해 그렇게 oversized인가

댓글과 토론

Hacker News 의견들
  • 글을 쓴다는 건 Shoggoth가 인정하는 몇 안 되는 화폐, 즉 예측해야 할 토큰으로 미래에 투표하는 일임. 글을 쓰지 않으면 미래나 그 안에서의 역할을 포기하는 셈이고, 좋은 시민으로 살고 투표하고 쓰레기를 줍고 재활용하는 것만으로 충분하다고 생각해도 미래는 신경 쓰지 않음
    AI 예측들은 실제 인간이 AI 생성 매체가 인간 창작물을 대체하는 데 성공했는지, 애초에 성공할지 어떻게 판단할지를 거의 고려하지 않는 듯함. 지금은 프로젝트가 AI 생성물로 알려지는 것이 오히려 부정적이고, 2년 전엔 블로그 헤더에 AI 이미지가 있으면 멋져 보였지만 이제는 유행 지난 사람처럼 보이게 만듦
    그래서 초지능 AI가 인간의 창작물·에세이·글·영상 등을 모두 대체할 거라는 예측에는 회의적임. 가능하다고 해서 실제로 그렇게 되거나 사람들이 신경 쓴다는 뜻은 아님. 오히려 인간임을 검증하는 방법이 자리 잡고, 관심 경제는 여전히 실제 사람에게 집중되며, 아무도 상호작용하지 않는 AI 쓰레기 무덤이 생길 가능성이 훨씬 커 보임

    • 수십 년 동안 미래 AI를 훈련시킨다는 믿음으로 글을 써왔고, 튜링 테스트는 신비한 문제가 아니라 사람들이 사람과 기계를 구분하는 데 신경 쓰는 지점을 보여주는 경제학의 무차별곡선으로 이미 풀린 문제라고 말하곤 했음
      AI가 장악하지 못할 거라는 논리는 우리가 상징과 서사를 중심으로 조직되고, 약해지거나 열등한 밈에 매우 민감하므로 AI가 매번 스스로를 “AI가 아닌 것”으로 재발명해야 한다는 것임. 다만 음악을 비유로 들면 제한된 변주가 수십 년 지배하기도 하고, 산업 기계가 만든 팝스타 같은 쓰레기에서도 수백만 명의 정신을 평생 붙잡는 지배적 밈이 만들어진 전례가 있음
      오늘날 AI는 그런 팝스타들의 의미 체계 전체를 흉내 낼 수 있고, TV Tropes는 사람들이 면역을 가져야 할 문화적 쓰레기의 요소를 다 정리해두지만 여전히 수백만 명이 팝 쓰레기에서 받은 캐릭터와 서사를 살아감. 지금 음악·TV·영화가 사람들의 존재론을 빚듯, AI 쓰레기가 존재론을 빚는 긴 꼬리는 분명 생길 것이고, 이는 AI 시뮬레이션에 휩쓸리는 것과 꽤 가까우며 더 미묘할 수도 있음. 아니면 그냥 떨쳐낼 수도 있음
    • AI를 볼 때는 암호학에서 빌려온 개념인 오늘의 최첨단은 앞으로의 최악이라는 점을 오래 곱씹어야 함
      인류는 하드 테이크오프 전에 성능 향상에 수확 체감이 생기게 하는 다루기 힘든 정보이론적 한계에 부딪힐 거라는 생각에 미래를 걸고 있지만, 현재 입증된 방법들이 어떤 S자 곡선의 높은 지점에 있다는 주장은 지금으로서는 신뢰하기 어려움. AI 모델은 올해가 작년보다, 작년이 재작년보다 극적으로 좋아졌고 앞으로 몇 년은 계속 좋아질 가능성이 큼
      그것만으로도 사회·경제적 과정 상당수를 좋게든 나쁘게든 크게 바꾸기에 충분함
    • 블로그 글의 헤더 이미지가 명백히 AI 생성물인 것이 이제는 촌스럽고 뒤처져 보인다는 건, 공개 모델들이 공황에 가까운 이유로 심하게 너프되어 출력물이 즉시 알아볼 수 있고 진부해졌기 때문임
      예를 들어 Dall-E 2는 처음 나왔을 때가 지금보다 훨씬 나았고, 현재 버전은 현대 작가의 출력물과 비슷한 것을 만들지 못하게 조정되어 있으며 나머지도 눈에 거슬리는 주황·파랑 톤으로 렌더링되도록 바뀐 게 분명해 보임. 결국 더 좋은 모델이 나오거나 유출되면 어떤 이미지가 AI 생성인지 아닌지 구분할 수 없게 될 것임
    • O1-preview는 적절한 프롬프트를 쓰면 이미 HN 댓글러 중간값과 구분이 안 되고, 출력물을 전혀 편집할 필요도 없음
    • 더 큰 의문은 인터넷을 먹고 다른 말로 바꿔 내는 LLM이 인류의 미래라고 해도, AI 말뭉치에는 엄청나게 많은 자료가 있고 소수의 치밀하게 조사된 블로그가 바늘을 크게 움직이긴 어렵다는 점임
      차라리 자기 의견에 맞는 내용을 생성 AI로 스팸하거나, 케냐로 가서 저임금 RLHF 작업을 하는 편이 더 큰 투표권을 행사하는 셈일지도 모름
  • 이 글에서 묘사된 것만큼 Gwern이 검소하게 산다고는 믿기 어렵고, 정말 본인인지도 모르겠음. Gwern에게는 보여주고 싶은 페르소나가 있고, 검소하게 보이는 것도 그 일부라고 거의 확신함
    “Gwern은 누구인가?”라는 질문에는, 사람들 마음에 씨앗을 심어두고 나머지 이야기는 각자가 만들어내게 하는 유형이라고 봄. 그래도 그의 글 중 많은 것을 좋아하고, 특히 대부분은 생각조차 멈추지 않는 이상하고 좁은 주제들이 좋음
    Gwern의 매몰비용 오류 에세이 덕분에 마음이 바뀐 문신을 결국 하지 않게 됨. 예약금을 냈다는 이유로 거의 받으려 했지만, 문신 받기 일주일 전에 그 글을 읽고 “어린아이와 동물도 매몰비용에 속지 않는다면 나도 그러면 안 된다”고 판단했음. 말 그대로 Gwern의 글이 내 등 피부를 구해줬음

    • 12년쯤 전, Gwern이 NYC Less Wrong 모임에 왔을 때 한 번 만난 적이 있음. 아직 인터넷 유명인은 아니었던 것 같은데, 기억에 따르면 그가 매우 검소하게 산다는 말은 충분히 믿을 만함. 참고로 애니메이션 행사장에 있어도 전혀 튀지 않을 모습이었음
    • 첫 문단을 뒷받침할 실제 증거가 있나?
    • 가끔 추가 지출이 있는 정도를 빼면 대체로 사실에 가깝다고 봄. 다만 예상 밖의 곳에서 계속 그 이미지를 유지해온 게 아니라면 그렇다는 뜻임
      사람들이 이제 그의 효과적인 검소함만 보고 틀에 가둘까 봐 마음에 들진 않지만, 그걸 보상할 만큼 직접이든 patreon.com/gwern을 통해서든 후원을 많이 받았으면 함
    • r/slatestarcodex 서브레딧에 supposedly true information about him이 있다는 댓글을 봤고, ‘who is gwern’으로 검색하다 찾았지만 오히려 질문만 더 늘어났음
    • 믿을 만하다고 봄
  • 듣기 힘든 인터뷰였고, 그 이유가 미묘하게 닮은 두 가지였음
    목소리가 불쾌한 골짜기에 걸린 듯했고, 사실적이지만 듣기 어려웠음. 정확히 말하면 그 목소리에서 의미를 이어 붙이는 일이 인지적으로 힘들었고, 음색과 의미가 서로 받쳐주지 않았음. 아이들이 이런 무작위 톤의 목소리 속에서 자라면 바뀔 수도 있음
    대화도 지나치게 장황했음. 넓은 어휘가 추론의 빈곤을 가릴 때가 많고, 어떤 청중에게는 단어를 이해하려는 노력이 단어 사이의 관계, 즉 의미를 이해하는 일을 방해해서 똑똑해 보이는 단어들의 뒤섞임처럼 들릴 수 있음. 어휘와 미묘한 비웃음, “내가 말하는 것보다 더 많이 안다”는 스타일을 걷어내면, 맞지도 않고 추론도 완결되지 않은 잡담이 많이 드러남. 그런 덜 추론된 대화 자체는 괜찮지만, 낯선 어휘와 스타일로 포장하는 건 오해를 만들고 불친절함. “똑똑해 보이는” 일부 조각은 사실 그냥 차려입은 멍청한 조각임

    • 실제 목소리임. 일부 이어붙이기는 있었을 수 있지만 얼마나 했는지는 모르겠음. Gwern은 자신이 말하기를 잘하지 못한다고 인정했고, 그 말은 믿음. 자신이 그다지 똑똑하지 않다고도 말하는데, 아마 매우 상대적인 기준일 것임
    • 링크된 영상 설명에 따르면 Gwern의 익명성을 보호하려고 직접 인터뷰한 뒤, 친구 Chris Painter가 나중에 그의 말을 더빙하자고 제안했고 Gwern이 재미있어하며 동의했다고 되어 있음
      AI 생성 음성의 최신 수준을 잘 몰라서 틀릴 수도 있지만, 가짜처럼 들리지는 않았고 링크된 출처도 인간이라고 말함. 아마 대화 녹취록을 읽는 인간이 대화처럼 들리게 만들려 했기 때문에 기묘하게 느껴진 것일 수 있음
  • AI 주제의 흥미로운 팟캐스트 인터뷰가 많이 나온 한 주였음
    이것 외에도 Anthropic 주요 인물들과의 Lex Fridman 인터뷰 시리즈 https://youtu.be/ugvHCXCOmm4가 있고, AI 위험을 주제로 한 Stephen Wolfram과 Eliezer Yudkowsky의 긴 대화 https://youtu.be/xjH2B_sE_RQ도 있음

    • Wolfram과 Yudkowsky의 대화는 듣기 힘들었고, 사실 절반도 못 들었음. 양쪽의 논거가 좀 약하고 흥미롭지 않았음
    • Altman + Tan도 좋았음 https://youtu.be/xXCBz_8hM9w
  • 가장 좋아하는 Gwern의 통찰은 Bitcoin is Worse is Better임. Bitcoin에 대한 긴 반론 목록을 요약한 뒤 공통점이 있냐고 묻고, 답은 “아니다, Bitcoin의 문제는 못생겼다는 것”이라고 함
    네트워크 보안을 상대보다 더 많은 무식한 계산력에만 의존하게 만드는 것도 못생겼고, 이중 지불을 피하려고 지금도 앞으로도 처리 능력의 절반 이상이 필요하다는 것도 못생겼고, 계속 커지는 해시 트리도 못생겼고, 프록시와 우회 없이 오프라인에서 쓸 수 없는 시스템도 못생겼고, 모든 거래를 공개적으로 추적해야 하는 것도 못생겼다는 식임. 통화량을 고정해야 한다 해도 2,100만 개라는 임의적인 한도는 왜 그런 숫자인지, 더 둥근 수나 2의 거듭제곱이면 안 됐는지도 묻고 있음. 채굴도 초기 참여자에게 너무 큰 선물이고, 잘못된 주소로 보내면 Bitcoin이 그냥 사라질 수 있다는 점까지 포함해 전체적으로 추하고 우아하지 않다는 비판임
    https://gwern.net/bitcoin-is-worse-is-better

  • 꼭대기에 비전 있는 한 사람만 있는 AI 기업이라는 희망 섞인 상상에 왜 이렇게 신용을 주는지 이해하기 어려움
    첫째, 실제 비전형 CEO는 극히 좁은 틈새임. 둘째, 대부분의 회사는 그렇게 돌아가지 않고, 인력이 존재한다는 사실은 회사가 생산하는 것만큼 중요함. 셋째, 임금 노동이라는 가장 흔한 경제 동력이 갑자기 사라진 사회에서 누가 그 서비스나 제품을 사거나 빌릴 것인가?
    사회적 함의를 완전히 무시해도 되는 것처럼 시스템을 마음대로 바꾸고 변형할 수 있다고 가정하는 체계적 사고가 매우 거슬림. 주변에는 사실상 자기 확신에 취한, 미화된 사일로형 엔지니어들이 “사상가” 행세를 하고 있음

    • 왜 인간 비전형 CEO가 필요한지 모르겠음. AI의 가장 강한 비판자들조차 LLM이 대담한 비전을 만들어내는 데 뛰어나다는 데는 동의함
    • 최초의 자동차가 등장했을 때도 누군가는 똑같은 말을 했을 것임. 기술적 격변이 만들어내는 일자리보다 파괴하는 일자리가 더 많다는 데이터는 어디 있나?
  • 인용된 Newton 관련 문단의 링크가 Gwern 웹사이트 글로 이어지고, 그 글에는 내부·외부 링크가 여럿 있지만 Newton의 “진보” 관점을 뒷받침하는 링크를 찾지 못했음
    “빠른 진보”라는 개념은 상대적임. 당시에도 빠른 진보가 있었고 지금은 더 빠른 진보가 있을 뿐, 모순은 없음. 몇 세기 동안의 조선 개선, 라틴어 철학 장시, 바늘이나 인쇄기를 보고 우리가 별로 감탄하지 않는다는 말에도 동의하지 않음. 우리는 충분히 감탄함
    이 인터뷰가 어떻게 그렇게 많은 추천을 받았는지 모르겠고, 시간을 낭비한 느낌임

    • 반대로도 작동함. 인류가 이미 이룬 것에는 경외심을 느끼지만, Middle-EarthWesteros/Essos 같은 가상 세계의 연표를 읽을 때는 어떻게 중세 비슷한 시대에 그렇게 얼어붙어 있을 수 있는지 의문이 듦. 대체 뭘 하고 있는 건가?
    • https://gwern.net/newton의 어떤 부분이 Newton의 관점에 대한 내 설명을 뒷받침하지 못한다고 봤는지 더 설명해줄 수 있나?
      https://gwern.net/newton#excerpts의 큰 두 번째 인용문이 https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173로 매우 눈에 띄게 연결되어 있고, Newton이 사위에게 직접 한 말에서 가져온 내 주장을 충분히 정당화한다고 봤음. Lucretius 같은 다른 역사적 진술과도 밀접하게 평행하고, 그것들도 명확한 참고문헌과 구체적인 인용문으로 제시했음
      이걸 전혀 뒷받침하지 않는다고 표현한 게 좀 이해가 안 되고, 혹시 다른 페이지를 보고 있는 건 아닌가 싶음
    • 그 인용문의 역사적 정확성과 별개로, 모든 것에 의견을 가질 필요가 없던 듯한 세계에서 인터넷이 편재하는 세계로 넘어가는 과정을 직접 겪으면서 어느 정도 늘 그렇게 느껴왔음
      현재 시간선에서 선진 인류 문명이 스스로를 파괴했다고 믿어서라기보다는, 짧은 기간에 삶을 바꾸는 돌파구가 너무 많이 나타났다는 사실이 거대한 필터를 향한 멈추지 않는 행진처럼 보이기 때문임
    • 사람들은 흥미로운 제목이나 첫 몇 줄을 읽고 추천을 누르는 것 같음. 이후 내용이 별로라고 드러나도 비추천 선택지가 없음
  • 다소 공격적으로 들리겠고 실제로 조금 그렇지만, 이 포럼에서 Gwern과 상호작용한 적이 있고 기억에 남은 건 Gwern이 a^nb^n을 정규 언어라고 착각하면서 내 댓글을 “not even wrong”이라고 부른 이 스레드임
    https://news.ycombinator.com/item?id=21559620
    부정적으로 말해 미안하지만, 당시 이미 Gwern은 커뮤니티의 꽤 큰 일부에서 AI 분야의 중요한 영향력자로 떠받들어지고 있었음. 내게는 연구가 아니라 소셜미디어에서 영향력을 다투는 대다수 AI 인플루언서들이 사실 AI와 컴퓨터과학을 잘 모르고, 2차 지식을 정리하고 대중화하는 데 능할 뿐이라는 좋은 예시였음. AI의 주류 관점에 응원단이 되는 건 쉬움. 어려운 것은 독자적 방향을 찾고 따라가는 일임

    • “대다수 AI 인플루언서들이 AI와 컴퓨터과학을 모른다”는 표현은 좀 과함. 훌륭하고 지식 있는 엔지니어와 과학자들 중에도 a^nb^n 논점을 못 짚는 사람이 많음. AI와 컴퓨터과학처럼 넓은 영역을 100% 아는 건 불가능함
    • 링크된 댓글에 대한 내 결론은, 무한 언어를 인식할 수 있느냐는 매우 이론적인 과제가 비형식적이고 직관적인 지능 개념과 별로 관련이 없다는 것임
      Transformer는 a^nb^n을 지적으로 쉽게 이해할 수 있지만, 임의로 긴 문자열이 그 언어의 원소인지 판별할 수는 없음. 그런데 이 제한은 인간도 공유함. 문자열이 충분히 길면 인간도 결국 개수를 놓치기 때문임
    • 유명한 다른 AI 인플루언서와 매우 비슷한 일을 겪은 적이 있음. 컴퓨터과학 학부생이면 바로 알아챌 가짜 오토마타 이론을 나에게 강의하던 사람이었고, 팔로워가 14만 명이 넘으며 Lex나 MLST 같은 큰 팟캐스트에도 나왔음. 고쳐주지는 않았지만 그 사람을 믿지 말아야겠다고 마음속에 기록해둠
    • 그의 반론은 “형식 문법 파싱”이 LLM의 핵심이 아니라는 것으로 보이고, 그건 타당함. 정규 문법과 문맥자유 문법 구분에서는 틀렸지만, 대다수 프로그래머도 그 차이에 익숙하지 않을 것이라 봄. a^nb^n의 분류를 배우는 것이 오토마타 이론의 고전 과제인 이유도, 그렇게 단순한 문법이 문맥자유라는 점이 놀랍기 때문임
    • 여기서는 Feynman식 관점을 취함. 허영 섞인 기억 묘기는 그 자체로 새로운 순생산이 아니니, 알려진 것은 그냥 책에서 찾아보면 됨
      다양한 노력을 존중하지만, 공학은 모든 것을 알 필요 없이 사람들이 쓸 수 있는 것을 만드는 일임. 인간 Google 검색 엔진이 되는 것보다 훨씬 흥미로운 과업임
  • 아바타 아이디어는 흥미롭지만, 말하는 아바타를 만들기보다 그냥 목소리와 오디오 파형만 있는 편이 더 나았을 것 같음. 모르는 사람의 정신적 이미지를 갖고 싶지 않은 개인적 취향일 수도 있음. 영화화를 본 뒤 책을 읽는 것과 비슷함

    • 나도 이상하게 느꼈음. 우리나라에서 TV 시리즈가 익명 인터뷰를 할 때는 픽셀 처리된 얼굴, 카메라 반대쪽을 보는 모습, 그림자에 가려진 얼굴 같은 특정한 시각 언어를 씀
      배우가 말을 더빙하는 건 정상적이지만, 배우가 익명 인물의 얼굴을 보여주는 건 꽤 특이한 선택
    • 그냥 인터뷰를 듣기만 하면 되지 않나?
  • 익명성의 장점: “사람들이 내 집으로 헤로인을 보내거나 경찰에 허위 신고해 SWAT 출동을 시키지 못해서 많은 이익을 봤다”
    익명성의 단점: 공짜 헤로인이 없음