▲

AGI 환상은 실제 엔지니어링을 가로막는 요인

 (tomwphillips.co.uk)
1P by GN⁺ 4일전 | ★ favorite | 댓글 2개
  • 실리콘밸리에서는 AGI(인공 일반 지능) 을 실현 가능한 목표로 믿는 문화가 확산되어 있음
  • OpenAI 내부에서는 ‘순수 언어 가설’ 을 기반으로, 언어 모델의 확장이 AGI로 이어질 수 있다는 신념이 형성됨
  • 이러한 믿음은 막대한 데이터센터 확장 과 환경·노동 착취 문제 를 정당화하는 근거로 작용함
  • AGI의 기대값(Expected Value) 논리는 근거 없는 확률과 가치 추정에 의존하며, 현실의 환경 피해와 사회적 비용을 무시함
  • AGI 환상을 버리고 작고 목적 지향적인 모델 로 문제를 해결하는 실질적 엔지니어링 접근 이 필요함

AGI 신념과 OpenAI의 문화

  • OpenAI와 관련된 인물들은 실제로 AGI가 인류의 번영 또는 파멸을 초래할 수 있다고 믿음
    • Elon Musk는 Demis Hassabis를 “세상을 지배하려는 악당”으로 묘사하며, OpenAI를 “선”으로, DeepMind를 “악”으로 규정
    • Ilya Sutskever는 직원들에게 “AGI를 느껴라(Feel the AGI)”라고 말하며, AGI를 상징하는 나무 인형을 불태우는 의식 을 진행
  • 이러한 행위는 공상과학적 상상 이 실리콘밸리의 주류 신념 으로 자리 잡았음을 보여줌

‘순수 언어 가설’과 LLM 확장

  • Karen Hao의 저서 Empire of AI 에 따르면, GPT-2는 ‘순수 언어 가설(pure language hypothesis)’ 에 기반함
    • 인간이 언어로 사고하고 소통하므로, 언어 데이터만으로 AGI가 가능하다는 전제
    • 이에 반해 ‘그라운딩 가설(grounding hypothesis)’ 은 AGI가 세상을 인식해야 한다고 주장
  • GPT에서 GPT-2로의 성공적 확장은 OpenAI 내부에서 더 많은 데이터·모델 파라미터·컴퓨팅 자원 이면 AGI에 도달할 수 있다는 믿음을 강화함

확장 경쟁과 환경·노동 문제

  • AGI 신념과 LLM 성과는 대규모 데이터센터 건설 을 정당화함
    • 일부 시설은 초당 수백 리터의 물 을 사용하고, 전력 부족으로 오염된 가스 발전기 를 가동
    • 도시 전체 수준의 전력 소비 와 CO₂ 배출 증가 가 발생
  • ChatGPT의 안전한 출력을 위해 데이터 검열·정제 작업을 수행하는 노동자 들이 착취와 정신적 트라우마 를 겪음
    • 데이터 수요가 커지면서 인터넷 전체를 무차별적으로 수집 하고, RLHF(Reinforcement Learning from Human Feedback) 으로 결과를 제어

기대값 논리의 문제

  • AGI 개발의 정당화 근거로 기대값(Expected Value) 이 자주 인용됨
    • “0.001%의 확률로 엄청난 가치가 발생해도 EV는 매우 크다”는 논리
  • 그러나 이러한 계산은 확률과 가치가 임의적이며 검증 불가능 함
    • 반면, 환경 파괴와 사회적 비용 은 확실한 부정적 가치 와 현재적 피해 로 존재

실제 엔지니어링으로의 전환

  • 기술자는 문제를 효과적·효율적·무해하게 해결해야 함
  • LLM을 AGI로 간주하는 접근 은 세 기준 모두에서 실패
    • 과도한 연산 낭비, 노동 착취, 환경 피해 가 발생
  • AGI 환상에서 벗어나, LLM과 생성 모델을 특정 문제 해결용 도구 로 평가해야 함
    • 작고 목적 지향적인 생성 모델 또는 비생성형(판별형) 모델 활용
    • 비용-효익 분석 과 기술적 절충 을 통한 실질적 엔지니어링 수행 필요
▲
kandk 1일전  [-]

엔지니어링에 대해 환경·노동 착취 문제 같은 이상한거 들고 올지 말고,
차라리 망할거라고 리포팅 내고, 숏을 치는 행동을 보여주는게 어떨까 싶음..

답변달기
▲
GN⁺ 4일전  [-]
Hacker News 의견

  • AI 회의론자들에게 조언하자면, 데이터센터의 물 사용량 논쟁은 피하는 게 좋겠음
    “연간 수백만 리터” 같은 표현은 맥락 없이 들으면 무섭게 느껴지지만, 농업이나 골프장과 비교하면 미미한 수준임
    에너지 사용량, CO₂ 배출 같은 논의는 괜찮지만, 물 사용만 강조하면 전체 주장의 신뢰도가 떨어짐
    다만 이후에 알게 된 건, 데이터센터는 종종 농업에 쓸 수 없는 음용수를 사용한다는 점이었음
    그래도 ‘수백만 갤런’ 같은 숫자를 맥락 없이 제시하는 건 여전히 반패턴이라 생각함

    • 사람들이 스스로를 “AI 회의론자”로 분류하는 현상 자체가 흥미로움
      이건 기술 논의가 아니라 정체성 정치로 변질된 결과 같음
      HN에서는 정치적 입장을 버리고 기술적 근거로 토론해야 함
      아마도 과장된 AI 홍보에 대한 반작용으로 이런 태도가 생긴 듯함
    • 글의 저자 Andy Masley에게 물 사용 문제를 물어봤는데, 그는 “The AI Water Issue is Fake” 글에서
      오히려 대규모 수요가 생기면 지역 수도 시설이 확충되어 음용수 가격이 내려갈 수 있다고 주장했음
      그의 추가 의견에 따르면, “AI가 귀중한 물만 쓴다”는 비판은 오히려 상황을 거꾸로 본 것이라 함
    • 나는 원래 비슷한 입장이었지만, Hao의 책을 읽고 생각이 바뀌었음
      칠레의 한 도시에서 Google 데이터센터가 지역의 가뭄을 악화시킨 사례가 있었고,
      다른 지역에서는 바닷물을 식수에 섞을 정도로 심각했다고 함
      도시 전체 소비량에 맞먹는 물을 쓰는 건 분명 문제라고 생각함
    • “다른 산업이 더 나쁘다”는 이유로 데이터센터가 면죄부를 받을 순 없음
      골프장과 데이터센터 모두 외부비용을 지불해야 하며,
      건조 지역에서 비경제적이라면 그게 더 낫다고 봄
    • 데이터센터 냉각탑은 담수를 써야 하지만, 농업용수와 크게 다르지 않음
      농업에 쓸 수 있는 물이라면 냉각에도 쓸 수 있음
      에너지 사용 문제도 과장된 면이 있음 — 결국 저렴한 재생에너지가 경쟁력을 가질 것임

  • LLM의 한계는 하드웨어 문제라고 생각함
    인간 뇌의 뉴런은 수천 개의 입력과 출력을 동시에 처리하지만, LLM 뉴런은 단일 입출력만 가짐
    인간 뇌는 20W 정도로 작동하지만, LLM은 수 MW를 써야 함
    GPU나 TPU로는 AGI에 도달하기 어렵고, 완전히 새로운 하드웨어 패러다임이 필요함

    • 벌 한 마리조차 자율적으로 비행하고 협력하는데, 우리는 아직 그런 AI를 만들지 못함
      단순히 연산량 부족의 문제가 아님
    • 인간의 복잡한 하드웨어는 생존을 위해 진화한 결과임
      지적 활동만을 위한 환경에서는 그렇게 많은 뉴런이 필요 없을 수도 있음
    • 반도체 기술로 보면 3nm 공정의 100mm² 다이에 1~10조 개의 피처를 넣을 수 있음
      문제는 규모가 아니라 배치 구조(Electronic Design Automation) 임
      EDA 위키 문서 참고
    • 요약이 훌륭함. 인간은 고차원 데이터를 다루는 데 약하지만, 샌드위치 몇 개로 작동함
    • LLM은 뇌와 구조적으로 완전히 다름
      뇌는 여러 입력 경로와 다양한 신호 방식을 가지며, 설계 복잡성이 훨씬 큼

  • AGI 담론은 종교적 충동의 연장선 같음
    인간은 여전히 모든 문제를 해결해줄 절대적 해답을 갈망함

    • 나도 무신론자지만, 인간에게 영성은 필수적이라 생각함
      억누르면 더 나쁜 형태로 되돌아옴
      명상, 절제, 타인에 대한 윤리 같은 개인적 신념이 나의 ‘종교’임
    • “태양의 힘을 지상에” 같은 핵융합 담론도 비슷한 종교적 언어를 씀
      태양이나 뇌처럼 자연 시스템을 기술로 재현하려는 시도임
    • G.K. 체스터턴이 1924년에 “20세기는 어떤 종교 권위라도 가지려 한다”고 썼음
    • AI 버블은 광기 어린 투기와 다를 바 없음
      종교처럼 권력 구조가 신념을 이용해 통제를 유지함
      인간의 맹신과 사기는 시대를 막론하고 반복됨
      참고: Extraordinary Popular Delusions and the Madness of Crowds
    • Emmanuel Todd의 “좀비 종교” 개념이 인상 깊음
      종교가 사라진 사회는 먼저 가치만 남은 껍데기 단계를 거치고,
      이후 무(無) 종교 단계로 빠지며 도덕적 공백이 생김
      일부는 AI에게 복종하려 하지만, “AI가 말했으니까”는 영감 없는 신앙임

  • 나도 기술자로서 효율적이고 무해한 문제 해결을 원하지만, 현실은 복잡함
    Raspberry Pi에서 Bluetooth 설정을 하다 GPT와 Claude의 도움으로 해결했음
    Stack Overflow나 포럼은 예전만큼 활발하지 않고, 문서도 흩어져 있음
    기술이 너무 복잡해져서 결국 LLM에 의존해야만 하는 상황이 됨

    • 단기적으로는 genAI의 도움이 필요하지만,
      장기적으로는 AI 없이는 유지 불가능한 사회는 지속될 수 없음
      기술은 다시 단순함으로 돌아가야 함
    • 요즘은 배포판마다 위키 매뉴얼이 있음
      예를 들어 ArchWiki Bluetooth나 Debian BluetoothUser 참고
    • 진짜 위험은 기술 복잡성이 AI로 인해 더 심화되는 것임
      이미 회사에서도 AI 에이전트가 도구를 대신 실행하는 구조가 생기고 있음
      결국 인간은 내부 로직을 이해하지 못하게 될 위험이 큼
    • LLM은 Google이나 Stack Overflow의 대체재로는 훌륭함
      다만 인간을 완전히 대체하기엔 아직 근본적 한계가 있음
    • 검색이 AI보다 나쁜 이유는 엔시티피케이션(enshittification) 때문임
      결국 LLM도 같은 길을 갈 가능성이 큼

  • 업계의 일부는 LLM을 근본적 막다른 길이라 주장하지만,
    주식과 명성에 얽매여 현실을 인정하지 않음

    • AGI 관점에서는 막다른 길일 수 있지만, 경제적 가치는 여전히 큼
    • 증기기관이 비행에는 부적합했지만, 내연기관 발전의 기반이 된 것처럼
      LLM도 AGI로 가는 중간 단계 기술일 수 있음
    • “근본적 막다른 길”이라는 표현은 과장임
      AGI 시스템의 핵심 구성요소가 될 수도 있음
    • 이렇게 빠른 발전을 보고도 “환상”이라 부르는 건 이해하기 어려움
    • “월급이 걸린 사람은 설득할 수 없다”는 말이 딱 들어맞음

  • 나는 Whisper 덕분에 영상 자막 작업이 혁신적으로 단축되었음
    예전엔 몇 시간 걸리던 걸 몇 분 만에 끝냄
    좋은 UI를 가진 MacWhisper 덕분에 접근성도 높아졌음

    • 저자도 동의함. 딥러닝과 트랜스포머는 분명 실질적 가치를 만들어냈음
      예를 들어 변호사들이 LLM으로 무죄 입증 자료를 발굴하는 사례도 있음
      과도한 확장 대신 실용적 활용이 중요함
    • 컴퓨터 비전 분야도 여전히 중요하지만, 산업 규모의 응용이라 대중에게 덜 보임
    • AI 발전의 방향성에 대해 어떻게 생각하는지 궁금함
    • Whisper처럼 많은 AI 도구가 결국 로컬·무료화될 것임
      몇 년 안에 개인용 LLM이 노트북 수준에서 돌아가는 시대가 올 것임

  • 콘텐츠 조정자를 착취한다는 표현은 과장이라 생각함
    이건 30년 전부터 존재한 인터넷 모더레이션 업무임
    불쾌할 수는 있지만, 새롭거나 끔찍한 일은 아님
    AGI 추구와는 별개로 필요한 역할임

  • 현실적인 AI 논의가 반갑게 느껴짐
    트랜스포머 기술 자체가 쓸모없다는 게 아니라,
    “곧 AGI가 온다”는 과도한 과장이 문제임
    HN은 대부분의 유행을 잘 견뎌왔지만, 이번엔 예외처럼 보임

    • HN에서 AGI가 곧 온다고 믿는 분위기는 느끼지 못했음

  • 우리는 쉽기 때문이 아니라 어렵기 때문에 도전해야 함
    AGI가 환상일지라도 그 과정에서 유용한 문제들이 해결될 수 있음
    데이터센터의 탄소 배출은 과장된 면이 많고,
    장기적으로 청정에너지 기반 데이터센터가 더 경제적임

    • 하지만 AI 데이터센터의 전력 소비가 전기요금 상승을 유발하고 있음
      이는 서민에게 직접적인 부담임
    • 어려운 일이라도 인간 행복에 실질적 도움이 되는가를 따져야 함
      지금의 AI는 그 점에서 설득력이 부족함

  • DeepMind와 Demis Hassabis는 실제로 과학적 성과를 내고 있음
    예: AlphaFold, AlphaEvolve 등
    이런 연구가 있는데 “AI는 환상”이라고만 말하는 건 불공정함

    • AlphaFold나 AlphaEvolve는 AGI 추구가 목적이 아님
      글의 요지는 AGI 집착을 비판하는 것임
    • DeepMind는 다른 기업보다 과학 연구 중심으로 보임
      Hassabis는 진심으로 과학 발전에 관심 있는 듯함
      반면 일부 기업은 단순히 돈벌이용 PR에 가깝게 보임
    • Hao는 단순한 “AI 비판서”가 아니라 신뢰받는 기자의 저작임
    • 인용한 사례들을 보면 AGI 개념을 혼동한 듯함
답변달기