▲

AGI가 곧 올 것 같지 않은 이유

 (dwarkesh.com)
1P by GN⁺ 7시간전 | ★ favorite | 댓글 1개
  • 글 작성자는 AGI(범용 인공지능) 가 가까운 시일 내 등장할 것이라 보지 않음
  • LLM(대형 언어 모델) 은 뛰어난 능력을 보여주지만, 인간처럼 지속적으로 학습하며 점진적으로 개선하는 능력이 부족함
  • 현 LLM은 사용자 피드백을 통해 맞춤화하거나 맥락을 쌓는 데 한계가 있으며, 이는 실제 사무직 자동화에 큰 장벽임
  • 컴퓨터 사용 및 멀티모달 데이터 등 현실적 과제들은 데이터 부족, 긴 작업 시간, 기술적 난이도 때문에 발전 속도가 느릴 것으로 전망됨
  • 장기적으로 온라인 학습이 가능해지면 매우 급격한 변화가 발생할 것이라고 기대하지만, 향후 10년 내에 쉽게 실현될 것으로 보지 않음

인트로 및 AGI 예상 시점 논의

  • 글 작성자는 다양한 전문가들과 AGI 도달 시점에 대해 논의한 경험을 바탕으로 자신의 견해를 제시함
  • 일부에서는 2년 후, 또는 20년 후에 AGI가 등장할 것이라 예측하지만, 본인은 2025년 6월 현재로서 AGI가 곧 도래한다고 판단하지 않음

지속적 학습(Continual Learning)의 한계

  • 많은 사람이 현 AI 기술만으로도 경제적으로 인터넷보다 더 변혁적이라는 입장을 보이지만, 글 작성자는 이에 동의하지 않음
  • Fortune 500 기업들이 LLM을 업무 근본적으로 혁신하는 데 활용하지 못하는 이유는 경영진의 보수성 때문이 아니라 현 AI의 지속적 학습 결여 때문임
  • 필자가 다양한 LLM 기반 도구를 직접 구축하고 활용하는 과정에서, LLM은 반복적 업무에 있어 5/10 정도 성과를 내지만 점진적 개선능력이 부족함을 확인함
  • 인간은 맥락 구축, 스스로의 실패 분석, 반복을 통한 소소한 개선 습득 등 능력을 통해 생산성이 발전하지만, LLM은 고수준 피드백 전달 경로가 부재하며, 프롬프트 조정만으로 인간식 ‘학습’이 불가능함
  • RL(RLHF) 파인튜닝이 있긴 하지만, 인간과 같은 적응적이고 유기적인 학습과는 거리가 멀며, 이는 실무 자동화에서 결정적 제약 요소임
  • AI 모델이 인간 직원처럼 업무 중 풍부한 맥락을 쌓고 기억하며 성장하는 방식은 아직 실현방안이 부족함
  • 세션 내에서는 일부 맥락 학습이 이루어지기도 하지만, 세션 종료 후에는 모든 학습된 맥락이 소실되는 한계 존재
  • 장기 기억(rolling context window) 같은 해법이 시도되지만, 풍부한 경험적 지식의 요약은 브리틀(취약) 하며, 텍스트 기반 도메인 외에서는 더욱 비효율적으로 작동함
  • AI 발전이 현 수준으로 정체될 경우에도 많은 사무직 업무가 해당 기술로 대체되기는 어렵고, 인간 직원이 가진 맥락 학습력이 경쟁력임
  • 즉, 지속적 학습 기술이 실제로 구현되는 시점에야 AI의 가치가 불연속적으로 급상승하며, 궁극적으로 이 기술이 가능해지면 복수 인스턴스 간 학습 공유를 통해 인간보다 빠르게 슈퍼인텔리전스화가 가능함
  • 그러나, 연구실은 혁신 기술을 완전하게 완성하기 전에 불완전한 버전을 먼저 공개할 동인도 크기에, 지속적 학습의 진정한 도약이 일어나기 전 징후가 나타날 것으로 예상함

컴퓨터 사용 및 자동화의 현실적 어려움

  • Anthropic 연구원들과의 대화에서, 2026년 말까지 신뢰성 높은 컴퓨터 사용 에이전트가 등장할 것이라는 예측을 들었으나, 필자는 이에 회의적임
  • 현재도 컴퓨터 사용 에이전트가 존재하지만 실제로 다루기엔 효율성이 낮음
  • 세금 신고 같은 실제 과업을 자동화하려면, 다중 시스템, 장시간 에이전트 실행, 다양한 멀티모달 데이터 처리가 필요하며, 이는 학습 및 검증 프로세스를 매우 느리게 만듦
  • 기존 텍스트 프리트레이닝 데이터(즉, 언어 모델에 사용한 대용량 인터넷 문서 등)와 달리, 다중모달 컴퓨터 사용 데이터셋은 부족하여, 신뢰도 높은 에이전트 개발에 시간 소요가 예상됨
  • 새롭게 제안되는 혁신적인 알고리듬도 실제 현장 적용까지 다년간의 엔지니어링 조정이 필요해, 컴퓨터 사용 과제의 발전이 상당히 느릴 것임

추론능력의 고도화와 한계

  • Gemini 2.5 등 최신 모델들은 화자의 의도 해석, 논리적 자기검증, 맥락 반응 등에서 실제로 추론 능력을 보임
  • Claude Code 등이 주어진 스펙만으로 동작하는 코드를 빠르게 생성하는 등, 분명 넓은 도메인에서 초보적 ‘범용지능’의 기미가 감지됨
  • 최상위 수준 LLM 모델이 능력을 보여주는 도메인에서는 제법 인상적인 성과를 내기도 함

단기 및 장기 AI/AGI 예측

  • 필자는 자신의 예측에 대해 확률적 시각을 견지함을 강조하며, 이에 따라 대비책 마련은 여전히 타당함을 언급
  • 아래 항목에 50% 확률로 베팅할 의향이 있음
    • 2028년까지: AI가 소규모 기업의 세금 신고 전 과정을 완결적으로 처리할 수 있는 수준에 도달 가능성 존재
      • 현재 컴퓨터 사용 능력은 GPT-2 수준에 머물러 있으며, 데이터 부족 및 긴 타임호라이즌으로 인한 최적화 난이도가 높음
      • 멋진 데모는 2026~2027년에도 등장하겠지만, 완전히 자율적으로 장기간 복합 과업을 수행하는 수준은 어려움이라고 예상함
    • 2032년까지: AI가 인간과 같이 업무 중 자연스럽고 점진적으로 학습하여 몇 개월간 실무 적응 후 인간만큼 맥락과 선호, 노하우 내재화가 가능한 시점 도래 가능성
      • 온라인 연속학습 구현이 가까운 시점에는 보이지 않더라도, 7년이라는 기간 동안 본질적인 돌파구가 마련될 수도 있음

AI 발전의 제한 요인 및 미래 전망

  • AGI 실현 시점은 확률적으로 매우 넓게 분포(로그정규) 되며, AI 발전은 지난 10년간 연산량(트레이닝 컴퓨트) 증가와 밀접한 연관이 있었음
  • 연산량 증가는 2030년 이후에는 한계점에 도달할 것으로 예상되며, 알고리듬 혁신이 병목 역할을 하게 됨
  • 혁신적인 패러다임 전환이 없다면, 연도별 AGI 등장 확률은 시간이 갈수록 감소할 수 있음
  • 만약 ‘긴 쪽’에 베팅이 맞는다면 2030~2040년까지 일상세계가 크게 변하지 않을 가능성도 있으나, 반대로 현 AI 한계를 극복한다면 매우 급진적인 변화가 일어날 수 있음
▲
GN⁺ 7시간전  [-]
Hacker News 의견
  • “LLM은 시간이 지나면서 인간처럼 점진적으로 더 나아지지 않는 근본적 문제가 있다는 점이 정말 중요한 포인트라는 생각을 함 LLM의 기본 성능은 여러 작업에서 평균 인간보다 높을 수 있는데, 모델에 고차원 피드백을 줄 방법이 전혀 없어 박스에서 꺼낸 상태 이상의 개선이 안된다는 문제점이 있음 신경망에서 흔히 나타나는 한계라고 봄 Waymo의 Driver 같은 시스템은 이 문제를 피함 예를 들어 Waymo는 운행 중 문제가 생기면 다양한 시뮬레이션을 돌려 문제 상황을 여러 형태로 변형해서 Driver에게 다시 학습시키는 절차를 가지고 있음 정확히 방식은 공개하지 않았지만, 이것이 엔드투엔드 신경망과는 다른 구조라고 언급 Waymo 내부 프로젝트로 엔드투엔드 신경망을 시도했으나 지금 시스템보다 좋지 않았기에 지금은 뭔가 다른 것을 사용하는데, 구체적으로 뭔지 아는 사람은 극소수임”
    • “LLM이 인간처럼 점진적으로 발전하지 않더라도 Prolog 같은 도구를 사용해 역량을 확장할 수 있다는 점이 중요함 AI의 다음 단계는 LLM이 더 나은 도구나 전략을 사용할 수 있게 하는 것이라고 생각함 예를 들어 논리 규칙, 휴리스틱 알고리즘, 미세조정된 LLM 에이전트들을 하나의 아키텍처로 통합해서 LLM의 툴로 활용하는 구조가 성숙할 거라 봄 경제적 압박이 특히 군사용 AI 개발을 촉진하고 있다는 점도 주목해야 함 Prolog 시스템을 활용하면 LLM이 데이터베이스에 사실을 추가하고, 새로운 관계를 추론하면서 지속적으로 학습 가능 탐색을 위한 새로운 모델이나 방식을 제안하는 휴리스틱 도입도 가능”
    • “내가 알고 있기로 Waymo는 휴리스틱, 규칙, 신경망 등 다양한 기법을 인간이 조합해서 만든 시스템임 완전한 엔드투엔드 신경망은 아님 AIish라는 표현이 좋은데, 설계상 AGI와는 거리가 있음”
    • “많은 사람이 왜 다음과 같은 질문을 거의 하지 않는지 의아함: 현재 최첨단 AI가 이미 인간을 훨씬 더 뛰어나게 만들어주고 있는 것 아닌가? 자기 개선의 기하급수적 가속은 오히려 무서운 일이라 생각함 만에 하나 모든 일이 제대로 된대도, 인간은 더 이상 지적 경쟁의 1등 자리를 유지하기 어렵고, 그건 받아들이기 힘든 변곡점일 것임 만약 정말 자기 개선을 원한다면, 인간 스스로 쓸모없어지는 것에 익숙해질 필요가 있음”
    • “신경망 한계가 궁금하다면 John Carmack의 최근 강연을 보면 좋음 유튜브 링크 30분 근방에서 이 문제를 직접적으로 다룸”
    • “대부분 AI는 거대한 데이터로 학습하므로, 다음 대규모 데이터셋이 준비되기까지 시간이 오래 걸리는 구조라는 점이 한계임”
  • “AGI(범용 인공지능)가 곧 등장한다는 말을 하는 사람은 대체로 1. 무언가를 팔려는 사람이거나 2. 자신의 이야기에 심취하거나 3. 다른 이유로 들떠 있거나 4. 셋 다일 확률이 높음 LLM은 설계상 언어에 강점이 있고 텍스트 요약은 괜찮지만, 논리에 약하고 공간적 추론에 매우 취약함 그래서 개념 연결도 잘 못함 유명 LLM에 ‘분야 막론 가장 어려운 미해결 과제가 뭐냐’고 물어보면, 과학 잡지형 기사는 나오더라도 미묘하지만 결정적인 오류가 가득하고 답변이 그럴싸해 보여도 실제론 쓰레기임”
    • “LLM은 학습 데이터셋을 압축한 후 텍스트 기반 상호작용 검색 기능을 제공하는 툴에 불과함”
    • “‘불분명하다’는 표현이 핵심이라고 생각함 LLM이 전반적으로 지능적이긴 해서 내 기준에선 AGI 시대에 진입했다고 느끼지만, 아마도 많은 사람들이 AGI를 ‘초인간적 AI’로 보는 듯 그 기준이라면 우린 아직 도달한 게 아니고, 앞으로도 쉽지 않을 듯 나한테는 지금이 이미 AGI 시대임”
    • “LLM은 우리가 만들어낸 텍스트 세계에선 정말 훌륭하게 동작하지만 진실을 추구하는 존재는 아님 생명체는 치명적인 실수에 죽음을 맞이하지만, AI는 틀려도 수천 개의 토큰을 생성할 뿐임”
    • “진실 추구 부족이 LLM 문제라는 지적에 동의하지만 인간에도 그런 모습이 많으니 대단한 비판처럼 들리진 않음 애초의 AGI 정의(인간 중간값 이상의 거의 모든 작업 수행) 기준이라면 지금 꽤 근접했고, 향후 5년 이내에 비신체적 작업에선 전문가 수준의 경쟁이 가능할 듯(신체적 작업은 5–10년 소요 예상) LLM이 언어에 강하다는 건 맞지만, 그게 곧 지능 수준을 반영한다고 봄 공간적 사고에 약하다는 평가도 과장된 부분이 있다고 보고, 이전의 공간 추론 전용 모델보다 훨씬 나아졌음 인간보단 못해도 최신 모델을 로봇에 적용해 실제로 작동한다는 것만으로도 AI 기준에선 급격히 발전 중임”
    • “내가 생각하는 AGI 정의는 AI가 해당 분야 전문 인력 중 최소 5%보다 거의 모든 업무에서 낫다면, AGI에 도달한 것으로 간주 인간 하위 5백분위의 지적 능력도 ‘지능’으로 부를 만하다고 생각하는데, 만약 AI가 이보다 상당수 인류보다 전 영역에서 뛰어나다면 AGI라고 불러야 함 단일 영역이 아닌 모든 지적 과업에서 더 뛰어난 AI여야 함”
  • “나는 AGI가 곧 등장하지 않기만을 희망함 사회·정치적으로 준비가 전혀 안 된 상태이고, 자칫하면 인류 미래가 디스토피아로 빠질 위험이 큼 그런데 지금 AI에 약간의 전력 소모 감소와 사소한 개선만 돼도 이미 다양한 분야에서 쓸모가 매우 높아지고 있는데, 이것만 해도 아직 인간 사회가 다 받아들일 준비가 안 되어있음 문제는, 기초 모델을 만드는 기업들이 지금까지 쏟아부은 돈을 제대로 회수할 명확한 방안이 드물어서, 대대적인 돌파구나 무리해서 다수 분야에 AI를 밀어붙이는 수밖에 없어 보임”
    • “나도 같은 마음이고, 이 거품이 곧 꺼지기를 진심으로 희망함 Meta가 증강현실에 1,000억 달러 투자했다는 소식이 있는데, 저기 보드에 앉은 그 친구가 무모하게 광고비 절감 대신 도전만 반복하는 모습임 Altman 같은 인물도 이제는 후퇴가 불가능한 길을 선택했고, 기회 있을 때 최대한 돈을 챙기려 할 것임 우리 모두에겐 이런 사람들이 예전 닷컴버블처럼 실패하길 바랄 뿐”
    • “AI 투자 규모가 많다보니 감가상각비만 해도 전체 AI 회사의 매출 합계보다 클 정도인데 이런 고정비용을 회수할 방법을 많은 사람들이 간과하고 있음”
    • “만약 AI 한 대로 거의 직원이 없이 업계를 완전히 대체할 수 있다면, 비용 회수는 아주 쉽다고 봄 엄청난 이익이 될 수 있음”
    • “저출생 문제가 정말 심각하다고 생각한다면, AGI가 곧 등장하는 게 오히려 해결책이 될 수 있다고 봄 영원한 인구 성장만을 전제로 경제 문제를 해결하려는 패러다임에 대한 재고가 필요함”
    • “AGI가 인간 지능과 정확히 같아야 하나? 어떤 기능은 뛰어나고 어떤 기능은 부족해도 AGI로 여길 수 있나 고민됨”
  • “AGI가 곧 나오기는커녕, 아예 실현 가능한지도 확신하지 못함 최소한 전통적 컴퓨터 하드웨어로는 어렵다고 생각함 정보를 보기 좋게 되풀이하는 능력만으로는 지능 정의나 측정이 되지 않는다고 봄 만약 인공지능을 진정 구현한다면, 처음 선보일 때 인간 기준에선 매우 낮은 지능일 수 있지만 외부 도움 없이 스스로 학습 가능한 진정한 AI일 수 있음”
    • “인간의 일반지능이 뭔가 초자연적이고 측정 불가능한 요소 때문이라고 믿지 않는 한 AGI 불가능론은 기각된다고 생각함 결국 인간도 기계니까 뇌가 생물학이 아닌 방식으로 복제 가능하다고 봄 어쩌면 최초 AGI는 페트리디쉬에서 자란 뇌에 파이썬 API만 달린 존재일 수도 있고, 혹은 실리콘 기반일지도 모름”
    • “다른 측면도 고민해봐야 함 도구가 내가 가진 지능보다 높아진다면, 어떻게 대처해야 할지 고민임 온라인에선 동료가 질문 받을 때 chatgpt로 답을 받고, 그 질문조차 chatgpt가 만든 경우도 나와서 이제 누가 뭘 했는지 아무도 모르는 상황이 만들어짐”
    • “내가 생각하기엔 지능의 확장 한계는 연산 자원에서 온다고 봄 시스템을 잘 모델링하기 위한 계산량은 복잡하거나 혼돈스러울수록 거의 지수적으로 늘어남 따라서 지능의 효과는 본질적으로 단순하고 질서 있는 시스템에만 나타날 수 있음 가장 실용적이고 견고한 방식이란 변동요인 최대한 제거하는 것임 결국 그게 초지능이든 아니든 지능의 진짜 한계점임”
    • “왜 불가능하다고 생각하는지 궁금함”
    • “AGI에 대한 명확한 정의나 합의가 없는 상태임 앞으로도 AI가 잘하는 분야(텍스트·이미지 생성, 코드 생성 등)에서 점진적 개선만 계속될 것이라 봄 AI가 모두의 문제를 다 해결하고 인류가 해변에서 유토피아식 번영을 누린다는 환상은 전혀 현실 기반이 없음”
  • “Dwarkesh의 관점이 인상적임 항상 그가 어디까지 발전했는지 듣는 게 즐거움 그의 핵심 주장에 따르면, 적응적 학습이 필요하지만 그 조짐이 보이지 않는다고 함 내 추측엔, 프론티어 랩들은 긴 컨텍스트가 문제를 해결할 것으로 기대 긴 컨텍스트 1천만 토큰이면 내부 상태를 잘 유지하며 다양한 작업을 소화할 수 있고, 현재는 긴 컨텍스트 모델일수록 창(window)마다 품질 변동이 크다는 한계가 있음 질문을 바꿔보면, 2년 안에 1천만 토큰 이상의 유용한 컨텍스트 창을 가질 수 있을까? 가능성 높다고 봄”
    • “이 문제를 해결했다고 주장했던 회사가 있었는데, 지금은 조용함만 들림”
    • “‘긴 컨텍스트’라면 얼마나 길어야 하는지 질문이 남음 실제 인간의 경우 수십 년에 걸친 멀티모달 입력을 컨텍스트로 삼음”
    • “Demmis가 AGI는 10년 내 도달한다는 말에 믿음을 가짐 그는 해당 분야를 오랜 기간 개척했고 OpenAI조차 Demmis의 연구 속도에 대해 두려워하며 설립된 면이 있음 Demmis의 예측을 신뢰하는데, 2035년 쯤에는 인간과 거의 모든 작업에서 동등하거나 뛰어난 AGI가 등장할 거라 함”
    • “곧 (<5년) 진정한 테스트 타임 러닝을 도입할 것이라 확신 Alphaproof(Deepmind의 IMO 챌린지)에는 이미 이 기법이 적용됨”
  • “미국 성인 54%가 전국적으로 6학년 이하 독해력을 가진다는 통계가 있음 AGI는 이미 도달한 것 아닐까 생각함 위키백과 링크”
    • “한 나라의 교육 실패와 AGI가 연관이 있나 의문임”
    • “좋은 지적임 그럼 LLM이 빨래하고 설거지하는 것도 지켜보고 싶음 만약 로봇으로 신체를 만들더라도 쉽지 않을 것임”
    • “읽을 수 있다는 게 AGI의 조건 전부인가 생각하게 됨”
    • “경제적 관점에서는 AGI와 일반 노동자, 예를 들어 카피에디팅처럼 특정 업무에 투입되는 인력과의 비교가 더 현실적임 실제 고용될 가능성이 낮은 전국 평균보다는 직무 적합성에 초점을 맞춰야 함”
    • “문맹인 사람들도 LLM이 못하는 엄청난 도전과제를 해결할 수 있음”
  • “AI의 발전 논의에서 미래 AI가 인간과 동일 방식으로 문제를 해결할 것이란 가정이 문제임 이 경우, 연속적 학습 부재가 치명적 결함처럼 보임 실제로는 딥러닝 발전사에서 연속학습이 주도적 역할을 해온 적이 없고, 대규모 데이터셋과 확장이 가장 성공적인 방식이었음 연속학습이 필수라는 주장이 설득력 있으려면, 크로스태스크 학습 방식의 한계와 AI가 절대 달성 못할 영역을 구체적으로 밝혀야 함 저자는 RL flywheel(우수한 프로그래밍 AI가 RL을 반복 적용할 때 가속 효과)에서의 불확실성을 언급하면서 본문 전체가 너무 자신만만하게 들리는 면이 있다고 생각함”
    • “Alphaproof는 매 문제마다 알파제로 방식의 테스트 타임 트레이닝을 활용해 유사 문제를 생성하는 방식을 사용했음”
    • “연속학습이 딥러닝 발전사에 중요하지 않았던 이유는, 딥러닝 종사자들이 목표 자체를 다르게 잡았기 때문일 수 있음 가장 지능적인 AI가 아니라 가장 유용하고 생산적인 AI를 목표로 삼아야 한다면, 지능 자체보다 바보더라도 실패에서 배우는 존재가 종종 아집 강한 천재보다 가치있을 수 있음”
  • “내 관점엔 현재 LLM은 인간이 할 법한 말을 예측하는 구조라서 지능/추론력도 인간 수준에 머무를 거라 봄 지식의 폭은 인간을 넘어설 수 있어도 지능이나 창의력은 인간과 맞먹거나 못할 수 있음 AI 기업들은 차세대 LLM이 새로운 인사이트와 미해결 문제를 해결할 것이라 예측하지만, 진짜 인사이트는 하위 원리로부터 개념을 자유롭게 재생성할 수 있는 내부 구조가 필요하다고 봄 LLM은 새로운 이해 계층을 쌓을 수 없기에 한계가 존재 실제로 인간 뇌처럼 입력으로부터 추상적 이해까지 쌓아올리는 방식이라면 한계를 넘을 수 있을 것으로 봄 언젠가 새로운 AI 패러다임이 등장해서 LLM을 압도할 수도 있는데, 솔직히 예상이 빗나가길, 또는 ASI(초지능 인공지능)는 좀 무서움”
    • “인간 수준 AI 성능이 나온다 해도 머신은 인간과 달리 GPU 성능만 높이면 바로 10배 빠른 인공지능을 얻을 수 있음 속도 자체만으로도 초인간 역량이고, 심지어 한 시스템을 여러 번 돌려 다양한 접근법을 동시에 탐구해서 최적 방안을 고르는 것도 가능함 검증 가능한 작업에서는 엄청난 우위”
    • “현 LLM은 단순 인간 문장 예측기가 아닌, 수학·프로그래밍 문제에 정답과 연관된 토큰을 예측하는 쪽으로 진화 중임”
  • “대부분 논의가 AI에 비관적인데, 정작 저자는 2030년대 초까지 AGI 달성 확률이 50%라 언급했고, 2028년까지 ASI가 잘못된 방향으로 발전할 가능성도 대비해야 한다 언급 즉 저자가 AI에 대해 오히려 낙관적임”
    • “3년 안에 ASI가 잘못 작동한다면, 어떤 대비책도 무의미해질 거라 생각함”
  • “최근 누구도 모델 규모를 공개하지 않는 현상에서 이미 모델 훈련이 한계(벽)에 부딪쳤다는 신호를 읽을 수 있다고 생각함”
답변달기