만약 '쓴 교훈(bitter lesson)'을 믿는다면, 모든 대충 넘어가는 엔지니어링은 결국 더 많은 데이터로 해결됨을 알 수 있음. 아마 8년 전에도 지금처럼 LLM이 이 정도 성능이 나오려면 뭘 해야 하는지 비슷한 이야기가 나왔을 것임. 그래서 나는 엔지니어링적 접근에 크게 동의하지 않음, 그리고 LLM이 아시모프나 SF에서 상상하는 AGI로까지 스케일업될 거라 생각하지 않음. 뭔가 더 근본적인, 과학이 아니라 공학이 결여되어 있음
과학보다도 더 본질적으로 결여된 게 있는데, 바로 철학적인 부분임. 우리 인간이 이런 시스템을 인식하는 방식에서도, 그리고 시스템 자체의 내부에도 철학이 빠져 있음. LLM 기반 AGI라면 최소한 자기 가중치를 업데이트하며 스스로 학습하고, 셀프 파인튜닝이 가능해야 하지만, 현재로선 내장된 가중치와 한정된 컨텍스트 윈도우 사이에서 금세 벽에 부딪힘. 셀프 파인튜닝 시에 어떤 '주의 획득 메커니즘(attention mechanism)'을 어떻게, 얼마나 강도로 적용해야 일반 지능이 향상될지는 여전히 난제임. 믿을 만한 학문들에 집중해야겠지만 어떤 학문이 믿을 만한지, 어떻게 순수 지식만을 '공부'하게 할 것인지, 또 이론적으로 스스로 세계 최고의 인간 연구팀을 능가하게 되면 그 AI가 '어떤 존재'가 되는지까지 고민해볼 필요가 있음
"손쉬운 엔지니어링보다 데이터 양이 많을수록 좋다"는 주장에 대해, 그게 단순한 데이터베이스보다 정말 더 신뢰성 있게 될 수 있을까 하는 의문이 있음. 언젠가 CPU보다 더 빠르게 코드를 실행할 수 있을까? 인간이 해내는 많은 일은 더 큰 두뇌가 아니라 기술 덕분에 가능해짐. 수학 공식 하나조차도 머릿속에서만 돌릴 때보다 종이에 써서 계산할 때 훨씬 나음(확장된 마음 논문 Extended mind thesis 참고). 3D 엔진을 돌린다는 건 인간 뇌만으로는 거의 불가능함. 언젠가는 AI가 자기 도구를 직접 개발할 정도로 똑똑해질 수 있겠지만, 그 전에 도구를 작성·유지할 수 있는 인프라가 필요함. 지금은 Python 접근 정도가 시작이지만, AI가 성과를 다음번에도 축적·활용할 수 있는 '지속성', 즉 디지털 메모장이나 동적 가중치 업데이트 같은 것이 더 필요함
당신의 의견과 글 모두 공감함. LLM은 해답의 일부이고, 진짜 발전은 뉴럴넷 연구의 근본으로 돌아가는 데 있을 것이라 생각함. 언어는 인간과의 소통 그 자체임에도, 지금의 LLM은 결국 사람들의 작품을 데이터로 삼아 훈련된 거창한 Eliza처럼 보임. 예전에는 간단한 뉴럴넷으로도 환경 규칙에 따라 행동이 진화하도록 만들고, 유전적 알고리즘 기준에 맞게 스스로 행동을 학습했음. 지금 LLM은 너무나 '필터링'된 환경만 학습해서, 그 필터가 마치 네티즌 평균 IQ같이 작동하는 느낌임
이게 사실 '쓴 교훈'이 말하는 바는 아님
부족한 건 자기 교정(세계 모델/행동과 반응 관찰), 장기 일관성, 그리고 자기 확장임. 벤처캐피탈계는 3번째 문제에 가장 신경을 많이 쓰는 반면, Yann LeCun은 첫번째와 두번째를 더 걱정하고 있음. Hinton은 3번째 문제는 이미 필연적이거나 도래했고, 인류는 끝장났다고 생각함. 꽤 이상한 판임
LLM이 이런 식으로 설계된 데엔 이유가 있음, 사고(thinking) 기능이 나중에 붙는 것도 마찬가지임. 구조적으로 가능해야 하는 건 경사하강법을 쓸 수 있게 해야 한다는 점임, 그래서 분기(branch)가 없고, 라우팅은 추가적으로 붙음. 그리고 훈련 데이터가 있어야 함. 누군가가 글을 쓰기 전에 어떤 생각을 했는지 모두 기록한 수백만 페이지의 데이터는 현실적으로 존재하지 않음. 대부분의 생각은 언어가 아니기 때문임. 강화학습이 여기서 해결책처럼 보이나, 경사하강법과는 표본 활용 효율이 너무 낮아 파인튜닝 할 때만 쓰는 게 일반적임. LLM은 회귀(regressive) 모델이고, 모든 토큰이 단지 과거를 돌아볼 수 있게 하는 모델 세팅으로 아주 샘플 효율적으로 훈련 가능함(문장 하나가 수십 개의 샘플이 됨)
언급하지 않았지만, LLM엔 '루프'가 전혀 없음. 반면 뇌는 단순한 뇌조차 수많은 루프 그 자체임. 뇌는 멈추지 않고 계속 입력을 받고, 하고 싶은 때 아무 때나 출력을 내보냄. LLM은 입력을 받아서 레이어를 따라 변환하고 곧바로 출력함. 강화학습이 답이 아니라 했는데, 나는 오히려 그게 유일한 답이라고 생각함
이 이야기 참 흥미롭게 느껴짐. 즉, 비언어적 사고 레이어를 훈련 데이터로 쓰기 위해 뇌파를 읽는 뇌 스캐닝 기술 같은 걸 도입할 수 있음을 시사함. 대기업의 똑똑한 사람들이 이미 이런 인터페이스/제품을 염두에 두고, 전자기 뇌파 탐지 기술을 개발하고 있을 거라 추측함. 이 데이터로 스타트업의 슈퍼 AI 부트스트랩이 가능한 Kickstarter형 킬러 제품이 나올 수도 있을 것 같음. 첨단 시대임
아주 먼 미래에 첨단 뇌 스캔 데이터를 AI 훈련 데이터로 쓰는 것이 현실적으로 가능해질 수도 있다는 상상을 해봄. 아마 Uploaded Intelligence(두뇌 전체를 디지털화하는 아이디어)와 AGI 사이의 잠정적 중간단계로 현실적일지도 모름
LLM은 그냥 회귀 모델일 뿐임. 15세기에 LLM이 있었다면 지구중심설만 캡짱이라고 설명해줬을 것임. 태양중심설 같은 혁신은 못함. 마찬가지로, 오늘날 LLM도 그저 우리가 아는 것만 알려주고, 생각하거나 혁신하거나 하지 않음. 추론 능력도 어느 정도 '필터링'일 뿐 실제 창의적 사고는 아님. 써 보면 쓸수록 LLM은 마치 '스테로이드 맞은 구글' 같음. 이 시스템으론 AGI까지는 절대 도달 못하고, 오히려 남아있는 AGI 열기와 자금만 먹어 치우는 느낌임
이 글의 프레이밍(문제 설정)은 꽤 쓸모가 있음, 꼭 모든 처방을 믿지 않더라도 말임. 역사를 보면 두 가지가 동시에 일어났음을 알 수 있음. 첫째, 브루트포스 스케일링이 놀라운 도약을 만들고, 둘째, 시스템 레벨의 엔지니어링이 그런 가능성을 신뢰성 있게 실제로 쓸 수 있게 해줌. GPU도 좋은 예인데, 무어의 법칙이 FLOP(연산량)를 줬고, CUDA와 메모리 계층 구조, 드라이버 스택 덕분에 대규모 사용이 가능해졌음. 지금의 LLM은 마치 연산량(flop) 자체만 빠른 시점과 같아서, 인상적이긴 해도 아직 잘 다루기 힘듦. Claude Code, 도구가 보강된 에이전트, 메모리 증강 프레임워크 같은 제품에서 '시스템적 사고'의 시작 흔적이 보임. 아직은 조악하지만, 미래에는 파라미터 수만큼이나 시스템 오케스트레이션 자체가 중요해질 거라 생각함. '쓴 교훈'과 '엔지니어링 문제' 주장은 상호배타적이 아니라, 오히려 둘 다 필요함. 쓴 교훈은 계산력+범용 방식이 ‘손수 만든 규칙’을 이긴다는 의미이고, 엔지니어링은 그걸 신뢰성과 지속성, 조합성을 높이는 구조로 감싸는 모르타르 개념임. 만약 그런 시스템이 없다면, 화려한 데모만 나오고 실제로는 몇 번 추론만 해도 깨질 것임. 그래서 진짜 진전은 '크기 VS 스마트'가 아니라 '크고 + 스마트하게 엔지니어링'해야 한다고 봄. 스케일업이 능력을 주고, 엔지니어링이 그 능력을 일반 지능처럼 활용할 수 있게 결정해줌
이 논의는 일본의 제5세대 컴퓨터 프로젝트를 현대식으로 재탕하는 느낌임. 큰 데이터베이스 만들고 Prolog 쓰면 AI 르네상스가 온다고 믿던 시절처럼 들림. 그냥 '분산 아키텍처' 어쩌고 하며 모듈만 잇는다고 해도 AGI와는 거리가 멀음. 근본이 되는 빌딩블럭, 즉 토대가 훨씬 좋아져야 함. LLM이 그나마 기여한 건 유저 '의도 파악'이 예전보다 엄청 좋아졌다는 점임. 컴퓨터가 텍스트만 읽어도 의도를 훨씬 잘 뽑아내게 되었음. 근데 그거 말고는 추론, 검색, '메모리' 같은 요소들은 여전히 같은 옛날 방식임. 이건 현재 하드웨어나 시스템 한계가 아니라, 정보이론/컴퓨터과학의 한계 때문임
Transformer의 Attention 메커니즘은 꽤 훌륭함. 모델 엔지니어링에서 또 한 번 이런 대혁신의 사이클이 필요함. 데이터만 많다고 답이 아님. 인간 두뇌만 봐도, 굳이 인터넷 전체 데이터를 안 써도 충분히 똑똑해지며, 에너지 소모도 적음
맞음. 현재 아키텍처에서도 더 좋은 엔지니어링만으로도 활용도는 높일 수 있음(‘에이전트’들이 그 예임). 하지만 오직 엔지니어링만으로 AGI가 가능하다고 주장하는 건 과한 희망임. 진짜 어려운 건 자체적 학습과 발견, 고가의 대규모 사전 훈련 없이도 새로운 것을 배우고, 환각(hallucination) 문제 없이 문제를 해결할 수 있는 시스템을 만드는 것임. 이건 완전히 새로운 컴퓨터 과학적 혁신이 필요하고, 지금 접근법으론 힘드리라고 봄
AGI, 즉 인공지능에서 'G'는 General임. 즉, 모든 지식을 훈련받아야 하는 바보 AI가 아닌, 일반 지능은 단순히 셈하는 법, 논리 기초, 그리고 한 인간 언어만 가르치면 나머지 논리적 인간 과학은 그 AGI가 스스로 '재발견'하게 됨. 우리의 다음 과제는, 그렇게 AGI가 자기 스스로 발견한 현상들에 붙인 이름을 우리가 쓰는 이름과 동기화하는 것임. 가벼운 초등교육만으로도 원리만 깨닫고 스스로 개선, 발전해 우리를 뛰어넘으면 그게 바로 '인공 이해(artificial comprehension)'임. 현 AI는 충분한 데이터만 주면 '범용 문제 해결사'는 가능하지만, AGI는 '이해'와 '파악' 능력 자체가 필요한 영역임. 관찰을 즉각적으로 분해해, 타당성이나 조합의 가능성을 파악하고, 깨어있는 동안엔 자기 안전까지 실시간으로 점검하는 '동적 이해' 능력이 있어야 진정한 General intelligence라고 할 수 있음
AGI가 일반 지능이라는 정의처럼 정말 조금만 가르치면 나머지는 스스로 파생해서 배우는 시스템이어야 한다고 했지만, 자연계의 '일반 지능'은 그렇지 않음
10년 전에 상상했던 초기 AGI의 모습이 바로 Claude Code 같은 거라고 느끼는 나만 이상한가? 임의의 목표에 대해, 주로 텍스트 영역에서는 계획도 세우고 액션도 취할 수 있음. 텍스트 파일에 메모리도 유지함. 아직 장기 목적이나, 육체적 구현이나, 사리 이해력은 부족하지만, v1 버전은 이런 모습을 보일 거라 기대했음
사실 나는 AGI란 말 듣고 바로 Star Trek의 'Data'나, 최소한 터미네이터의 T800이 떠오름. AGI가 꼭 자의식을 가져야 한다고 생각하진 않지만, 내 머릿속 AGI는 '자의식'을 포함하는 게 판타지임. Claude Code는 대단해도 AGI랑 혼동할 수준은 아님
완전 공감함. 특히 내가 자주 급하게 써 준 명령어들도 꽤 미묘한 의미까지 잘 파악해서 고쳐줌. LLM 활용도, 정말 작은 기능 추가만 해도 천지차이임 (예: Claude Code의 plan mode 등), 단순 성능 업데이트보다 훨씬 더 효용이 큼
Claude Code는 자의식도 자각(sapient)도 없음. 대부분의 사람들이 AGI라 하면 최소한의 자의식 정도는 상상함. Star Trek를 빗대자면, 엔터프라이즈의 주 컴퓨터는 AGI가 아니고, Data가 진짜 AGI임. 가장 큰 차이는 '명확한 정체성'과 '자기 개념'이 부재함임. Claude Code는 프롬프트에서 역할은 수행하지만 영속성이 부족함
혼자만 그런 게 아님. AGI 논의는 늘 헷갈리는 부분임. Claude는 분명히 인공 일반 지능임에도, AGI에 대한 의미가 계속 바뀌고 정의도 명확하지 않음
"기본적(basic) AGI"라는 말로 실제 AGI가 빠진 이유들 다 얼렁뚱땅 넘어가려고 하는 것임
우리는 AGI가 생물학을 벗어나 정말 가능할지조차 전혀 알지 못함. 이게 핵심임. 영화 Chappie 식 AGI가 진짜 가능성 있는지에 대한 힌트조차 없다면, 완전 깜깜이 탐색이나 마찬가지임. 비교하자면 양자컴퓨팅은 '가능'하다고랑 '실현가능'하다는 건 이미 밝혀졌고, 현재는 엔지니어링만 남았음(그래도 어떤 사람은 그마저도 허상이라 생각하지만)
AGI가 전자 컴퓨터에서 원천적으로 불가능하다고 판명되면 뇌가 일반 지능을 구현할 때 무슨 일을 하는지 물리학적으로 굉장한 대발견이 필요한 셈임
오히려 인간이라는 작동하는 '일반 지능' 예시는 이미 한 개 있고, 양자컴퓨팅은 아예 구현된 게 없는 상황임
말이 안 됨. 만약 영혼 같은 걸 믿으면 AGI가 안 될 수도 있겠지만, 순수 생물학적 존재라면 원리적으로 당연히 복제가 가능함
그게 핵심이라는 주장엔 동의 못함. 결국 실제로 해봐야 답이 나오는 문제임. 애초에 사전확정적으로 어떤 결론이 가능한지 증명할 수 있어야 할 필요는 없음. '핵심'이나 '명확한 힌트'에서 슬쩍 빠져나온 느낌임. 우리가 '생물학적 필요조건' 없이 가능한 명확한 근거는 충분히 있음. AGI의 실현 가능성, 필요성, 당위성은 별개 문제지만, 원글도 도전 과제는 충분히 나열하고 있음
양자컴퓨터의 실용적 실현 가능성 역시 아직은 열린 연구 과제임
우리가 '지능'이라 부르는 건 LLM처럼 동작하지 않음. 뇌는 연속적임—입력 한 세트가 끝나서 멈추는 게 아니라 입력이 올 때까지, 아니 계속 피드백을 돌림. 본질적으로 훈련 모드를 끝내지 않음. 물론 생애주기별로 뇌는 최적화(예: 미엘린화) 되지만, LLM은 훨씬 방대한 정보로 학습 후, 파인튜닝 정도 빼고는 모델이 고정된 상태로 남음. 뇌는 컨텍스트를 지속적으로 관리함. 대부분의 입력은 특별한 네트워크들이 사전 처리에서 아주 많이 필터링함. AGI 일부분이 시스템적 어프로치를 필요로 한다는 건 인정하지만, 진정한 AGI에는 아키텍처적 변화가 필요할 것이라 생각함
LLM이 이제 발전의 끝, 이게 한계라고 쓰는 사람들이 왜 그렇게 확신하는지 이해가 안 감. 아직 한 해도 제대로 안 지났고, 여전히 LLM 기반 AI는 계속 발전 중임
발전의 여지가 남아있다고 해도, 결국 그 범위가 한정돼 있다는 게 그대로임. 개별 태스크에선 꾸준히 좋아지지만, '전반적'인 개선은 이제 잘 안 보임
이런 주장하는 분들도 실제로 LLM이 좋아지고 있는 데엔 동의하는지 궁금함
이 글은 "어려운 문제 다 풀면 다 된다"는 식으로만 보임. 이게 뭐... 네, 맞아요, 그런데요?
최근 LLM 발전이 너무 보수적이고, 아키텍처 혁신 없이 규모만 키우는 추세라 이런 논의가 유의미함
글에서 어려운 문제 자체를 아예 논하지 않음. 하이테크 업계 사람들은 공학만 있으면 어떤 문제든 다 풀 수 있다는 사고방식이 좀 있음
Hacker News 의견
만약 '쓴 교훈(bitter lesson)'을 믿는다면, 모든 대충 넘어가는 엔지니어링은 결국 더 많은 데이터로 해결됨을 알 수 있음. 아마 8년 전에도 지금처럼 LLM이 이 정도 성능이 나오려면 뭘 해야 하는지 비슷한 이야기가 나왔을 것임. 그래서 나는 엔지니어링적 접근에 크게 동의하지 않음, 그리고 LLM이 아시모프나 SF에서 상상하는 AGI로까지 스케일업될 거라 생각하지 않음. 뭔가 더 근본적인, 과학이 아니라 공학이 결여되어 있음
과학보다도 더 본질적으로 결여된 게 있는데, 바로 철학적인 부분임. 우리 인간이 이런 시스템을 인식하는 방식에서도, 그리고 시스템 자체의 내부에도 철학이 빠져 있음. LLM 기반 AGI라면 최소한 자기 가중치를 업데이트하며 스스로 학습하고, 셀프 파인튜닝이 가능해야 하지만, 현재로선 내장된 가중치와 한정된 컨텍스트 윈도우 사이에서 금세 벽에 부딪힘. 셀프 파인튜닝 시에 어떤 '주의 획득 메커니즘(attention mechanism)'을 어떻게, 얼마나 강도로 적용해야 일반 지능이 향상될지는 여전히 난제임. 믿을 만한 학문들에 집중해야겠지만 어떤 학문이 믿을 만한지, 어떻게 순수 지식만을 '공부'하게 할 것인지, 또 이론적으로 스스로 세계 최고의 인간 연구팀을 능가하게 되면 그 AI가 '어떤 존재'가 되는지까지 고민해볼 필요가 있음
"손쉬운 엔지니어링보다 데이터 양이 많을수록 좋다"는 주장에 대해, 그게 단순한 데이터베이스보다 정말 더 신뢰성 있게 될 수 있을까 하는 의문이 있음. 언젠가 CPU보다 더 빠르게 코드를 실행할 수 있을까? 인간이 해내는 많은 일은 더 큰 두뇌가 아니라 기술 덕분에 가능해짐. 수학 공식 하나조차도 머릿속에서만 돌릴 때보다 종이에 써서 계산할 때 훨씬 나음(확장된 마음 논문 Extended mind thesis 참고). 3D 엔진을 돌린다는 건 인간 뇌만으로는 거의 불가능함. 언젠가는 AI가 자기 도구를 직접 개발할 정도로 똑똑해질 수 있겠지만, 그 전에 도구를 작성·유지할 수 있는 인프라가 필요함. 지금은 Python 접근 정도가 시작이지만, AI가 성과를 다음번에도 축적·활용할 수 있는 '지속성', 즉 디지털 메모장이나 동적 가중치 업데이트 같은 것이 더 필요함
당신의 의견과 글 모두 공감함. LLM은 해답의 일부이고, 진짜 발전은 뉴럴넷 연구의 근본으로 돌아가는 데 있을 것이라 생각함. 언어는 인간과의 소통 그 자체임에도, 지금의 LLM은 결국 사람들의 작품을 데이터로 삼아 훈련된 거창한 Eliza처럼 보임. 예전에는 간단한 뉴럴넷으로도 환경 규칙에 따라 행동이 진화하도록 만들고, 유전적 알고리즘 기준에 맞게 스스로 행동을 학습했음. 지금 LLM은 너무나 '필터링'된 환경만 학습해서, 그 필터가 마치 네티즌 평균 IQ같이 작동하는 느낌임
이게 사실 '쓴 교훈'이 말하는 바는 아님
부족한 건 자기 교정(세계 모델/행동과 반응 관찰), 장기 일관성, 그리고 자기 확장임. 벤처캐피탈계는 3번째 문제에 가장 신경을 많이 쓰는 반면, Yann LeCun은 첫번째와 두번째를 더 걱정하고 있음. Hinton은 3번째 문제는 이미 필연적이거나 도래했고, 인류는 끝장났다고 생각함. 꽤 이상한 판임
LLM이 이런 식으로 설계된 데엔 이유가 있음, 사고(thinking) 기능이 나중에 붙는 것도 마찬가지임. 구조적으로 가능해야 하는 건 경사하강법을 쓸 수 있게 해야 한다는 점임, 그래서 분기(branch)가 없고, 라우팅은 추가적으로 붙음. 그리고 훈련 데이터가 있어야 함. 누군가가 글을 쓰기 전에 어떤 생각을 했는지 모두 기록한 수백만 페이지의 데이터는 현실적으로 존재하지 않음. 대부분의 생각은 언어가 아니기 때문임. 강화학습이 여기서 해결책처럼 보이나, 경사하강법과는 표본 활용 효율이 너무 낮아 파인튜닝 할 때만 쓰는 게 일반적임. LLM은 회귀(regressive) 모델이고, 모든 토큰이 단지 과거를 돌아볼 수 있게 하는 모델 세팅으로 아주 샘플 효율적으로 훈련 가능함(문장 하나가 수십 개의 샘플이 됨)
언급하지 않았지만, LLM엔 '루프'가 전혀 없음. 반면 뇌는 단순한 뇌조차 수많은 루프 그 자체임. 뇌는 멈추지 않고 계속 입력을 받고, 하고 싶은 때 아무 때나 출력을 내보냄. LLM은 입력을 받아서 레이어를 따라 변환하고 곧바로 출력함. 강화학습이 답이 아니라 했는데, 나는 오히려 그게 유일한 답이라고 생각함
이 이야기 참 흥미롭게 느껴짐. 즉, 비언어적 사고 레이어를 훈련 데이터로 쓰기 위해 뇌파를 읽는 뇌 스캐닝 기술 같은 걸 도입할 수 있음을 시사함. 대기업의 똑똑한 사람들이 이미 이런 인터페이스/제품을 염두에 두고, 전자기 뇌파 탐지 기술을 개발하고 있을 거라 추측함. 이 데이터로 스타트업의 슈퍼 AI 부트스트랩이 가능한 Kickstarter형 킬러 제품이 나올 수도 있을 것 같음. 첨단 시대임
아주 먼 미래에 첨단 뇌 스캔 데이터를 AI 훈련 데이터로 쓰는 것이 현실적으로 가능해질 수도 있다는 상상을 해봄. 아마 Uploaded Intelligence(두뇌 전체를 디지털화하는 아이디어)와 AGI 사이의 잠정적 중간단계로 현실적일지도 모름
LLM은 그냥 회귀 모델일 뿐임. 15세기에 LLM이 있었다면 지구중심설만 캡짱이라고 설명해줬을 것임. 태양중심설 같은 혁신은 못함. 마찬가지로, 오늘날 LLM도 그저 우리가 아는 것만 알려주고, 생각하거나 혁신하거나 하지 않음. 추론 능력도 어느 정도 '필터링'일 뿐 실제 창의적 사고는 아님. 써 보면 쓸수록 LLM은 마치 '스테로이드 맞은 구글' 같음. 이 시스템으론 AGI까지는 절대 도달 못하고, 오히려 남아있는 AGI 열기와 자금만 먹어 치우는 느낌임
이 글의 프레이밍(문제 설정)은 꽤 쓸모가 있음, 꼭 모든 처방을 믿지 않더라도 말임. 역사를 보면 두 가지가 동시에 일어났음을 알 수 있음. 첫째, 브루트포스 스케일링이 놀라운 도약을 만들고, 둘째, 시스템 레벨의 엔지니어링이 그런 가능성을 신뢰성 있게 실제로 쓸 수 있게 해줌. GPU도 좋은 예인데, 무어의 법칙이 FLOP(연산량)를 줬고, CUDA와 메모리 계층 구조, 드라이버 스택 덕분에 대규모 사용이 가능해졌음. 지금의 LLM은 마치 연산량(flop) 자체만 빠른 시점과 같아서, 인상적이긴 해도 아직 잘 다루기 힘듦. Claude Code, 도구가 보강된 에이전트, 메모리 증강 프레임워크 같은 제품에서 '시스템적 사고'의 시작 흔적이 보임. 아직은 조악하지만, 미래에는 파라미터 수만큼이나 시스템 오케스트레이션 자체가 중요해질 거라 생각함. '쓴 교훈'과 '엔지니어링 문제' 주장은 상호배타적이 아니라, 오히려 둘 다 필요함. 쓴 교훈은 계산력+범용 방식이 ‘손수 만든 규칙’을 이긴다는 의미이고, 엔지니어링은 그걸 신뢰성과 지속성, 조합성을 높이는 구조로 감싸는 모르타르 개념임. 만약 그런 시스템이 없다면, 화려한 데모만 나오고 실제로는 몇 번 추론만 해도 깨질 것임. 그래서 진짜 진전은 '크기 VS 스마트'가 아니라 '크고 + 스마트하게 엔지니어링'해야 한다고 봄. 스케일업이 능력을 주고, 엔지니어링이 그 능력을 일반 지능처럼 활용할 수 있게 결정해줌
이 논의는 일본의 제5세대 컴퓨터 프로젝트를 현대식으로 재탕하는 느낌임. 큰 데이터베이스 만들고 Prolog 쓰면 AI 르네상스가 온다고 믿던 시절처럼 들림. 그냥 '분산 아키텍처' 어쩌고 하며 모듈만 잇는다고 해도 AGI와는 거리가 멀음. 근본이 되는 빌딩블럭, 즉 토대가 훨씬 좋아져야 함. LLM이 그나마 기여한 건 유저 '의도 파악'이 예전보다 엄청 좋아졌다는 점임. 컴퓨터가 텍스트만 읽어도 의도를 훨씬 잘 뽑아내게 되었음. 근데 그거 말고는 추론, 검색, '메모리' 같은 요소들은 여전히 같은 옛날 방식임. 이건 현재 하드웨어나 시스템 한계가 아니라, 정보이론/컴퓨터과학의 한계 때문임
Transformer의 Attention 메커니즘은 꽤 훌륭함. 모델 엔지니어링에서 또 한 번 이런 대혁신의 사이클이 필요함. 데이터만 많다고 답이 아님. 인간 두뇌만 봐도, 굳이 인터넷 전체 데이터를 안 써도 충분히 똑똑해지며, 에너지 소모도 적음
맞음. 현재 아키텍처에서도 더 좋은 엔지니어링만으로도 활용도는 높일 수 있음(‘에이전트’들이 그 예임). 하지만 오직 엔지니어링만으로 AGI가 가능하다고 주장하는 건 과한 희망임. 진짜 어려운 건 자체적 학습과 발견, 고가의 대규모 사전 훈련 없이도 새로운 것을 배우고, 환각(hallucination) 문제 없이 문제를 해결할 수 있는 시스템을 만드는 것임. 이건 완전히 새로운 컴퓨터 과학적 혁신이 필요하고, 지금 접근법으론 힘드리라고 봄
AGI, 즉 인공지능에서 'G'는 General임. 즉, 모든 지식을 훈련받아야 하는 바보 AI가 아닌, 일반 지능은 단순히 셈하는 법, 논리 기초, 그리고 한 인간 언어만 가르치면 나머지 논리적 인간 과학은 그 AGI가 스스로 '재발견'하게 됨. 우리의 다음 과제는, 그렇게 AGI가 자기 스스로 발견한 현상들에 붙인 이름을 우리가 쓰는 이름과 동기화하는 것임. 가벼운 초등교육만으로도 원리만 깨닫고 스스로 개선, 발전해 우리를 뛰어넘으면 그게 바로 '인공 이해(artificial comprehension)'임. 현 AI는 충분한 데이터만 주면 '범용 문제 해결사'는 가능하지만, AGI는 '이해'와 '파악' 능력 자체가 필요한 영역임. 관찰을 즉각적으로 분해해, 타당성이나 조합의 가능성을 파악하고, 깨어있는 동안엔 자기 안전까지 실시간으로 점검하는 '동적 이해' 능력이 있어야 진정한 General intelligence라고 할 수 있음
10년 전에 상상했던 초기 AGI의 모습이 바로 Claude Code 같은 거라고 느끼는 나만 이상한가? 임의의 목표에 대해, 주로 텍스트 영역에서는 계획도 세우고 액션도 취할 수 있음. 텍스트 파일에 메모리도 유지함. 아직 장기 목적이나, 육체적 구현이나, 사리 이해력은 부족하지만, v1 버전은 이런 모습을 보일 거라 기대했음
사실 나는 AGI란 말 듣고 바로 Star Trek의 'Data'나, 최소한 터미네이터의 T800이 떠오름. AGI가 꼭 자의식을 가져야 한다고 생각하진 않지만, 내 머릿속 AGI는 '자의식'을 포함하는 게 판타지임. Claude Code는 대단해도 AGI랑 혼동할 수준은 아님
완전 공감함. 특히 내가 자주 급하게 써 준 명령어들도 꽤 미묘한 의미까지 잘 파악해서 고쳐줌. LLM 활용도, 정말 작은 기능 추가만 해도 천지차이임 (예: Claude Code의 plan mode 등), 단순 성능 업데이트보다 훨씬 더 효용이 큼
Claude Code는 자의식도 자각(sapient)도 없음. 대부분의 사람들이 AGI라 하면 최소한의 자의식 정도는 상상함. Star Trek를 빗대자면, 엔터프라이즈의 주 컴퓨터는 AGI가 아니고, Data가 진짜 AGI임. 가장 큰 차이는 '명확한 정체성'과 '자기 개념'이 부재함임. Claude Code는 프롬프트에서 역할은 수행하지만 영속성이 부족함
혼자만 그런 게 아님. AGI 논의는 늘 헷갈리는 부분임. Claude는 분명히 인공 일반 지능임에도, AGI에 대한 의미가 계속 바뀌고 정의도 명확하지 않음
"기본적(basic) AGI"라는 말로 실제 AGI가 빠진 이유들 다 얼렁뚱땅 넘어가려고 하는 것임
우리는 AGI가 생물학을 벗어나 정말 가능할지조차 전혀 알지 못함. 이게 핵심임. 영화 Chappie 식 AGI가 진짜 가능성 있는지에 대한 힌트조차 없다면, 완전 깜깜이 탐색이나 마찬가지임. 비교하자면 양자컴퓨팅은 '가능'하다고랑 '실현가능'하다는 건 이미 밝혀졌고, 현재는 엔지니어링만 남았음(그래도 어떤 사람은 그마저도 허상이라 생각하지만)
AGI가 전자 컴퓨터에서 원천적으로 불가능하다고 판명되면 뇌가 일반 지능을 구현할 때 무슨 일을 하는지 물리학적으로 굉장한 대발견이 필요한 셈임
오히려 인간이라는 작동하는 '일반 지능' 예시는 이미 한 개 있고, 양자컴퓨팅은 아예 구현된 게 없는 상황임
말이 안 됨. 만약 영혼 같은 걸 믿으면 AGI가 안 될 수도 있겠지만, 순수 생물학적 존재라면 원리적으로 당연히 복제가 가능함
그게 핵심이라는 주장엔 동의 못함. 결국 실제로 해봐야 답이 나오는 문제임. 애초에 사전확정적으로 어떤 결론이 가능한지 증명할 수 있어야 할 필요는 없음. '핵심'이나 '명확한 힌트'에서 슬쩍 빠져나온 느낌임. 우리가 '생물학적 필요조건' 없이 가능한 명확한 근거는 충분히 있음. AGI의 실현 가능성, 필요성, 당위성은 별개 문제지만, 원글도 도전 과제는 충분히 나열하고 있음
양자컴퓨터의 실용적 실현 가능성 역시 아직은 열린 연구 과제임
우리가 '지능'이라 부르는 건 LLM처럼 동작하지 않음. 뇌는 연속적임—입력 한 세트가 끝나서 멈추는 게 아니라 입력이 올 때까지, 아니 계속 피드백을 돌림. 본질적으로 훈련 모드를 끝내지 않음. 물론 생애주기별로 뇌는 최적화(예: 미엘린화) 되지만, LLM은 훨씬 방대한 정보로 학습 후, 파인튜닝 정도 빼고는 모델이 고정된 상태로 남음. 뇌는 컨텍스트를 지속적으로 관리함. 대부분의 입력은 특별한 네트워크들이 사전 처리에서 아주 많이 필터링함. AGI 일부분이 시스템적 어프로치를 필요로 한다는 건 인정하지만, 진정한 AGI에는 아키텍처적 변화가 필요할 것이라 생각함
LLM이 이제 발전의 끝, 이게 한계라고 쓰는 사람들이 왜 그렇게 확신하는지 이해가 안 감. 아직 한 해도 제대로 안 지났고, 여전히 LLM 기반 AI는 계속 발전 중임
발전의 여지가 남아있다고 해도, 결국 그 범위가 한정돼 있다는 게 그대로임. 개별 태스크에선 꾸준히 좋아지지만, '전반적'인 개선은 이제 잘 안 보임
이런 주장하는 분들도 실제로 LLM이 좋아지고 있는 데엔 동의하는지 궁금함
이 글은 "어려운 문제 다 풀면 다 된다"는 식으로만 보임. 이게 뭐... 네, 맞아요, 그런데요?
최근 LLM 발전이 너무 보수적이고, 아키텍처 혁신 없이 규모만 키우는 추세라 이런 논의가 유의미함
글에서 어려운 문제 자체를 아예 논하지 않음. 하이테크 업계 사람들은 공학만 있으면 어떤 문제든 다 풀 수 있다는 사고방식이 좀 있음
원글은 어떤 문제가 있고, LLM이 그걸 어떻게 해결 못하는지 분명히 짚어내고 있음