세계 모델에는 훨씬 더 많은 자유도가 존재함
LLM은 본질적으로 정적인 텍스트, 즉 인간이 세상을 설명한 언어 데이터만을 학습하기 때문에 실제 세계로부터 배우지 못함
그래서 기존 아이디어를 재조합할 수는 있어도 진정한 창의적 발견이나 발명은 거의 불가능함
물리적 세계를 기반으로 한 시공간적 이해를 학습하는 스타트업이 등장한다면, AGI로 가는 진짜 병목을 해결하려는 시도가 될 것임
설령 부분적으로만 성공하더라도 현재 LLM이 구조적으로 도달할 수 없는 일반화와 창의성을 열 수 있을 것이라 생각함
나는 이 관점이 이해되지 않음
AGI의 병목은 지속적 학습과 역전파(backpropagation)에 있다고 봄
인간의 뇌는 역전파 방식으로 학습하지 않으며, 세계 모델도 결국 우리가 익숙한 딥러닝 구조와 다르지 않음
만약 ‘세상으로부터 배우는 것’이 병목이라면, 시각-행동 LLM을 로봇이나 시뮬레이션 환경에서 강화학습 루프로 돌리면 됨
인류의 축적된 지식만으로도 충분히 혁신적인 아이디어를 만들 수 있다고 생각함
모든 분야가 물리 세계와 직접 상호작용하는 것은 아니며, 이미 기록된 역사 속 정보만으로도 3D 물리 법칙이 적용되는 가상 시뮬레이션을 만들 수 있음
현재 LLM이 부족한 것은 내적 동기임 — 스스로 생각하고 반성하며 자기 수정하는 능력
나 역시 제한된 기억과 주의력 속에서 창작하지만, AI와 상의하면 새로운 아이디어를 얻음
결국 인간의 사고도 배운 것의 조합일 뿐이며, AI도 그 연장선에 있음
LLM은 언어와 기호의 영역에서 작동하지만, 인간은 언어화되지 않은 직접적 경험으로부터도 많은 것을 배움
Yann LeCun의 강연에서 들은 바에 따르면, 인간 아기는 생후 몇 년 동안 LLM이 학습하는 데이터보다 훨씬 많은 감각 데이터를 경험함
이것이 언어 기반 모델의 근본적 한계라고 생각함
냉소적으로 보자면, 이번 일은 단지 돈이 돈을 쫓는 현상 같음
LeCun은 훌륭한 세일즈맨이지만, 실패하더라도 사회가 그를 보호할 것임
그래서 솔직히 존경심은 없음
LeCun이 지난 10년간 Gary Marcus를 조롱하더니 이제는 그의 입장으로 돌아온 듯함
이미 오래전부터 Tenenbaum이 세계 모델을 연구해왔는데, 벤처 문화권 사람들은 이런 연구 동향을 잘 모름
그래서 투자 대상으로 이용하기 쉬움
작년 8월 Yann과 점심을 함께했을 때, 그는 Meta를 떠날지 고민 중이라고 했음
나는 그에게 남의 꿈을 돕기보다 자신의 회사를 차리라고 조언했음
LLM이 인간 수준의 지능으로 이어지지 않는다는 그의 견해에는 동의하지만, 세계 모델 전략이 정답인지는 확신이 없음
어떤 전략이 더 나은 길이라고 생각하는지 구체적으로 듣고 싶음
결국 스타트업 형태로 나오는군요
개인적으로는 Mila 같은 연구소 모델이 더 적합하다고 봤음
그래도 LeCun의 커리어와 그의 트윗 답변은 그 자체로 말해줌
어떻게 수익을 낼지 궁금하지만, 성공을 기원함
역사적으로 의미 있는 연구는 항상 안정적인 대기업 연구소에서 나왔음 — Bell Labs, IBM Research, Xerox PARC, MSR 등
Yann의 영향력은 의심할 여지가 없지만, Meta에서 막대한 자원을 가지고도 눈에 띄는 결과가 없었음
세계를 비디오로 이해한다는 접근은 이미 Seedance, Kling, Sora 같은 비디오 모델들이 하고 있음
그래서 이번 시도가 얼마나 다른지 잘 모르겠음
대부분의 과학자가 세상을 뒤흔드는 연구를 하는 건 아니므로, 그런 이유로 의견을 무시하는 건 옳지 않음
과학은 경쟁 시장이 아님
그리고 “이해한다”는 단어는 너무 많은 의미를 담고 있음 — 여전히 모델은 같은 오류를 반복함
자원이 많다고 항상 최고의 결과가 나오는 건 아님
때로는 열정과 자유가 더 중요한 동력임
LeCun이 Meta를 떠난 이유 중 하나는, 회사가 LLM 중심으로만 움직였기 때문이라고 함
그는 LLM이 AGI로 가는 길이 아니라고 믿음
어쩌면 단순히 너무 어려운 문제일 수도 있음
Yann LeCun이 세계 모델 스타트업 AMI(Amilabs) 를 설립하며 50억 달러 이상의 기업가치를 목표로 함
CEO로 LeBrun, CFO로 LeFunde, 후처리 책임으로 LeTune을 영입했다고 함 TechCrunch 기사 참고
펀드 담당이 LeFunde, 파인튜닝 담당이 LeTune이라니 이름이 너무 절묘함
그냥 이름을 LeLabs로 하지 그랬나 싶음
세상은 이제 이름 운명론자(nominative determinist) 들이 지배하는 듯함
채용 정책이 농담처럼 들릴 정도로 일관됨
이번 일은 시기적으로도 적절함
세상이 LLM에 너무 집중되어 있으니, 다른 형태의 모델 연구가 계속되어야 함
또한 유럽이 매력적인 AI 연구 환경을 갖추는 계기가 되길 바람
LeCun의 견해에 동의하든 아니든, 이번 일은 유럽에 좋은 일이라 생각함
미국과 중국 중심의 AI 생태계에 대항할 자본력 있는 연구소가 필요함
Mistral은 통합 및 컨설팅 중심으로 전환했기에 연구 최전선은 비어 있음
AMI의 기술적 접근은 JEPA 기반일 가능성이 높음
LeCun의 비전 문서 A Path Towards Autonomous Machine Intelligence를 참고하면 그의 구상이 잘 드러남
JEPA는 스타트업도 충분히 시도 가능한 구조이며, 우리 3인 스타트업도 의료 시계열 데이터를 이용해 JEPA를 학습시켰음
유럽에도 이런 독립적 연구 노선이 필요함
솔직히 나는 아직 세계 모델 붐을 이해하지 못함
수십 년째 이론만 존재했는데, LLM은 실제로 산업을 바꿔버렸음
그런데도 사람들은 여전히 “LLM은 아니다, 진짜는 세계 모델이다”라고 말함
결국 LLM과 세계 모델은 융합될 것이라 봄
세계 모델은 미래를 예측하고, LLM도 이미지 토큰을 예측하도록 학습할 수 있음
이는 매우 강력한 지도 신호가 될 수 있음
“세계 모델”이라는 용어가 너무 다양하게 쓰임
LLM이 학습 중 형성하는 내부 표현도 일종의 세계 모델이라 볼 수 있음
하지만 LLM은 복제 기술에 가깝고, 진정한 학습이나 창의성은 부족함
반면 동물 지능 접근법은 실제 세계의 변화를 예측하고, 피드백을 통해 스스로 수정함
즉, 현실에 기반한 학습 구조이며, 환각을 줄이고 목표 달성 행동을 계획할 수 있음
이런 의미에서 “세계 모델”은 단순한 내부 표현이 아니라, 세상과 상호작용하며 배우는 행동적 모델임
미국 중심의 AI 경쟁 구도 속에서 이런 새로운 유럽발 도전이 신선하게 느껴짐
기존 모델들은 서로를 복제하며 경쟁했을 뿐, 진정한 혁신은 부족했음
Hacker News 의견들
세계 모델에는 훨씬 더 많은 자유도가 존재함
LLM은 본질적으로 정적인 텍스트, 즉 인간이 세상을 설명한 언어 데이터만을 학습하기 때문에 실제 세계로부터 배우지 못함
그래서 기존 아이디어를 재조합할 수는 있어도 진정한 창의적 발견이나 발명은 거의 불가능함
물리적 세계를 기반으로 한 시공간적 이해를 학습하는 스타트업이 등장한다면, AGI로 가는 진짜 병목을 해결하려는 시도가 될 것임
설령 부분적으로만 성공하더라도 현재 LLM이 구조적으로 도달할 수 없는 일반화와 창의성을 열 수 있을 것이라 생각함
AGI의 병목은 지속적 학습과 역전파(backpropagation)에 있다고 봄
인간의 뇌는 역전파 방식으로 학습하지 않으며, 세계 모델도 결국 우리가 익숙한 딥러닝 구조와 다르지 않음
만약 ‘세상으로부터 배우는 것’이 병목이라면, 시각-행동 LLM을 로봇이나 시뮬레이션 환경에서 강화학습 루프로 돌리면 됨
모든 분야가 물리 세계와 직접 상호작용하는 것은 아니며, 이미 기록된 역사 속 정보만으로도 3D 물리 법칙이 적용되는 가상 시뮬레이션을 만들 수 있음
현재 LLM이 부족한 것은 내적 동기임 — 스스로 생각하고 반성하며 자기 수정하는 능력
나 역시 제한된 기억과 주의력 속에서 창작하지만, AI와 상의하면 새로운 아이디어를 얻음
결국 인간의 사고도 배운 것의 조합일 뿐이며, AI도 그 연장선에 있음
Yann LeCun의 강연에서 들은 바에 따르면, 인간 아기는 생후 몇 년 동안 LLM이 학습하는 데이터보다 훨씬 많은 감각 데이터를 경험함
이것이 언어 기반 모델의 근본적 한계라고 생각함
LeCun은 훌륭한 세일즈맨이지만, 실패하더라도 사회가 그를 보호할 것임
그래서 솔직히 존경심은 없음
이미 오래전부터 Tenenbaum이 세계 모델을 연구해왔는데, 벤처 문화권 사람들은 이런 연구 동향을 잘 모름
그래서 투자 대상으로 이용하기 쉬움
작년 8월 Yann과 점심을 함께했을 때, 그는 Meta를 떠날지 고민 중이라고 했음
나는 그에게 남의 꿈을 돕기보다 자신의 회사를 차리라고 조언했음
LLM이 인간 수준의 지능으로 이어지지 않는다는 그의 견해에는 동의하지만, 세계 모델 전략이 정답인지는 확신이 없음
결국 스타트업 형태로 나오는군요
개인적으로는 Mila 같은 연구소 모델이 더 적합하다고 봤음
그래도 LeCun의 커리어와 그의 트윗 답변은 그 자체로 말해줌
어떻게 수익을 낼지 궁금하지만, 성공을 기원함
역사적으로 의미 있는 연구는 항상 안정적인 대기업 연구소에서 나왔음 — Bell Labs, IBM Research, Xerox PARC, MSR 등
Yann의 영향력은 의심할 여지가 없지만, Meta에서 막대한 자원을 가지고도 눈에 띄는 결과가 없었음
세계를 비디오로 이해한다는 접근은 이미 Seedance, Kling, Sora 같은 비디오 모델들이 하고 있음
그래서 이번 시도가 얼마나 다른지 잘 모르겠음
Meta는 세계적 수준의 연구를 많이 공개했고, 오픈소스 기여도 큼
예를 들어 Beyond Language Modeling: An Exploration of Multimodal Pretraining 논문은 대규모 실험 기반의 통찰을 담고 있음
LeCun은 제품 책임자가 아니라 연구 리더로서 훌륭히 역할을 수행했다고 생각함
과학은 경쟁 시장이 아님
그리고 “이해한다”는 단어는 너무 많은 의미를 담고 있음 — 여전히 모델은 같은 오류를 반복함
때로는 열정과 자유가 더 중요한 동력임
그는 LLM이 AGI로 가는 길이 아니라고 믿음
Yann LeCun이 세계 모델 스타트업 AMI(Amilabs) 를 설립하며 50억 달러 이상의 기업가치를 목표로 함
CEO로 LeBrun, CFO로 LeFunde, 후처리 책임으로 LeTune을 영입했다고 함
TechCrunch 기사 참고
이번 일은 시기적으로도 적절함
세상이 LLM에 너무 집중되어 있으니, 다른 형태의 모델 연구가 계속되어야 함
또한 유럽이 매력적인 AI 연구 환경을 갖추는 계기가 되길 바람
LeCun의 견해에 동의하든 아니든, 이번 일은 유럽에 좋은 일이라 생각함
미국과 중국 중심의 AI 생태계에 대항할 자본력 있는 연구소가 필요함
Mistral은 통합 및 컨설팅 중심으로 전환했기에 연구 최전선은 비어 있음
LeCun의 비전 문서 A Path Towards Autonomous Machine Intelligence를 참고하면 그의 구상이 잘 드러남
JEPA는 스타트업도 충분히 시도 가능한 구조이며, 우리 3인 스타트업도 의료 시계열 데이터를 이용해 JEPA를 학습시켰음
유럽에도 이런 독립적 연구 노선이 필요함
Straits Times 기사
가격 대비 성능이 뛰어나고, 언어 학습 관련 작업에는 최고임
만약 그의 시각이 맞다면 유럽에 큰 도움이 되겠지만, 틀리다면 그냥 제로섬 투자가 될 것임
그래도 비디오 데이터라는 미개척 자원이 많으니, 좋은 결과를 기대함
만약 LLM이 이미 충분하고 RSI(Recursive Self-Improvement) 가 임박했다고 본다면, 이번 일은 오히려 주의 분산일 뿐임
FT 기사 링크
솔직히 나는 아직 세계 모델 붐을 이해하지 못함
수십 년째 이론만 존재했는데, LLM은 실제로 산업을 바꿔버렸음
그런데도 사람들은 여전히 “LLM은 아니다, 진짜는 세계 모델이다”라고 말함
세계 모델은 미래를 예측하고, LLM도 이미지 토큰을 예측하도록 학습할 수 있음
이는 매우 강력한 지도 신호가 될 수 있음
LLM이 학습 중 형성하는 내부 표현도 일종의 세계 모델이라 볼 수 있음
하지만 LLM은 복제 기술에 가깝고, 진정한 학습이나 창의성은 부족함
반면 동물 지능 접근법은 실제 세계의 변화를 예측하고, 피드백을 통해 스스로 수정함
즉, 현실에 기반한 학습 구조이며, 환각을 줄이고 목표 달성 행동을 계획할 수 있음
이런 의미에서 “세계 모델”은 단순한 내부 표현이 아니라, 세상과 상호작용하며 배우는 행동적 모델임
미국 중심의 AI 경쟁 구도 속에서 이런 새로운 유럽발 도전이 신선하게 느껴짐
기존 모델들은 서로를 복제하며 경쟁했을 뿐, 진정한 혁신은 부족했음