내가 생각하기에 AI 발전을 '마치 9의 행진처럼' 보는 방식이 중요하다고 봄. 각각의 9%를 추가할 때마다 동일한 양의 노력이 필요함. 90%짜리 데모 버전을 만들었다면, 이제 두 번째 9%, 세 번째 9% 등 계속 쌓아서 가야 하는 것. Tesla에서 5년 근무했을 때도 이런 반복적인 과정을 여러 번 경험함. 아직도 갈 길이 많이 남았음. AI 발전은 흔히 어떤 고정된 벤치마크에서는 역량이 기하급수적으로 증가해 보이지만, 다음 단계로 넘어갈 때의 난이도 또한 기하급수적으로 증가하니까 장기적으로는 선형적 개선처럼 보임
최근 Rich Sutton의 인터뷰를 보았을 때, AGI가 단순히 9%를 추가적으로 쌓는 문제만은 아니라는 생각이 듦. 인터뷰어는 언어 이해에는 세상의 모델이 있어야 한다고 전제했지만, Sutton은 그 전제를 바로 부정했음. 그 회의적 태도에 동의할 수도 있을 것 같음
이 이야기는 마치 마라톤에 관한 오래된 격언을 떠올리게 함. 마라톤은 두 부분으로 이루어져 있는데, 처음 20마일과, 평생 가장 몸이 아프고 피곤한 상태에서 달리는 마지막 10km라는 식임
저자의 비유가 마음에 듦. 하지만 어느 시점부터는 AI 자체가 발전을 돕는 역할을 하게 되고, 이 점이 예전 도메인 특화 ML이나 다른 시스템과는 결정적으로 다름. 이런 이유로 향후 2년 안에 급격한 가속이 일어날 수 있을 것이라 기대함
나도 자주 작업의 첫 90%를 끝내고, 그 다음 90%로 넘어간다고 농담처럼 말하곤 함
이런 사고방식은 여러 곳에 적용 가능함. 이른바 Pareto 효율성, 즉 80/20 법칙처럼 20%의 노력이 전체 작업의 80%를 이룸. 하지만 남은 20%를 끝내는 데 대부분의 시간이 들어감. 이 원리는 반복적으로 적용됨. 최근 IT 분야에서도 이런 현상이 두드러짐. 빠르게 움직이고 실험하는 방법이 대다수 구간에는 좋지만, 그 과정에서 많은 문제들이 누적되어 결국 누군가는 정리와 검토 역할이 필요함. 각 작은 문제들은 모여서 큰 문제가 됨. 99.9%의 시스템 가동률이라 해도 연간 9시간 다운타임이 발생하고, 10억 건 중 100만 건의 사례는 무시할 수 없는 규모임. 기술의 확장성 덕분에 분야가 빠르게 성장했지만, 동시에 그늘도 커짐. 평균 이상의 실력은 노력만 해도 쉽게 도달하지만, 누군가의 실력이 어느 분야에서는 실제로는 마스터에 훨씬 못 미칠 수 있음. 1억 달러를 가진 사람이 빌리어네어보다 오히려 노숙인과 더 가까운 부의 거리인 것처럼, 우리의 감각은 곡선적임
AI 연구자들과 컴퓨터 과학자들이 인간의 뇌와 AI, 컴퓨터를 비교하기 시작할 때마다 묘한 기분을 느낌. 컴퓨터 과학만 공부한 우리가 생물학, 신경과학, 진화론 등에 대해 충분한 지식이 있다고 생각하는 건 왜일까 궁금함. 이런 논의 자체는 흥미롭지만, 마음 한쪽에는 '지금 신경과학 얘기하는 CS 전공생 두 명 얘기를 듣고 있다는 걸 잊지 말자'는 생각이 듦
AI 분야에서 이런 얘기와 그 용어 자체를 아예 없애야 한다고 생각함. 대중에게 끝없는 혼란만 초래함. 실제 LLM의 본질은 단순히 행렬을 훈련시켜 다음 토큰을 예측하는 것임. AGI, Roko's basilisk, 인간 의식 같은 이야기를 끌어올 필요 없이 이 개념만으로도 충분히 설명 가능함
나도 학부 시절 같은 비교를 하곤 했는데, 결국 뇌가 X를 한다면 컴퓨터도 언뜻 비슷한 X를 하고, 아니면 Y와 Z같은 단계로 X를 재현할 수 있지 않을까 하는 개념적 모델에 기대게 되는 것임. 하지만 뇌가 엄청나게 복잡하고 화학적 기계라는 걸 알게 된 후부터 이런 비교에 더 회의적이게 됨
AI와 신경과학은 특히 예전 연구자들 사이에서는 겹치는 부분이 많음. 예를 들어 Karpathy의 지도교수 Fei-Fei Li는 고양이 뇌의 시각을 연구하다 컴퓨터 비전으로 넘어갔고, Demis Hassabis는 계산신경과학 박사 학위가 있음, Geoff Hinton도 심리학을 공부함. 강화학습-의사결정 학회(RLDM)는 강화학습과 신경과학을 연계하여 두 분야의 전문가가 교류함. 실제로 평균적인 AI 연구자들은 컴퓨터 과학 전공생보다 뇌에 대해 훨씬 많이 알 가능성이 높지만, 연구를 하기에는 여전히 전문성이 부족할 수 있음
최신 LLM/AI의 근본적 한계라면, 주로 추상화된 데이터에 초점을 맞추어 인간의 논리적 추론을 담당하는 전전두엽을 모방하도록 훈련됨. 그러나 인간의 실제 판단은 감정과 직관 중심인 변연계의 활동에 의해 이뤄짐. 즉, 대부분의 경우 우리는 '이유를 알기 전에 뭔가를 먼저 하고', 그 행위 뒤에 전전두엽이 스토리를 맞춘다는 것임. 결과적으로 LLM이 인간 현실을 처리하는 방식과는 전혀 다른 위치에서 일부 신경활동 형태만을 흉내내고 있는 셈임
나는 지금 이 메시지를 읽고 있는 누구의 일생에서도 AGI는 등장하지 않을 것에 내 전재산을 걸 용의가 있음. 이 글을 훗날 접하게 될 미래의 독자들 인생까지 포함해서 말임. 정말로 이 내기를 어떻게 입증할 수 있을지가 흥미로운 질문임
왜 그런 생각을 하는지 구체적인 이유가 궁금함. 매일 Hacker News 읽을 때마다 AGI에 대한 예측이 진지한 논리성도 없이 쏟아지는 것 같아 당혹스러움. 나는 뭐가 일어날지 정말 모름
그 내기가 실제로 성립하려면, Polymarket 같은 예측 시장에서 진짜 돈을 걸어야 함. 다만 AGI의 구체적 정의부터 합의가 필요함. 상대가 유리한 쪽으로 정의내리면 그 내기가 승산이 없어짐
실제로 자신의 재산을 걸 생각이라면, 현금화가 거의 불가능한 거래이므로 현실적으로는 예측시장에 넣어두는 게 답임. Polymarket에는 AGI 관련 내기들이 많음
그냥 Nvidia 주식을 공매도 하는 게 현실적일 수도 있음
에스크로(관계자 사이에서 자금을 맡아두는 제도) 활용 발언임
나도 한마디 덧붙이자면, 우리는 여전히 '지능이라는 것이 무엇이고, 어떻게 작동하는지'에 대해 도식적인 수준의 이해도 갖지 못했다고 생각함. 의식과 지능이 어떻게 연결되는지조차도 불명확함. 이런 상황에서 AGI나 AI에 대한 논의, 심지어 예측까지 상당 부분 근거가 약해짐. 정작 지능이 뭔지조차 모르면서 인공지능을 정의한다는 건 어불성설임
이 부분 정말 절실히 공감함. 우리는 무척추동물의 의식조차 모델링하지 못하고 있고, '마음'에 대한 제대로 된 이론도 없음. 결국 AI는 이해하는 척 흉내만 내고 있을 뿐, 실제 지능과는 거리가 멀다고 생각함
만약 인터뷰 기록이 정확하다면, Karpathy는 이 인터뷰 어디서도 AGI가 10년 안에 온다고 말하지 않았고, 언제 AGI가 도래하리라는 구체적 주장도 하지 않았음. Patel의 제목이 실제 내용과 다르게 오해를 불러일으키는 셈임
Sutton 관련해서도 마찬가지임. Sutton이 "LLM은 종착역이다"라고 했다거나 하는 발언이 실제 대화에 없었는데도, 이런 식으로 해석되어버림
vibe coding(분위기 코딩)과 자동완성 기능을 비교해보면, 현 LLM 모델들은 인지적 결함이 많음. 예를 들어, 코드의 일반적인 작성 방식에 너무 익숙하게 훈련돼 있어서 내가 취하지 않은 방식은 자꾸 오해함. 그리고 내가 원하는 걸 영어로 일일이 타이핑하는 게 너무 번거롭고, 원하는 코드 위치에 가서 몇 글자만 입력하면 자동완성이 바로 코드를 추천해줌. 그런데 모델들은 코드베이스를 너무 복잡하게 만들고, 불필요한 코드와 오래된 API를 자꾸 쓰는 등, 전체적으로 도움이 되는지 모르겠음
앞으로 실업률 50%에 달하는 세상에서도 여전히 '이게 진짜 AGI인가'를 논쟁하고 있을 것 같음
AGI가 목표라는 점 자체가 이상하게 느껴짐. AI라는 용어도 부정확하고 본질에 맞지 않음. LLM은 인공지능이 아니며, 심지어 아주 큰 LLM이라 해도 마찬가지임. 그럼에도 불구하고 language model은 매우 유용하며 잠재적으로 혁신적인 기술임. LLM을 AI라 부르는 건 가치의 과대평가이자 과소평가이기도 함. 인공지능이 아니라는 점이 실망스러울 필요는 없고, 여전히 대단한 기술임
이 용어가 혼란을 줌. 과거에는 AI가 체스 초급 인공지능이나 이미지 분류기, 비디오게임 캐릭터 AI 등 모든 종류의 기계지능을 의미했음. 하지만 요즘 많은 사람이 AI와 AGI(인간 수준의 지능)를 동일시함
Nvidia가 최대 시가총액 기업이 된 지금, AGI에 대한 진짜 논의는 엄청난 자본의 '하이프 트레인'에 묻혀버린 상황임. 관련 기업 가치 대부분이 가까운 미래에 AGI가 실현될 것이라는 믿음에 기반해 있음. AGI가 너무 가깝게 느껴지면 현재 선도 기업이 시장을 독식할 것 같고, 너무 멀면 투자와 지출이 지속 불가능해 보일 수 있음
진짜 기업가치는 AGI 실현 기대 때문이기보다는, 사무직 자동화 등으로 기업들이 중산층 임금을 절약하기 위해 AI기술에 큰돈을 쏟아붓는 현상에 더 기대는 것일 수 있음
Hacker News 의견
내가 생각하기에 AI 발전을 '마치 9의 행진처럼' 보는 방식이 중요하다고 봄. 각각의 9%를 추가할 때마다 동일한 양의 노력이 필요함. 90%짜리 데모 버전을 만들었다면, 이제 두 번째 9%, 세 번째 9% 등 계속 쌓아서 가야 하는 것. Tesla에서 5년 근무했을 때도 이런 반복적인 과정을 여러 번 경험함. 아직도 갈 길이 많이 남았음. AI 발전은 흔히 어떤 고정된 벤치마크에서는 역량이 기하급수적으로 증가해 보이지만, 다음 단계로 넘어갈 때의 난이도 또한 기하급수적으로 증가하니까 장기적으로는 선형적 개선처럼 보임
최근 Rich Sutton의 인터뷰를 보았을 때, AGI가 단순히 9%를 추가적으로 쌓는 문제만은 아니라는 생각이 듦. 인터뷰어는 언어 이해에는 세상의 모델이 있어야 한다고 전제했지만, Sutton은 그 전제를 바로 부정했음. 그 회의적 태도에 동의할 수도 있을 것 같음
이 이야기는 마치 마라톤에 관한 오래된 격언을 떠올리게 함. 마라톤은 두 부분으로 이루어져 있는데, 처음 20마일과, 평생 가장 몸이 아프고 피곤한 상태에서 달리는 마지막 10km라는 식임
저자의 비유가 마음에 듦. 하지만 어느 시점부터는 AI 자체가 발전을 돕는 역할을 하게 되고, 이 점이 예전 도메인 특화 ML이나 다른 시스템과는 결정적으로 다름. 이런 이유로 향후 2년 안에 급격한 가속이 일어날 수 있을 것이라 기대함
나도 자주 작업의 첫 90%를 끝내고, 그 다음 90%로 넘어간다고 농담처럼 말하곤 함
이런 사고방식은 여러 곳에 적용 가능함. 이른바 Pareto 효율성, 즉 80/20 법칙처럼 20%의 노력이 전체 작업의 80%를 이룸. 하지만 남은 20%를 끝내는 데 대부분의 시간이 들어감. 이 원리는 반복적으로 적용됨. 최근 IT 분야에서도 이런 현상이 두드러짐. 빠르게 움직이고 실험하는 방법이 대다수 구간에는 좋지만, 그 과정에서 많은 문제들이 누적되어 결국 누군가는 정리와 검토 역할이 필요함. 각 작은 문제들은 모여서 큰 문제가 됨. 99.9%의 시스템 가동률이라 해도 연간 9시간 다운타임이 발생하고, 10억 건 중 100만 건의 사례는 무시할 수 없는 규모임. 기술의 확장성 덕분에 분야가 빠르게 성장했지만, 동시에 그늘도 커짐. 평균 이상의 실력은 노력만 해도 쉽게 도달하지만, 누군가의 실력이 어느 분야에서는 실제로는 마스터에 훨씬 못 미칠 수 있음. 1억 달러를 가진 사람이 빌리어네어보다 오히려 노숙인과 더 가까운 부의 거리인 것처럼, 우리의 감각은 곡선적임
AI 연구자들과 컴퓨터 과학자들이 인간의 뇌와 AI, 컴퓨터를 비교하기 시작할 때마다 묘한 기분을 느낌. 컴퓨터 과학만 공부한 우리가 생물학, 신경과학, 진화론 등에 대해 충분한 지식이 있다고 생각하는 건 왜일까 궁금함. 이런 논의 자체는 흥미롭지만, 마음 한쪽에는 '지금 신경과학 얘기하는 CS 전공생 두 명 얘기를 듣고 있다는 걸 잊지 말자'는 생각이 듦
AI 분야에서 이런 얘기와 그 용어 자체를 아예 없애야 한다고 생각함. 대중에게 끝없는 혼란만 초래함. 실제 LLM의 본질은 단순히 행렬을 훈련시켜 다음 토큰을 예측하는 것임. AGI, Roko's basilisk, 인간 의식 같은 이야기를 끌어올 필요 없이 이 개념만으로도 충분히 설명 가능함
왜 이런 전제가 생기는지에 대해 답을 하자면, 그건 '오만함'임
사실 논리적으로 생각해보면, '완벽하게 구형이고 마찰이 0인 뇌'부터 상상한다는 농담이 있음
나도 학부 시절 같은 비교를 하곤 했는데, 결국 뇌가 X를 한다면 컴퓨터도 언뜻 비슷한 X를 하고, 아니면 Y와 Z같은 단계로 X를 재현할 수 있지 않을까 하는 개념적 모델에 기대게 되는 것임. 하지만 뇌가 엄청나게 복잡하고 화학적 기계라는 걸 알게 된 후부터 이런 비교에 더 회의적이게 됨
AI와 신경과학은 특히 예전 연구자들 사이에서는 겹치는 부분이 많음. 예를 들어 Karpathy의 지도교수 Fei-Fei Li는 고양이 뇌의 시각을 연구하다 컴퓨터 비전으로 넘어갔고, Demis Hassabis는 계산신경과학 박사 학위가 있음, Geoff Hinton도 심리학을 공부함. 강화학습-의사결정 학회(RLDM)는 강화학습과 신경과학을 연계하여 두 분야의 전문가가 교류함. 실제로 평균적인 AI 연구자들은 컴퓨터 과학 전공생보다 뇌에 대해 훨씬 많이 알 가능성이 높지만, 연구를 하기에는 여전히 전문성이 부족할 수 있음
최신 LLM/AI의 근본적 한계라면, 주로 추상화된 데이터에 초점을 맞추어 인간의 논리적 추론을 담당하는 전전두엽을 모방하도록 훈련됨. 그러나 인간의 실제 판단은 감정과 직관 중심인 변연계의 활동에 의해 이뤄짐. 즉, 대부분의 경우 우리는 '이유를 알기 전에 뭔가를 먼저 하고', 그 행위 뒤에 전전두엽이 스토리를 맞춘다는 것임. 결과적으로 LLM이 인간 현실을 처리하는 방식과는 전혀 다른 위치에서 일부 신경활동 형태만을 흉내내고 있는 셈임
나는 지금 이 메시지를 읽고 있는 누구의 일생에서도 AGI는 등장하지 않을 것에 내 전재산을 걸 용의가 있음. 이 글을 훗날 접하게 될 미래의 독자들 인생까지 포함해서 말임. 정말로 이 내기를 어떻게 입증할 수 있을지가 흥미로운 질문임
왜 그런 생각을 하는지 구체적인 이유가 궁금함. 매일 Hacker News 읽을 때마다 AGI에 대한 예측이 진지한 논리성도 없이 쏟아지는 것 같아 당혹스러움. 나는 뭐가 일어날지 정말 모름
그 내기가 실제로 성립하려면, Polymarket 같은 예측 시장에서 진짜 돈을 걸어야 함. 다만 AGI의 구체적 정의부터 합의가 필요함. 상대가 유리한 쪽으로 정의내리면 그 내기가 승산이 없어짐
실제로 자신의 재산을 걸 생각이라면, 현금화가 거의 불가능한 거래이므로 현실적으로는 예측시장에 넣어두는 게 답임. Polymarket에는 AGI 관련 내기들이 많음
그냥 Nvidia 주식을 공매도 하는 게 현실적일 수도 있음
에스크로(관계자 사이에서 자금을 맡아두는 제도) 활용 발언임
나도 한마디 덧붙이자면, 우리는 여전히 '지능이라는 것이 무엇이고, 어떻게 작동하는지'에 대해 도식적인 수준의 이해도 갖지 못했다고 생각함. 의식과 지능이 어떻게 연결되는지조차도 불명확함. 이런 상황에서 AGI나 AI에 대한 논의, 심지어 예측까지 상당 부분 근거가 약해짐. 정작 지능이 뭔지조차 모르면서 인공지능을 정의한다는 건 어불성설임
지능이나 의식을 정의하는 게 너무 어려운 이유는, 우리가 샘플 1개(인간)에만 완전히 의존해 있고, 거기에 근거 없는 신비주의까지 덧씌워서임. 관련 참고글: https://bower.sh/who-will-understand-consciousness
이 부분 정말 절실히 공감함. 우리는 무척추동물의 의식조차 모델링하지 못하고 있고, '마음'에 대한 제대로 된 이론도 없음. 결국 AI는 이해하는 척 흉내만 내고 있을 뿐, 실제 지능과는 거리가 멀다고 생각함
만약 인터뷰 기록이 정확하다면, Karpathy는 이 인터뷰 어디서도 AGI가 10년 안에 온다고 말하지 않았고, 언제 AGI가 도래하리라는 구체적 주장도 하지 않았음. Patel의 제목이 실제 내용과 다르게 오해를 불러일으키는 셈임
vibe coding(분위기 코딩)과 자동완성 기능을 비교해보면, 현 LLM 모델들은 인지적 결함이 많음. 예를 들어, 코드의 일반적인 작성 방식에 너무 익숙하게 훈련돼 있어서 내가 취하지 않은 방식은 자꾸 오해함. 그리고 내가 원하는 걸 영어로 일일이 타이핑하는 게 너무 번거롭고, 원하는 코드 위치에 가서 몇 글자만 입력하면 자동완성이 바로 코드를 추천해줌. 그런데 모델들은 코드베이스를 너무 복잡하게 만들고, 불필요한 코드와 오래된 API를 자꾸 쓰는 등, 전체적으로 도움이 되는지 모르겠음
앞으로 실업률 50%에 달하는 세상에서도 여전히 '이게 진짜 AGI인가'를 논쟁하고 있을 것 같음
AGI가 목표라는 점 자체가 이상하게 느껴짐. AI라는 용어도 부정확하고 본질에 맞지 않음. LLM은 인공지능이 아니며, 심지어 아주 큰 LLM이라 해도 마찬가지임. 그럼에도 불구하고 language model은 매우 유용하며 잠재적으로 혁신적인 기술임. LLM을 AI라 부르는 건 가치의 과대평가이자 과소평가이기도 함. 인공지능이 아니라는 점이 실망스러울 필요는 없고, 여전히 대단한 기술임
Nvidia가 최대 시가총액 기업이 된 지금, AGI에 대한 진짜 논의는 엄청난 자본의 '하이프 트레인'에 묻혀버린 상황임. 관련 기업 가치 대부분이 가까운 미래에 AGI가 실현될 것이라는 믿음에 기반해 있음. AGI가 너무 가깝게 느껴지면 현재 선도 기업이 시장을 독식할 것 같고, 너무 멀면 투자와 지출이 지속 불가능해 보일 수 있음
진짜 기업가치는 AGI 실현 기대 때문이기보다는, 사무직 자동화 등으로 기업들이 중산층 임금을 절약하기 위해 AI기술에 큰돈을 쏟아붓는 현상에 더 기대는 것일 수 있음
AGI가 아니더라도 AI만으로도 엄청난 경제적 가치가 창출 가능함
맞음. AGI 5~10년이라는 내러티브와 결합해서, 마치 우주개발 경쟁처럼 중국과의 기술전쟁을 빌미로 '수조 달러'의 투자가 필요하다고 주장하는 거임. 2024년에도 이런 얘기가 뉴스에 나왔음: https://www.cnbc.com/2024/02/09/openai-ceo-sam-altman-reportedly-seeking-trillions-of-dollars-for-ai-chip-project.html