▲

젠슨 황: Nvidia의 미래와 물리적 AI, 에이전트의 부상 [유튜브]

 (youtube.com)
3P by GN⁺ 6시간전 | ★ favorite | 댓글 1개
  • Nvidia CEO 젠슨 황이 All-In 팟캐스트에 출연해 Groq 인수, 추론 폭발, 물리적 AI, 에이전트 컴퓨팅, AI 산업의 PR 위기 등 광범위한 주제를 다룬 인터뷰
  • Nvidia는 GPU 회사에서 AI 팩토리 회사로 진화했으며, 에이전트 처리를 위한 이기종 컴퓨팅 아키텍처에 Groq LPU, BlueField, CPU, 네트워킹 프로세서를 추가
  • Open Claw를 현대 AI 컴퓨팅의 운영체제 청사진으로 평가하며, 메모리 시스템·스킬·스케줄링·IO 서브시스템을 갖춘 최초의 개인용 AI 컴퓨터로 정의
  • 물리적 AI는 50조 달러 규모의 시장을 기술 산업이 처음으로 다루는 영역이며, 현재 연간 약 100억 달러에 근접한 사업으로 기하급수적 성장 중
  • AI 산업의 PR 위기에 대해 기술 리더들의 극단적·종말론적 발언이 정책 입안자와 대중에게 미치는 부정적 영향을 경고하며, 보다 절제되고 균형 잡힌 소통 필요

Groq 인수와 추론 폭발

  • 2년 반 전 소개한 AI 팩토리 운영체제 Dynamo의 핵심 기술은 비분리 추론(disaggregated inference) 으로, 추론 처리 파이프라인을 분할하여 서로 다른 GPU에서 실행하는 방식
  • 이 비분리 컴퓨팅 개념이 Mellanox 인수로 이어졌고, 현재 Nvidia 컴퓨팅은 GPU, CPU, 스위치, 스케일업/스케일아웃 스위치, 네트워킹 프로세서 전반에 분산
    • 여기에 Groq를 추가하여 적합한 워크로드를 적합한 칩에 배치하는 구조
  • 에이전트 처리 시대로 전환하면서 작업 메모리, 장기 메모리, 도구 사용, 스토리지 요구가 급증
    • 대형 모델, 소형 모델, 디퓨전 모델, 자기회귀 모델 등 데이터센터 내 다양한 모델 유형 공존
  • Vera Rubin은 이 극도로 다양한 워크로드를 실행할 수 있도록 설계된 시스템
    • 기존 1랙 구성에서 4개 랙 추가, Nvidia의 TAM이 약 33~50% 증가
    • 추가분은 스토리지 프로세서(BlueField), Groq 프로세서, CPU, 네트워킹 프로세서로 구성
  • 데이터센터 가격과 토큰 비용을 동일시하면 안 됨
    • 500억 달러 팩토리가 최저 비용 토큰을 생산할 수 있으며, 이유는 10배의 처리량 효율
    • 200억 달러는 토지·전력·셸 비용이고, 스토리지·네트워킹·CPU·서버·쿨링은 어차피 필요
    • GPU 가격이 1x냐 0.5x냐의 차이는 500억 대 400억 정도이며, 10배 처리량 대비 큰 비율이 아님
  • 작년에 추론이 1,000배 증가할 것이라 했는데, 이제 100만 배, 10억 배 수준으로 갈 것
    • 당시 세계는 사전 스케일링·훈련에 집중하고 있었으나, 현재 추론이 폭발적으로 증가하여 추론 제약(inference constrained) 상태

세계 최고 가치 기업의 의사결정

  • CEO의 역할은 비전과 전략을 정의하는 것이며, 뛰어난 컴퓨터 과학자와 기술자들의 정보를 기반으로 미래를 형성
  • 핵심 기준: 미친 듯이 어려운 일인가, 이전에 한 번도 된 적 없는 일인가, Nvidia의 특별한 슈퍼파워에 부합하는가
    • 쉬운 일이면 경쟁자가 많으므로 피해야 함
    • 극도로 어려운 일에는 고통이 수반되므로 그 과정을 즐길 수 있어야 함

물리적 AI의 50조 달러 시장과 Open Claw

  • 물리적 AI는 기술 산업이 처음으로 50조 달러 규모 산업을 다루는 기회
    • 10년 전 시작, 현재 연간 약 100억 달러에 근접한 기하급수적 성장 사업
  • 3가지 컴퓨팅 시스템 구분
    • 첫 번째: AI 모델 훈련·개발용 컴퓨터
    • 두 번째: 평가용 컴퓨터 — 물리 법칙을 따르는 가상 환경에서 로봇·자동차 평가 (Omniverse)
    • 세 번째: 엣지 로보틱스 컴퓨터 — 자율주행차, 로봇, 테디베어 등
  • 통신 기지국을 AI 인프라의 일부로 전환하는 작업 진행 중
    • 2조 달러 규모의 통신 산업이 AI 인프라의 확장이 될 것
  • 디지털 생물학은 ChatGPT 모멘트에 근접
    • 유전자, 단백질, 세포의 표현과 동역학 이해가 2~5년 내 가능
    • 5년 내 디지털 생물학이 헬스케어 산업에서 변곡점에 도달할 것
  • Open Claw는 지난 2년간의 3가지 변곡점 중 세 번째
    • 첫 번째: ChatGPT — 생성형 AI를 대중 인식으로 끌어올림
    • 두 번째: o1/o3 — 추론(reasoning), 근거 기반 정보로 경제 모델 변곡
    • 세 번째: Claude Code — 최초의 유용한 에이전트 시스템이지만 기업용에 한정, Open Claw가 대중 의식에 AI 에이전트 개념을 각인
  • Open Claw의 컴퓨팅 모델 구조
    • 메모리 시스템: 스크래치패드(단기 메모리), 파일 시스템
    • 스킬: API를 통해 여러 유형의 애플리케이션 실행
    • 리소스 관리·스케줄링: 크론잡, 에이전트 스폰, 태스크 분해
    • IO 서브시스템: 입출력, WhatsApp 연결 등
    • 이 4가지 요소가 근본적으로 컴퓨터를 정의 → 최초의 오픈소스 개인용 AI 컴퓨터
  • 에이전트 소프트웨어의 거버넌스·보안 기여
    • 민감한 정보 접근, 코드 실행, 외부 통신 중 동시에 세 가지를 모두 허용하지 않는 정책
    • Peter Steinberger와 Nvidia 엔지니어들이 보안 강화에 기여

AI의 PR 위기와 Anthropic 커뮤니케이션 문제

  • AI는 생물학적 존재도, 외계인도, 의식이 있는 것도 아닌 컴퓨터 소프트웨어
  • "우리가 전혀 이해하지 못한다"는 말은 사실이 아니며, 이 기술에 대해 많은 것을 이해하고 있음
  • 정책 입안자들에게 지속적으로 정보를 제공하고, 종말론과 극단주의가 정책 결정에 영향을 미치지 않도록 해야 함
    • 동시에 기술이 매우 빠르게 움직이므로 정책이 기술보다 너무 앞서가면 안 됨
  • 미국의 최대 국가안보 우려: 다른 국가들이 AI를 채택하는 동안 미국이 AI에 분노하거나 두려워하거나 편집증적이 되어 채택하지 못하는 것
  • Anthropic에 대해: 기술이 훌륭하고, 보안·안전에 대한 집중을 존경
    • 그러나 기술의 위험을 경고하는 것은 좋지만, 겁을 주는 것은 덜 좋음
    • 증거 없이 극단적이고 재앙적인 발언을 하면 사람들이 생각하는 것 이상으로 해로울 수 있음
    • 기술 리더로서 말의 무게를 인식하고 더 절제되고, 온건하고, 균형 잡히고, 사려 깊어야 함
  • 미국 내 AI 인기도가 17% 이며, 핵 산업처럼 셧다운되는 전철을 밟을 위험
    • 중국에 100개의 핵분열 원자로가 건설 중인 반면 미국은 0개
    • 데이터센터 모라토리엄 이야기도 나오는 상황

매출 역량, 직원 토큰 배분, 에이전트의 미래

  • AI 모델 사용 순위: 1위 OpenAI, 2위 오픈소스(매우 큰 격차), 3위 Anthropic
  • 컴퓨팅 수요 증가
    • 생성형 → 추론: 약 100배
    • 추론 → 에이전트: 약 100배
    • 2년 만에 컴퓨팅이 10,000배 증가
  • 사람들은 정보에 돈을 지불하지만 일(work)에 더 많은 돈을 지불
    • 에이전트 시스템은 일을 처리해줌 → 소비가 현재 약 100배 증가, 아직 스케일링도 시작하지 않은 상태
  • Nvidia의 43,000명 직원 중 약 38,000명이 엔지니어
    • 50만 달러 연봉 엔지니어가 연간 5,000달러만 토큰에 쓰면 큰 문제
    • 최소 25만 달러 이상 토큰에 소비해야 한다는 기대
    • 칩 설계자가 "종이와 연필만 쓰겠다, CAD 도구 필요 없다"고 하는 것과 같은 상황
  • Auto Research 사례
    • 데스크톱에서 30분 만에 수행한 연구가 일반적으로 7년 걸리는 PhD 논문 수준
    • GitHub에서 다운로드하여 로컬에서 실행, 과학 저널 수준의 결과
    • 600줄의 코드로 주말에 공개된 도구
  • 미래의 업무 방식: 코드를 직접 작성하는 대신 아이디어, 아키텍처, 사양을 작성하고 팀을 조직하며 평가 기준을 정의
    • 모든 엔지니어가 100개의 에이전트를 보유할 것

엔터프라이즈 소프트웨어의 미래

  • 엔터프라이즈 IT 소프트웨어 산업이 파괴될 것이라는 시각에 대한 반론
    • 엔터프라이즈 소프트웨어는 인원과 좌석(butts and seats) 에 의해 제한되어 왔음
    • 곧 100배 더 많은 에이전트가 SQL, 벡터 데이터베이스, Blender, Photoshop 등 기존 도구를 사용하게 됨
    • 기존 도구들은 작업을 잘 수행하고, 최종 작업 결과를 사용자가 제어 가능한 형태로 표현하는 통로 역할

오픈소스, 글로벌 확산, 이란/대만 공급망

  • 모델은 기술이지 제품이 아니며, 기술이지 서비스가 아님
    • 독점 모델과 오픈소스 모델 둘 다 근본적으로 필요 (A or B가 아닌 A and B)
    • 일반 소비자는 ChatGPT, Claude, Gemini 등 수평 레이어의 범용 지능을 선호
    • 산업별 도메인 전문성·특화는 오픈 모델에서만 가능
  • 오픈소스 모델은 프론티어에 근접해 있으며, 프론티어에 도달하더라도 서비스형 모델은 계속 번성할 것
  • 글로벌 확산 현황
    • 바이든 시대의 확산 규칙은 반미국적 AI 확산 정책이었음
    • Trump 대통령은 미국 기술 산업의 세계 선도와 기술 확산을 원함
    • Nvidia는 세계 2위 시장(중국)에서 95% 시장 점유율을 포기하고 현재 0%
    • Secretary Lutnik으로부터 승인된 라이선스를 확보, 중국 기업들로부터 구매 주문을 받고 공급망 가동 재개 중
  • 국가안보 관점
    • 소형 모터, 희토류 광물, 통신 네트워크, 지속 가능 에너지를 통제하지 못하면 국가안보 약화
    • AI 산업이 태양광, 희토류, 자석, 모터, 통신처럼 되면 안 됨
    • 미국 기술 스택(칩~컴퓨팅 시스템~플랫폼)이 세계의 90% 를 차지하는 것이 바람직
  • 대만: 미국 재산업화를 최대한 빠르게 추진해야 하며, 대만 공급망의 전략적 파트너십과 우정을 확보하여 Arizona, Texas, California에서 빠른 속도로 제조
    • 한국, 일본, 유럽으로 공급망 다변화 필요
    • 다변화·회복력 확보 중에는 인내와 자제 필요
  • 헬륨: 문제가 될 수 있으나 공급망에 충분한 버퍼가 있을 가능성

자율주행 플랫폼과 경쟁

  • "움직이는 모든 것이 언젠가 완전히 또는 부분적으로 자율화될 것"
  • Nvidia는 자율주행차를 직접 만들지 않고 모든 자동차 회사가 만들 수 있도록 지원
    • 훈련 컴퓨터, 시뮬레이션/평가 컴퓨터, 차량 컴퓨터 3가지를 모두 구축
    • 세계 최초의 추론 기반 자율주행차 — 복잡한 시나리오를 단순한 시나리오로 분해하여 탐색하는 Alpommyo 시스템
  • Tesla는 훈련 컴퓨터만 구매, 다른 회사들은 전체 스택 사용 등 유연한 협력 모델
  • Google TPU, Amazon Inferentia/Tranium 등 고객이 경쟁자가 되는 상황
    • Nvidia의 자신감: 최고의 기술로 경쟁하며 빠르게 달리는 한, Nvidia에서 구매하는 것이 가장 경제적
    • 모든 클라우드에 존재하는 유일한 아키텍처 — 클라우드에서 온프레미스, 차량, 어느 지역, 우주까지
    • 사업의 약 40% 는 전체 AI 팩토리를 구축할 수 있는 풀스택이 없으면 고객이 활용 불가
  • 시장 점유율 확대 이유
    • Anthropic이 Nvidia로 이동, Meta도 Nvidia로 이동, 오픈 모델 성장 — 모두 Nvidia 기반
    • 클라우드 외부의 기업·산업·엣지 성장
    • AWS가 향후 몇 년간 100만 개 칩 구매 발표
  • 애널리스트들의 성장 둔화 예측(내년 30%, 그 다음 20%, 2029년 7%)에 대해
    • AI의 규모와 범위를 이해하지 못하는 것
    • 대부분 AI가 상위 5개 하이퍼스케일러에만 있다고 생각하지만 실제로는 훨씬 광범위

우주 데이터센터, AI 헬스케어, 로보틱스

  • 우주 데이터센터
    • 이미 우주에 진출 — 방사선 경화 처리된 CUDA가 전 세계 위성에서 이미징·AI 이미지 처리 수행
    • 우주에서 모든 데이터를 지구로 보내는 대신 우주에서 직접 이미징 처리가 합리적
    • 우주에는 에너지가 풍부하나, 전도·대류를 이용한 냉각 불가 → 복사만 가능, 매우 큰 표면적 필요
    • 우주 데이터센터 아키텍처 탐구에 수년 소요 예상
  • AI 헬스케어 3가지 영역
    • AI 생물학: AI로 생물학적 행동을 표현·예측 → 신약 발견
    • AI 에이전트: 진단 보조 등 — Open Evidence, Hypocratic 등의 사례
    • 물리적 AI: 물리 법칙을 이해하는 AI → 로봇 수술 등
    • 미래에는 초음파, CT 등 병원의 모든 장비가 에이전트화 — 안전한 버전의 Open Claw가 모든 장비에 내장
  • 로보틱스
    • 미국이 이 산업을 대부분 발명했으나 핵심 기술(뇌=AI)이 등장하기 약 5년 전에 지쳐버림
    • 고기능 존재 증명(existence proof)에서 합리적인 제품까지 기술은 2~3사이클(3~5년) 이상 걸리지 않음
    • 중국은 마이크로 전자, 모터, 희토류, 자석 분야에서 세계 최고 → 세계 로보틱스 산업이 중국 생태계·공급망에 크게 의존
    • 로봇은 개인이 독립적으로 할 수 없는 일을 가능하게 하여 경제적 이동성과 번영의 최대 해제(unlock) 가 될 것
    • 현재 미국은 수백만 명의 노동력 부족 상태로 로보틱스가 절실히 필요
    • 로봇을 통한 가상 현존(virtual presence), 빛의 속도로 이동, 달·화성 식민지화의 핵심 수단

OpenAI/Anthropic 매출 잠재력과 AI 모트

  • Dario Amodei는 2027~28년까지 수천억 달러, 2030년까지 1조 달러의 비인프라 AI 매출 예측
    • Jensen은 이것이 매우 보수적이라고 평가, Anthropic이 그보다 훨씬 나은 성과를 낼 것으로 기대
    • 아직 고려되지 않은 부분: 모든 엔터프라이즈 소프트웨어 회사가 Anthropic·OpenAI 토큰의 부가가치 리셀러가 될 것
    • Go-to-market이 로그적으로 확장될 전망
  • AI 시대의 모트(해자) 는 깊은 전문화(deep specialization)
    • 범용 모델이 에이전트 시스템에 연결되고, 많은 모델은 기업이 자체 훈련한 특화 서브 에이전트
    • 기업가를 위한 메시지: 자신의 버티컬을 누구보다 깊이 알고, 도구가 발전하면 자신의 지식을 주입
    • 에이전트를 고객과 빨리 연결할수록 플라이휠이 작동하여 에이전트가 더 나아짐
    • 현재의 수평 플랫폼 → 커스터마이징 모델과 반대로, 플랫폼 기업이 전문가·버티컬 도메인 전문가가 되는 기회

AI 시대 젊은이들을 위한 조언

  • 심층 과학, 심층 수학, 언어 능력을 추천
    • 언어가 AI의 프로그래밍 언어이므로 영문학 전공자가 가장 성공할 수도 있음
  • 어떤 교육을 받든 AI 사용에 깊이 전문가가 되어야 함
    • 과하게 지시하지 않고(overprescribe), AI가 혁신하고 창조할 여지를 남기면서 원하는 결과로 이끄는 것은 예술(artistry)
  • 방사선과 전문의 사례
    • 10년 전 컴퓨터 비전이 방사선과를 완전히 대체할 것이라는 예측 → 컴퓨터 비전은 100% 통합됨
    • 그러나 방사선과 전문의 수는 오히려 증가, 수요 급증
    • 스캔이 빨라져 더 많은 스캔 → 더 많은 환자 처리 → 병원 수익 증가
    • 직업의 작업(task) 은 변하지만 목적(purpose) 은 유지
  • 생산성이 증가하면 더 부유한 국가가 되어 교실에 더 많은 교사를 배치할 수 있으며, 모든 학생에게 개인화된 커리큘럼 제공 가능
  • 일자리 전환은 불가피하나, 자율주행으로 1,000~1,500만 운전 일자리가 변화할 것
    • 쇼퍼는 이동성 어시스턴트로 진화할 가능성 — 차가 스스로 운전하는 동안 승객을 위한 다양한 업무 수행
    • 항공기 오토파일럿이 더 많은 조종사를 만들어냈듯이 유사한 패턴
▲
xguru 6시간전  [-]

24:28 부터가 인상적이네요

한번 이런 사고실험을 해보죠.

연봉 50만 달러를 받는 소프트웨어 엔지니어나 AI 연구원이 있다고 가정해 봅시다. 이런 경우는 저희에게 흔합니다.

그 연봉 50만 달러짜리 엔지니어에게 연말에 제가 물어볼 겁니다.
“올해 토큰에 얼마를 썼나요?”
그런데 그 사람이 “5천 달러 썼습니다”라고 답한다면, 저는 정말 기가 막힐 겁니다.

그 연봉 50만 달러짜리 엔지니어가 최소 25만 달러어치 토큰도 쓰지 않았다면, 저는 굉장히 심각하게 받아들일 겁니다.

이건 우리 칩 디자이너 중 한 명이
“전 그냥 종이와 연필만 쓸게요. CAD 툴은 필요 없을 것 같습니다”
라고 말하는 것과 다를 바 없습니다.

이제는 최고의 인재를 바라보는 관점 자체가 완전히 바뀌고 있다는 뜻입니다.

이건 NBA에서 르브론 제임스가 자기 몸을 관리하고 컨디션을 유지하는 데
매년 100만 달러를 쓰기 시작했을 때 우리가 배운 것과도 비슷합니다.

이렇게 뛰어난 지식 노동자들에게 왜 초인적인 능력을 쥐여주지 않겠습니까?

그렇다면 2~3년 뒤를 내다봤을 때,
엔비디아의 최고 인재 한 명은 얼마나 효율적으로 일하게 될까요?
그리고 대체 어디까지 해낼 수 있게 될까요?

우선, “와, 이건 너무 어렵다”라는 생각은 사라질 겁니다.
“이건 시간이 너무 오래 걸린다”라는 생각도 사라질 겁니다.
“사람이 많이 필요하다”라는 생각도 사라질 겁니다.

너무 크다, 너무 무겁다, 너무 오래 걸린다.
이런 생각들은 전부 사라집니다.
결국 남는 건 창의성입니다.
당신이 무엇을 생각해낼 수 있느냐만 남는 거죠.

그러면 이제 질문은 이것입니다.
이 에이전트들과 어떻게 함께 일할 것인가?

그건 결국 컴퓨터 프로그래밍을 하는 새로운 방식입니다.
과거에는 우리가 직접 코드를 썼습니다.
앞으로는 아이디어를 쓰고, 아키텍처를 쓰고, 명세를 쓰게 될 겁니다.

우리는 팀을 조직하고,
좋은 결과와 나쁜 결과를 어떻게 평가할지 정의하고,
무엇이 훌륭한 결과인지 정하고,
어떻게 함께 반복 개선할지,
어떻게 브레인스토밍할지를 정하게 될 겁니다.

정말로 중요한 건 바로 그런 일입니다.

그리고 제 생각에는,
앞으로 모든 엔지니어는 에이전트 백 명을 거느리게 될 겁니다.

답변달기