자율주행 경쟁에서 AI 교육 플랫폼까지: ex-Tesla, ex-OpenAI 안드레이 카파시 인터뷰

자율주행 기술 현황

• 웨이모와 테슬라가 선두를 다투고 있음
• 웨이모는 현재 샌프란시스코에서 상용 서비스 중
• 테슬라가 푸는 문제는 소프트웨어적인 문제고 웨이모가 푸는 문제는 하드웨어적인 문제
• 소프트웨어적인 문제가 훨씬 풀기 쉽고, 테슬라는 이미 규모에서 웨이모와 비교가 안됨
• 카르파티는 10년 내 테슬라가 우위를 점할 것으로 전망

AI 모델 발전 방향

• 트랜스포머 모델이 AI 연구의 핵심
• 인터넷에서 찾을 수 있는 데이터는 이미 다 학습해버려서 현재는 데이터셋과 loss function 최적화에 초점
• 인터넷에서 찾을 수 있는 데이터는 사실 인간 사고의 결과물, 지금 부족한 데이터는 인간의 머릿속에서 여러 단계로 일어나는 사고 과정에 관한 것
• 트랜스포머 모델로 사고 과정을 역으로 만들어가는 합성 데이터 생성이 중요해질 것으로 예상
• 1억 개 미만의 파라미터로도 강력한 AI 모델 구현이 가능해질 것 (GPT4 1조8천억 개 파라미터로 추정)

AI와 인간의 융합

• AI를 외부 대뇌피질로 활용 가능
• 장기적으로 AI와 인간의 경계가 모호해질 것
• 개인화된 AI 비서나 도구 형태로 발전 예상

AI 교육 플랫폼 (Eureka Labs)

• 카파시가 개발 중인 AI 기반 교육 플랫폼
• AI를 활용해 개인화된 학습 경험 제공 목표
• 2024년 초 출시 예정, 첫 강의는 LLM101n (https://github.com/karpathy/LLM101n)
• 대학생 수준의 기술 교육에 초점