CMU 10-202: 현대 인공지능 입문

• 카네기멜론대학(CMU) 에서 개설된 이 강의는 현대 인공지능 시스템의 작동 원리를 다루는 입문 과정
• 머신러닝과 대규모 언어모델(LLM) 을 중심으로, ChatGPT·Gemini·Claude 같은 시스템의 기반 기술을 학습함
• 수강자는 기초 지도학습, 신경망, 트랜스포머, 사후 학습(post-training) 을 익히고, 오픈소스 LLM을 직접 구현할 수 있음
• 온라인 버전은 무료로 제공되며, CMU 수업보다 2주 지연된 일정으로 강의 영상과 과제가 공개됨
• AI 도구 활용을 허용하되, 최종 제출물은 스스로 작성할 것을 권장하며, 이는 학습 이해도를 높이기 위한 정책임

---

강의 개요

• 본 강의는 현대적 의미의 인공지능(AI), 즉 머신러닝과 대규모 언어모델(LLM) 을 중심으로 구성됨
  • ChatGPT, Gemini, Claude 등과 같은 시스템의 기반 기술을 다룸
  • LLM의 기본 구현은 소수의 머신러닝 기법과 구조로 구성되며, 수백 줄의 코드로 작성 가능함
• 수강자는 지도학습, LLM, 사후 학습(post-training) 의 기본 원리를 익히고, AI 챗봇을 직접 구현할 수 있음
• 다루는 주요 주제는 다음과 같음
  • AI의 간략한 역사
  • 지도학습: 선형모델, 손실함수, 최적화, 신경망
  • 대규모 언어모델: 자기어텐션, 트랜스포머, 토크나이저, 효율적 추론
  • 사후 학습: 지도 미세조정, 정렬 및 명령 튜닝, 추론 모델, 안전 및 보안

온라인 과정

• 무료 온라인 버전이 CMU 수업과 동시에 개설되며, CMU 일정보다 2주 지연된 콘텐츠를 제공함
  • 강의 영상, 과제(mugrade 시스템), Colab 노트북 등이 포함됨
  • 퀴즈, 중간·기말시험은 온라인 버전에 포함되지 않음
• Enroll here를 통해 강의 및 과제 공개 시 이메일 알림을 받을 수 있음
• TA, 오피스아워, 성적평가 등은 CMU 수업에만 해당됨

평가 및 선행 요건

• 성적 구성
  • 과제 및 프로그래밍 20%
  • 과제 퀴즈 40%
  • 중간·기말시험 40% (각 중간 10%, 기말 20%)
• 필수 선행 과목
  • 프로그래밍: Python 기반 객체지향 프로그래밍 숙련 필요 (15-112 또는 15-122)
  • 수학: 미분 계산을 포함한 기초 미적분(21-111 또는 21-120), 선형대수·확률 기초 권장

과제 및 프로그래밍

• 주요 과제는 AI 챗봇의 점진적 구현을 목표로 함
  • mugrade 시스템을 통해 제출하며, Colab 및 Marimo 노트북 버전 제공
  • 일부 과제는 이전 과제의 결과를 기반으로 진행됨
• 과제 목록
  • HW0: 자동 채점 및 프로그래밍 기초
  • HW1: 선형대수 및 PyTorch
  • HW2: 자동미분 및 선형모델 학습
  • HW3: 신경망 학습
  • HW4: 트랜스포머 구현
  • HW5: 최소 LLM 구현
  • HW6: 지도 미세조정 및 챗봇 학습
  • HW7: 강화학습
• 각 과제 후에는 15분 퀴즈가 있으며, 과제 코드나 개념을 기반으로 출제됨

시험 및 강의 일정

• 중간고사 2회, 기말고사 1회로 구성되며, 모두 오프라인·폐쇄형 시험임
  • 중간 1: 지도학습
  • 중간 2: 대규모 언어모델
  • 기말: 누적 평가(후반부 비중 높음)
• 강의 일정은 학기 중 업데이트되며, 온라인 버전은 2주 후 공개됨
  • 예: 1/12 ‘AI의 역사’, 1/28 ‘선형모델’, 2/16 ‘중간고사 1’, 3/18 ‘중간고사 2’, 4/20 ‘HW7 마감’ 등

AI 도구 사용 정책

• AI 도우미 사용 허용: 과제 및 프로그래밍 시 AI 도구를 참고용으로 사용할 수 있음
• 단, 최종 제출물은 직접 작성할 것을 강력히 권장함
• 수업 중 평가(퀴즈·시험)에서는 AI 및 외부 자료 사용 금지
• 정책의 목적은 학습 효율 향상에 있음
  • AI는 학습 보조에 유용하지만, 과도한 의존은 이해도 저하로 이어질 수 있음
  • 스스로 과제를 해결한 학생이 퀴즈·시험에서 더 좋은 성과를 내는 경향이 있음

[GN⁺]

Hacker News 의견들

• AI 과목의 정책을 보면, 과제나 프로그래밍 숙제에서는 AI 도우미 사용을 허용하지만, 최종 제출본은 스스로 작성하길 권장함
  수업 중 퀴즈나 시험에서는 AI나 외부 자료 사용이 금지됨
  이유는 AI가 학습 도구로는 유용하지만, 과도한 의존은 학습을 방해할 수 있기 때문임
  스스로 문제를 해결한 학생이 시험에서 훨씬 좋은 성과를 낸다는 경험적 근거가 있음

  • 이런 정책이라면 기말시험 성적이 매우 낮거나 부정행위가 발생할 가능성이 높다고 생각함
  • 이 접근은 CMU의 “reasonable person principle”과 비슷하다고 느낌
    학생들이 어차피 AI를 쓸 걸 알지만, 학습 의지와 자기개발을 믿는다는 점이 핵심임
    예전에 비슷한 과정을 도왔는데, AI가 디버깅을 도와줬다면 학생들이 더 많은 내용을 다루고 CUDA 구현 같은 흥미로운 부분에 집중할 수 있었을 것임
    이번 새 수업은 정말 흥미로워 보이고, Zico 교수는 훌륭한 교사임
  • 이런 방식이 가장 이상적이라고 생각함
    AI로 이해 속도를 높이고, 마지막에는 AI 없이 평가받는 구조가 학습을 굳히는 데 좋음
  • 예전에 내 교수님은 숙제 점수와 시험 점수가 크게 다르면 숙제 점수를 무시하고 시험만으로 성적을 매기는 정책을 썼음
    당시엔 불공평하다고 느꼈지만, 지금 생각하면 매우 공정한 방식이었음
    지금 시대에 더 적합한 접근 같음

• 이 과목의 강의자는 OpenAI 이사회 멤버임
  관련 기사: Zico Kolter joins OpenAI’s board of directors

• ‘modern AI’가 LLM만을 가리키는 게 아쉬움
  현대 AI는 훨씬 더 넓은 분야를 포함하는데, 제목만 보고 더 다양한 SOTA 모델을 기대했음
  그래도 CMU 강의는 대체로 훌륭하니 좋은 코스일 것 같음
  혹시 다른 분야까지 다루는 자료가 있다면 매우 관심 있음

• 며칠 전부터 무료 버전으로 수강 중인데, 과제 시스템이 정말 훌륭함
  로컬에서 직접 테스트를 돌릴 수 있어서, 단순히 듣는 것보다 훨씬 학습이 잘 됨
  10점 만점에 10점 추천임

  • 과제 수행에 필요한 하드웨어 리소스가 궁금함
    개인 컴퓨터로 하는 건지, 아니면 클러스터 접근 권한이 주어지는지 알고 싶음

• 이 강의가 좋은 코스인지 궁금함
  혹은 LLM의 작동 원리를 체계적으로 배우기 위한 다른 추천 코스가 있는지 묻고 싶음

• 실제로 모든 과제를 수행하며 수업을 따라가는 사람들에게 묻고 싶음
  현실적으로 주당 몇 시간을 투자해야 완주할 수 있는지 궁금함

• 포스트모던 AI가 나오길 기다리고 있음

  • 그땐 AI 로봇보다 햄버거를 더 잘 굽는 법을 배우게 될지도 모름

• 상징적 추론(symbolic reasoning) 관련 내용이 없는 게 아쉬움

  • 그건 지금의 “classical AI” 범주에 속함
  • 오히려 modern AI의 정반대 방향임
  • 그건 아마 가을학기 Post-modern AI 수업에서 다룰 예정일 것임
  • 그건 애초에 AI가 아님

• 강의와 함께 볼 수 있는 교재 출판을 기대함
  나오면 바로 구매할 생각임

• Lisp와 Prolog의 부활을 보게 되어 반가움

  • 아쉽게도 이번 강의에는 포함되지 않음
    그래도 Lisp와 Prolog는 여전히 유용함
    신경망을 처음부터 구현할 때는 C가 적합하고, Python으로 서브시스템을 연결하면 충분히 복잡한 시스템을 만들 수 있음
  • 사실 Lisp와 Prolog는 죽은 적도, 완전히 사라진 적도 없음
    늘 자기만의 영역에서 조용히 존재해왔음
  • Prolog는 다른 모습으로 Erlang이라 불리기도 함