- 2017년 등장한 Transformer는 기계번역에서 출발해 거의 모든 분야로 확장됐고, 현대 엔지니어가 알아야 할 핵심 AI 지식이 됨
- 이 가이드는 엔지니어가 Transformer를 이해하는 데 필요한 만큼만 따라가도록 신경망부터 어텐션까지 단계적으로 구성됨
- 직접 실행할 수 있는 Python 코드 예제와 참고 자료를 함께 제공해, 읽는 데서 끝나지 않고 손으로 확인하며 학습할 수 있음
- 본문은 신경망, RNN, NLP와 어텐션, Transformer, Python·수학 기초 부록으로 나뉘며 PyTorch와 LLM 기반 Multi-Agents 항목도 추가됨
- 교육·비상업 목적 이용 조건은 비교적 열려 있지만, 문의 시에는 검증용 SNS 주소 2개 이상을 요구하는 등 익명 연락에는 제한이 있음
Transformer를 이해하기 위한 학습 경로
- The Engineer’s Guide To Deep Learning은 엔지니어가 Transformer를 이해하는 데 필요한 최소 경로를 제공하는 간결한 가이드북임
- 현재 AI는 세 번째 황금기로 규정됨
- 이전 두 번의 황금기는 1950~1960년대와 1980년대였음
- 당시에는 기대가 기술 능력을 앞질러 실망으로 이어짐
- 2010년대 중반 시작된 현재의 AI 황금기는 기대를 지속적으로 넘어서는 흐름으로 설명됨
- Transformer는 2017년에 도입된 돌파구임
- 처음에는 기계번역 모델로 개발됨
- 이후 영향이 거의 모든 분야로 확장됨
- 학습 보조 자료로 실행 가능한 Python 코드 예제를 제공함
- 독자마다 맞는 자료를 고를 수 있도록 추가 참고 자료도 함께 소개함
문서 구성과 업데이트
- 가이드는 Transformer로 곧장 뛰어들기보다 필요한 기초를 순서대로 쌓도록 구성됨
- Part 1: Neural Networks — 신경망의 기본 개념
- Part 2: Recurrent Neural Networks (RNNs) — RNN, LSTM, GRU
- Part 3: Natural Language Processing (NLP) and Attention Mechanisms — 기계번역과 어텐션을 포함한 NLP 핵심 원리
- Part 4: Transformer — Transformer 모델
- Appendix: Basic Knowledge — Transformer 이해에 필요한 최소한의 Python과 수학 지식
- 변경 이력은 2024년 5월 21일 첫 버전 공개 이후 이어짐
- 2024년 7월 23일: Parts 1·2에 PyTorch 버전 추가
- 2024년 9월 16일: LLM 기반 Multi-Agents 섹션 추가
- 향후에는 현재 개발 중인 여러 Transformer 기반 기술과 가까운 미래의 또 다른 주요 돌파구까지 다룰 가능성이 있음
이용 조건과 연락 방식
- 저작권 FAQ의 이용 조건은 교육·비상업 활용을 중심으로 열려 있음
- 교육기관 소속 교사와 학생은 학습 목적으로 문서와 그림을 자유롭게 사용할 수 있음
- 비상업 모임과 강의에서는 사이트 링크와 저작권을 명시하면 문서와 그림을 사용할 수 있음
- 상업적 이용 항목의 revenue share와 full buyout 설명은 농담이며, 상업적 관계를 맺을 의도는 없다고 밝힘
- 문의 이메일에는 검증 목적으로 LinkedIn, Twitter 같은 SNS 주소 최소 2개를 제공해야 함
- XZ backdoor 사건 이후에는 익명 개인의 연락을 받지 않음