엑셀로 AI 배우기
- 엑셀에서 구현한 실제 LLM을 통해 AI가 어떻게 동작하는지 배우기
- GPT-2의 Forward Pass를 외부 API 호출없이 엑셀 함수만으로 구현
- 스프레드시트를 이해할 수 있다면 AI를 이해할 수 있음을 목표로 함
- 레슨1: Excel로 GPT 이해하기
- 레슨2: Byte Pair Encoding 과 Tokenization
- 추가: 엑셀 구현을 상세히 들여다 보기(Transformers를 이해하는 사람들 대상)
- XLSB(Excel Binary)로 되어있어서 다운로드 하여 실행 가능 (맥/윈 가능하지만 윈도우를 추천)
- 구현의 제한
- BPE, 멀티헤드 어텐션, 멀티레이어 퍼셉트론 스테이지를 포함한 전체 소형 GPT2 (124M 파라미터) 모델
- 추론/포워드 패스만 가능(훈련 없음)
- 컨텍스트는 10개의 토큰 길이로 제한
- 단어당 10글자 제한
- Zero Temperature 출력만 가능
FAQ
- Google 시트에 대해서: 이 프로젝트는 Google 시트에서 시작되었으나 전체 모델이 너무 커서 엑셀로 전환됨. Google 시트에서 작동하는 방법을 여전히 탐색 중이나 단일 파일로는 엑셀처럼 맞지 않을 가능성이 높음.
- ChatGPT처럼 대화할 수 없는 이유: 매우 짧은 컨텍스트 길이 외에도, 대화형 챗봇으로 만드는 지시 튜닝과 인간 피드백에서의 강화 학습(RLHF)이 부족함.
- 이름의 유래: "Spreadsheets-are-all-you-need"라는 이름은 Transformer 기계 학습 구조를 처음 설명한 유명한 논문 "Attention Is All You Need"의 제목을 빗대어 지어짐.
GN⁺의 의견
- 이 프로젝트는 AI와 기계 학습에 대한 접근성을 높이는 데 기여함. 엑셀과 같은 친숙한 도구를 사용하여 복잡한 기술을 이해할 수 있도록 만듦으로써, 비전문가도 AI의 기본 원리를 배울 수 있는 기회를 제공함.
- 엑셀을 통한 구현은 실제 AI 모델의 작동 방식을 시각적으로 이해하는 데 유용하지만, 실제 AI 개발에 사용되는 것은 아님. 따라서 이러한 방식으로 AI를 배운다고 해서 전문 AI 개발자가 되는 것은 아님.
- 이러한 교육 도구는 AI에 대한 일반 대중의 관심을 높이고, AI 기술의 민주화에 기여할 수 있음. 하지만 실제 AI 시스템을 구축할 때는 더 전문적인 도구와 프레임워크가 필요함.
- 비슷한 교육 목적의 프로젝트로는 Google의 Machine Learning Crash Course나 Coursera의 Andrew Ng 교수의 Machine Learning 강좌 등이 있음. 이러한 강좌들은 이론과 실습을 결합하여 보다 심층적인 학습을 제공함.
- 이 기술을 도입할 때는 실제 AI 모델 개발과는 다른 접근 방식이 필요하다는 것을 이해해야 함. 이 프로젝트는 교육적인 목적에 초점을 맞추고 있으며, 실제 AI 개발 프로젝트에서는 TensorFlow, PyTorch와 같은 전문 AI 프레임워크를 사용하는 것이 일반적임.