▲

GN⁺: Spreadsheets are all you need - 스프레드시트로 배우는 AI

(spreadsheets-are-all-you-need.ai)
21P by neo 8달전 | favorite | 댓글 2개

엑셀로 AI 배우기

  • 엑셀에서 구현한 실제 LLM을 통해 AI가 어떻게 동작하는지 배우기
  • GPT-2의 Forward Pass를 외부 API 호출없이 엑셀 함수만으로 구현
  • 스프레드시트를 이해할 수 있다면 AI를 이해할 수 있음을 목표로 함
  • 레슨1: Excel로 GPT 이해하기
  • 레슨2: Byte Pair Encoding 과 Tokenization
  • 추가: 엑셀 구현을 상세히 들여다 보기(Transformers를 이해하는 사람들 대상)
  • XLSB(Excel Binary)로 되어있어서 다운로드 하여 실행 가능 (맥/윈 가능하지만 윈도우를 추천)
  • 구현의 제한
    • BPE, 멀티헤드 어텐션, 멀티레이어 퍼셉트론 스테이지를 포함한 전체 소형 GPT2 (124M 파라미터) 모델
    • 추론/포워드 패스만 가능(훈련 없음)
    • 컨텍스트는 10개의 토큰 길이로 제한
    • 단어당 10글자 제한
    • Zero Temperature 출력만 가능

FAQ

  • Google 시트에 대해서: 이 프로젝트는 Google 시트에서 시작되었으나 전체 모델이 너무 커서 엑셀로 전환됨. Google 시트에서 작동하는 방법을 여전히 탐색 중이나 단일 파일로는 엑셀처럼 맞지 않을 가능성이 높음.
  • ChatGPT처럼 대화할 수 없는 이유: 매우 짧은 컨텍스트 길이 외에도, 대화형 챗봇으로 만드는 지시 튜닝과 인간 피드백에서의 강화 학습(RLHF)이 부족함.
  • 이름의 유래: "Spreadsheets-are-all-you-need"라는 이름은 Transformer 기계 학습 구조를 처음 설명한 유명한 논문 "Attention Is All You Need"의 제목을 빗대어 지어짐.

GN⁺의 의견

  • 이 프로젝트는 AI와 기계 학습에 대한 접근성을 높이는 데 기여함. 엑셀과 같은 친숙한 도구를 사용하여 복잡한 기술을 이해할 수 있도록 만듦으로써, 비전문가도 AI의 기본 원리를 배울 수 있는 기회를 제공함.
  • 엑셀을 통한 구현은 실제 AI 모델의 작동 방식을 시각적으로 이해하는 데 유용하지만, 실제 AI 개발에 사용되는 것은 아님. 따라서 이러한 방식으로 AI를 배운다고 해서 전문 AI 개발자가 되는 것은 아님.
  • 이러한 교육 도구는 AI에 대한 일반 대중의 관심을 높이고, AI 기술의 민주화에 기여할 수 있음. 하지만 실제 AI 시스템을 구축할 때는 더 전문적인 도구와 프레임워크가 필요함.
  • 비슷한 교육 목적의 프로젝트로는 Google의 Machine Learning Crash Course나 Coursera의 Andrew Ng 교수의 Machine Learning 강좌 등이 있음. 이러한 강좌들은 이론과 실습을 결합하여 보다 심층적인 학습을 제공함.
  • 이 기술을 도입할 때는 실제 AI 모델 개발과는 다른 접근 방식이 필요하다는 것을 이해해야 함. 이 프로젝트는 교육적인 목적에 초점을 맞추고 있으며, 실제 AI 개발 프로젝트에서는 TensorFlow, PyTorch와 같은 전문 AI 프레임워크를 사용하는 것이 일반적임.
▲
neo 8달전  [-]
Hacker News 의견

  • 크리에이터의 인사 및 감사

    • 프로젝트 제작자: 게시물을 올려줘서 감사하며, 질문이나 제안에 답하고, 사람들이 LLM(Large Language Models)을 더 잘 이해하는 데 도움이 되기를 바람. 다음 비디오는 임베딩(embeddings)에 관한 것이며 곧 완성될 예정임.

  • 스프레드시트를 이용한 신경망 교육

    • Jeremy Howard: 수년간 스프레드시트를 사용하여 신경망(NNs)을 가르쳐왔으며, 이 방법은 교육적이고 직관적임.

  • 스프레드시트로 신경망 설명

    • 이제 "그저 곡선 맞춤(curve fitting)"이라고 말하는 대신 친구들에게 "그저 스프레드시트일 뿐"이라고 설명할 수 있음.

  • 스프레드시트 링크 공유

  • RLHF의 필요성에 대한 질문

    • 대규모 언어 모델을 챗봇으로 전환하는 데 필요한 지침 튜닝(instruction tuning)과 인간 피드백으로부터의 강화 학습(RLHF)이 없어도 될지 의문 제기.

  • GPT-2를 스프레드시트에 구현한 방법에 대한 감탄

    • GPT-2를 스프레드시트에 어떻게 구현했는지 인상적이며, 저자에게 이 프로젝트가 오픈소스가 될지 질문.

  • 스프레드시트에서 GPT-3 또는 GPT-4 구현 가능성

    • 스프레드시트가 GPT-3나 GPT-4를 구현할 수 없는 이유에 대한 궁금증.

  • LLM을 이해하는 데 도움이 되는 훌륭한 프로젝트

    • 이 프로젝트는 훌륭하며, LLM(Large Language Models)을 이해하는 데 도움이 되도록 7명에게 전달함.

  • 엑셀에서 PDE 해결 사례 공유

    • 엑셀에서 편미분 방정식(PDEs)을 해결하는 사례가 있음을 공유. FFT(Fast Fourier Transform)와 특수 함수에 대해서는 알고 있었지만, 이것은 흥미롭고 재미있어 보임.

  • 투자 은행을 고객으로 하는 AI 회사

    • 투자 은행을 고객으로 삼는 AI 회사의 아이디어가 매우 현명함.
답변달기