트랜스포머 기반 스프레드시트 기술

 (byhand.ai)
2P by GN⁺ | ★ favorite | 댓글 1개
  • AI by Hand 자료를 수작업으로 맞춤화하는 과정에서 해답 오류가 생길 수 있어, 사용자가 연습문제와 해답을 직접 만들 도구가 필요해짐
  • 여러 구현 방식을 검토한 끝에 Google Sheets를 선택해, 더 많은 사람이 접근하고 수정할 수 있는 형태를 택함
  • 공개 자료에는 트랜스포머 연습용 Google Sheet가 포함돼 있어 바로 살펴볼 수 있음
  • 기존 AI by Hand 자료는 여러 AI 교육자와 함께 커스터마이즈됐고, 전 세계 여러 교실에서 사용되고 있음
  • 아직 초기 단계라 사용 과정에서의 피드백이 도구 개선에 직접적인 영향을 줄 수 있음

Google Sheets로 만든 AI by Hand 연습 도구

  • 목표는 사람들이 커스텀 숫자와 해답을 넣어 자신만의 AI by Hand 연습문제를 만들 수 있게 하는 것임
  • 여러 기술을 검토한 결과, 접근성을 넓히기 위해 Google Sheets를 사용하기로 결정함
  • 트랜스포머 연습용 Google Sheet가 공개됨

수작업 커스터마이즈의 한계와 피드백 요청

  • 지난 몇 달 동안 여러 AI 교육자와 협업해 AI by Hand 연습 자료를 커스터마이즈함
  • 자료는 전 세계 여러 교실에서 사용되고 있으며, 커스터마이즈 과정은 전부 수작업으로 진행됨
  • 수작업 과정에서는 해답에 오류가 들어갈 수 있었고, 학생들이 이를 발견한 사례도 있음
  • 도구는 아직 초기 단계라 피드백을 받고자 함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 진짜 궁금한데, 이걸 따라 해 본 뒤 사람들이 뭘 이해했다고 느끼는지 모르겠음
    선형 회귀의 모든 행렬 곱셈을 전부 써 내려가면 정말 이해했다고 말할 수 있을까? 구현 방식이 핵심인지, 아니면 더 깊은 직관을 만들어 주는지가 궁금함
    시각화의 가치는 알겠지만, 그 이상으로 실제 교육적 이득이 뭔지는 잘 모르겠음. ML/수학 쪽 사람이지만 10년 넘게 강의는 안 해서 내가 놓치는 부분일 수도 있음

    • 오히려 반대 효과를 노린 것 같고, 적어도 나에게는 그랬음
      GPT-3가 처음 나왔을 때는 제한적인 ML 배경이 있어도 거의 마법처럼 보였는데, 나중에 3blue1brown의 Transformer 영상을 보고 수학 자체가 꽤 단순해서 약간 실망할 정도였음
      핵심은 단순한 기본 요소도 충분히 크게 확장하면 놀라운 결과를 낼 수 있다는 점이었고, Conway의 생명 게임 같은 원리에서 매우 복잡하고 유용한 창발적 행동이 나올 수 있다는 느낌이었음
    • 이런 장난감 예제는 핵심 구조를 실제로 이해했는지 확인하는 데 가치가 있음
      Transformer 블록을 설명하는 그림이나 방정식은 볼 수 있지만, 거기서 실제 구현으로 어떻게 넘어가는지는 또 다른 문제임. 이런 예제를 통해 어디서 무엇이 계산되는지, 벡터와 행렬의 차원이 어떻게 되는지 확인할 수 있음
      LLM을 다루려는 대부분의 사람에게는 필요 없겠지만, 개인적으로는 동작 원리를 아주 낮은 수준까지 파고드는 걸 좋아함. 실제 Transformer 모델의 소스 코드보다 이런 예제가 훨씬 만져 보기 쉽고, 장난감 예제를 익히고 나면 실제 코드도 더 쉽게 잡힘
    • 기초 쪽에서는 교육적 가치가 있음. 특히 수학이 약한 CS 학생에게 자동 미분이 미적분을 어떻게 행렬 대수로 바꾸는지 보여줄 수 있음
      나머지 부분도 강의와 함께 따라 할 워크시트를 주는 데 의미가 있음. 코딩은 ipynb를 선호하지만, 알고리즘은 손계산도 좋음. 2025년에 이런 걸 안 하면 수업의 1/4은 휴대폰을 보고, 나머지 3/4은 강의에 안 올 가능성이 큼
      논문이나 소스 코드를 혼자 읽을 수 있고 수학이 두렵지 않다면, 이런 자료는 대상이 아닐 수 있음
    • 이런 시각화는 머신러닝의 신비화를 걷어낸다는 점에서 훌륭함. 결국 하나의 절차일 뿐이고, 인간적 의미의 지능이 들어 있는 건 아니라는 걸 보여줌

  • AI의 기본과 내부 동작에 대한 직관을 가르치는 관련 자료로 AI Unplugged[1]가 좋음. 펜, 연필, 카드 같은 도구로 게임처럼 활동할 수 있음
    AI/ML에 익숙하지 않은 다양한 청중, 아이와 어른 모두에게 여러 번 써 봤는데, 매번 즐거워했고 자신이 사는 현대 세계를 조금 더 이해하게 되는 것 같았음
    [1] http://www.aiunplugged.org

  • Excel로도 GPT-2를 만들 수 있음: https://www.youtube.com/watch?v=yjD2n_e9E3w&ab_channel=Sprea...

  • 제목에는 Spreadsheet라고 되어 있고 실제로 Google Sheets를 쓰는데, 여기서 왜 Excel이라고 했는지 모르겠음

    • 이제 되돌렸음. 제출된 제목은 “Transformer Implemented Using Excel”이었음

  • Google Docs의 /copy 엔드포인트 기능을 쓴 건 좋음. 가르칠 때 번거로움을 많이 줄여줌

  • 이것도 Postgres 같은 데이터베이스 안에서 저장 프로시저, 함수, 트리거로 구현할 수 있다고 볼 수도 있음
    어떤 면에서 데이터베이스는 훨씬 탄탄한 질의 언어가 붙은 스프레드시트임

  • 비슷한 HN 스레드: https://news.ycombinator.com/item?id=42967173

  • 함께 볼 만한 자료로, 수식만 사용해 Excel에서 구현한 고전적 컴퓨터 비전 기초가 있음: https://github.com/amzn/computer-vision-basics-in-microsoft-...
    원래 HN 제출 글: https://news.ycombinator.com/item?id=22357374
    참고로 내가 주 저자임

답변달기