안녕하세요, 저는 어제 OpenAI를 떠났습니다

 (twitter.com/karpathy)
2P by GN⁺ | ★ favorite | 댓글 1개

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Karpathy가 회사를 그만둘 때마다, 자유 시간에 훌륭한 교육 자료를 만들어서 분야가 한 단계 도약하는 느낌임

    • 예시가 있나? 이 분야에 그렇게 익숙하지 않음
    • 맞음, 이번에는 오픈소스 관련 콘텐츠가 많이 나오면 좋겠음

  • Karpathy는 정말 훌륭한 선생님임. 그의 컴퓨터 비전 수업을 들었는데, 더 많이 가르치고 그 일을 진지하게 해줬으면 함
    인기 있는 AI 인플루언서라는 점이 좋은 연구자라는 뜻은 아니고, 좋은 사업 리더나 창업자와는 오히려 음의 상관관계가 강해 보임
    복잡한 것을 우아하게 설명하는, 요즘 절실히 필요한 잃어버린 기술로 돌아가서 쉬엄쉬엄 해줬으면 좋겠고, 실리콘밸리의 사기꾼들과 시간 낭비하는 쪽으로 너무 돌아가지 않길 바람
    생각할수록, 자기 트윗이 바로 Hacker News 첫 페이지로 가는 건 사람에게 꽤 영향을 줄 것 같음. 이름과 영향력 때문에 제안과 기회가 몰리지만, 실제로 가장 잘 맞는 자리라서 그런 건 아닐 수 있음

    • 지식을 제대로 보상했다면 좋았을 텐데. YouTube가 그나마 가장 가까워 보이지만, YouTube 교육자들도 전문성을 가르치는 대신 조회수를 끌어모으는 데 얼마나 많은 시간을 써야 하는지 보여줌
      이름과 영향력 때문에 제안이 몰리고 실제 적합성과는 다를 수 있다는 건, 안타깝지만 인생의 축약판 같음. 가장 잘 맞는 사람이 특정 자리를 얻는 경우는 드물고, 과자격으로 걸러지거나 인사 단계에서 탈락하거나, 사무실 복귀 요구·역제안 거절·비공개 불법 요인 같은 모호한 이유로 거절될 수 있음
      별로인 게임이니, 주어진 패를 활용하는 사람을 탓하긴 어려움
    • 직업 전체로서 가르치는 일을 더 높게 평가했으면 할 때가 있음. 연구는 하지 않고 가르치면서 생계를 유지하고 싶음
    • 좋은 교사는 훌륭한 연구자가 된다고 봄. 자기 분야를 아주 잘 이해해야 하고, 필요한 질문을 예상하고 스스로 던지며, 늘 새 눈으로 분야를 보고, 협업도 잘하고, 무엇보다 소통 능력이 좋기 때문임
    • Karpathy 같은 훌륭한 교육자는 무언가를 바닥부터 만들고 내가 이해할 수 있게 설명함. 이게 강사의 능력 문제인지, 아니면 나 같은 학생이 다른 자료를 이해할 실력이 부족해서 그런 건지 궁금함
    • 작은 정정인데, “b-lined”가 아니라 bee-lined임
      보통은 이런 걸 지적하지 않지만, “b-lined”는 “B-list celebrity”처럼 낮은 우선순위를 뜻하는 반대 의미로 읽힐 수도 있음

  • 솔직히 OpenAI는 빠르게 빛을 잃고 있는 것 같음
    플러그인은 실패였고, GPTs는 조금 낫지만 아직 제품-시장 적합성이 보이지 않음. GPT-4는 여전히 왕좌에 있지만 예전만큼 압도적이진 않고, 논문을 공개하지 않으니 연구를 잘하고 있는지도 명확하지 않음
    이제 GPT-5는 엄청나게 좋아야 하는데, 정말 그럴지는 모르겠음

    • 이 분야가 특히 빠르게 움직이는 건 알지만, GPT-4는 나온 지 1년도 안 됐음. 매 분기마다 지각변동급 새 모델을 내놓지 않는다고 해서 빛을 잃고 있다고 하는 건 좀 우스워 보임
      인기가 폭발하고 윤리적 질문도 더 중요해진 만큼, 무조건 먼저 공개하기보다 몇 가지 요소를 제대로 다듬는 시간이 필요할 수 있음
    • 방금 Gemini Ultra를 써봤는데 GPT-4보다 너무 못해서 꽤 충격적이었음. 코딩 질문을 조금만 해도 매번 존재하지 않는 새 문법을 환각하고, 작동하지도 않고 실제로 존재하지도 않는 선택지 A나 B로 계속 진행할지 묻는 식이라 이상하고 답답한 시간 낭비가 됨
      결국 요청한 언어로 된 결과라도 내게 하려고 한 시간을 쓰고 나서야 완전히 쓸모없다는 걸 깨닫게 됨
      Google이 이렇게 뒤처져 있고, 이런 가치 없는 물건을 출시했다는 게 놀라움. 게다가 돈까지 받으려 하다니 배짱도 대단함
      물론 GPT-5는 기대되지만, 조금만 개선돼도 OpenAI는 여전히 훨씬 앞서 있음
    • Google 직원들은 OpenAI가 사라지길 바랄 듯함. OpenAI 때문에 Google이 딱 IBM 같은 회사처럼 보이기 때문임
      웃긴 장면은 여기 있음: https://twitter.com/Suhail/status/1757573182138290284
    • Ollama로 80GB Mistral 모델을 돌리면 ChatGPT 3.5와 같거나 더 잘 작동함. 마법이 더 이상 OpenAI만의 것이 아니게 됐다는 점에서 세상에는 좋은 일이라고 봄
      경쟁자들이 최근 3개월만에도 따라잡은 속도가 놀라움
    • OpenAI가 빠르게 빛을 잃고 있다면 좋음
      그 회사 안에서 실제로 무슨 일이 벌어지는지는 전혀 모르지만, Altman이 밀려났을 때 직원들이 Twitter에서 보인 행동은 정말 무서웠고, 위험 신호와 나쁜 분위기가 가득했음

  • 인기 없을 의견일 수 있지만, Karpathy의 명성과 영향력은 거의 전부 뛰어난 교육자이자 소통가라는 점에서 온다고 봄
    그 명성에 비해 AI를 앞으로 밀어붙인 실제 기여 수준은 잘 모르겠음
    그의 교육 콘텐츠는 깊이 감사하고, 그 덕분에 영향력을 얻고 커리어를 유지할 수 있었던 건 기쁨. 그걸로 충분히 부자가 되어 100% 교육에 집중할 수 있으면 좋겠음

    • 2015년에 그는 The Unreasonable Effectiveness of Recurrent Neural Networks라는 글을 썼음: https://karpathy.github.io/2015/05/21/rnn-effectiveness/
      그 글은 OpenAI의 Alec Radford가 Unsupervised sentiment neuron 연구를 하도록 영감을 줬음: https://openai.com/research/unsupervised-sentiment-neuron
      OpenAI는 Google이 만든 새 Transformer 구조를 활용해 그 모델을 키우면 어떻게 되는지 보기로 했고, GPT라는 것을 만들었음: https://cdn.openai.com/research-covers/language-unsupervised...
    • 동의하지 않음. 훌륭한 교육 자료의 가치를 자주 과소평가한다고 봄. Karpathy는 과하게 복잡하고 밀도 높은 수학적 설명으로 가득한 AI 분야에 활력을 불어넣었음
      예를 들어 CS 231은 Stanford에서 가장 인기 있는 AI/ML 수업 중 하나였음. 2015~2017년쯤 그 수업을 듣고 이후 AI에서 성장한 학생 수를 생각하면, 상당한 공로가 그 수업으로 돌아간다고 말해도 무리가 없음
      차근차근 안내하면서 얼마나 단순해질 수 있는지 보여주는 강사는 대단히 귀중함. 분야 진입 장벽을 낮추는 데 핵심 역할을 함
      장기적으로는 Karpathy가 만든 자료 같은 것들로 AI에 들어온 신규 인력이 큰 돌파구를 만들 것임. 그의 “Hacker's Guide to Neural Networks”는 거의 10년 전 자료인데도, 역전파를 이해하는 데 가장 선명한 ‘아하’ 순간을 줬음
    • 교육과 소통은 중요함. 새 사람을 분야로 끌어들이고, 이미 분야에 있는 사람도 성장시키며, 둘 다 장기적 성장과 진보에 필수적임
      비교육적 활동만을 가리켜 “실제 기여”라고 부르는 건, 훌륭한 교육자가 진보의 행진에서 하는 역할을 완전히 깎아내리는 표현임. 그런 교육이 없었다면 지금 어디에 있었겠나?
      그는 AI를 앞으로 밀어붙이는 데 기여했음. “실제”라는 단서를 붙일 필요도 없음. 훌륭한 교육자를 잃는 일은 훌륭한 엔지니어를 잃는 것만큼 아쉽게 봐야 함
    • Karpathy는 이미지 캡셔닝에서 선구적 연구를 했고, 시각·텍스트 의미 공간을 정렬했음. 이는 현대 이미지 생성기의 개념적 토대임
      또한 순환 신경망을 훌륭하게 분석했고, 언어 모델 내부에서 무슨 일이 일어나는지 설명한 초기이자 최고의 해설 중 하나였음
    • Hacker News 댓글란은 누군가의 이력서를 공개적으로 평가하기에 상상 가능한 포럼 중 가장 정당성이 낮은 곳 중 하나임. 의회라면 모를까

  • “당장 계획은 개인 프로젝트를 하면서 어떻게 되는지 보는 것이다. 오래 지켜본 사람들은 그게 어떤 모습일지 감이 있을 것이다”라고 했는데, 여기 아는 사람 있나?

    • 그의 YouTube 시리즈를 말하는 것 같음. 기대됨
    • 예전 프로필에는 OpenAI에서 JARVIS를 만들고 있다고 되어 있었음
    • 그는 영상 시리즈에서 GPT-3의 작고 효율적인 버전을 만들고 있었음
      GitHub에서 확인할 수 있음: https://github.com/karpathy
    • 오픈소스 모델 쪽에도 관심이 있고 /r/localllama에도 있음

  • 자유 시간에 소설을 더 써줬으면 함. https://karpathy.github.io/2015/11/14/ai/를 정말 좋아했음

    • 이야기 실력과 큐브 맞추기까지 있으니 아이들 파티에서도 꽤 잘할 듯함. 게다가 가르치고 만들 수도 있음. 에베레스트는 아직 안 올랐나?
    • 강하게 동의함. 훌륭한 단편이었음. 언젠가 더 확장된 형태로 보고 싶음

  • YouTube 채널에 전념하려는 걸까? 기대됨. 그의 콘텐츠는 정말 훌륭함

    • 나도 기대함. 약 8년 전에 그가 공개한 char-rnn 같은 순환 신경망용 Python 미니어처들이 학습에 정말 도움이 됐음
    • 그렇게 하면 수백만 달러를 포기하는 셈일 것 같음. 물론 형편이 좋고 조기 은퇴도 가능하겠지만, 그래도 수백만 달러는 큰돈임

  • 그가 OpenAI에 다시 합류한 시점은 거의 정확히 1년 전으로 보임: https://twitter.com/karpathy/status/1623476659369443328

    • 새 가설: Karpathy는 돈이 좀 부족해서, 옵션의 25%가 베스팅될 때까지 정확히 1년을 기다렸음

  • 관련 글: “Andrej Karpathy Departs OpenAI”[0] (159점, 2시간 전, 댓글 71개)
    [0]: https://news.ycombinator.com/item?id=39365288

    • 그 기사는 강한 paywall이 있어서, 해당 댓글들을 이쪽으로 병합하겠음. 잠시만 기다려 달라

  • 그의 고정 트윗 “가장 뜨거운 새 프로그래밍 언어는 영어다”를 보면, 글 끝의 “나를 아는 사람들은 내가 뭘 하는지 알 것 ;)”라는 메시지는 어떤 종류의 개발자 도구를 암시하는 것 같음
    기술 비전가라면 그럴 법하고, 해커는 결국 자기 자신을 더 좋게 만드는 도구를 만드는 걸 못 참는 듯함
    내 한가한 추측보다 더 나은 정보가 있나?

    • 전업 YouTuber가 될 것임
    • 그는 몇 번 LLM 기반 운영체제에 대해 추측한 적이 있음. 그거라면 정말 멋질 듯함
답변달기