▲

Meta와 PyTorch를 떠나며

 (soumith.ch)
1P by GN⁺ 1일전 | ★ favorite | 댓글 1개
  • 약 8년간 PyTorch를 이끌어온 South Chintala가 11년간 몸담았던 Meta와 PyTorch를 떠난다고 발표
  • PyTorch는 현재 엑사스케일 학습을 지원하며 기초 모델 운영, 전 세계 교육 현장 활용 등 폭넓은 성과를 달성함
  • 그는 PyTorch가 독립적으로 운영될 만큼 성숙했다고 판단하며, 후임 리더십의 안정성을 확신함
  • FAIR 시절부터 함께한 동료들과의 협업, 오픈소스 문화, 사용자 커뮤니티의 성장에 대한 감사와 회고
  • 개인적으로는 새로운 도전을 위해 Meta 외부에서 작은 프로젝트를 시작할 계획

메타와 파이토치에서의 이별

  • 11년간 Meta에서 근무하며, 약 8년 동안 PyTorch를 이끌어 AI 업계 90% 이상 채택률을 달성
    • PyTorch는 현재 엑사스케일 학습을 지원하고, 지능을 재정의하는 기초 모델을 구동
    • MIT부터 인도 농촌 지역까지 교육 현장에서 사용되고 있으며, 접근성 향상 목표를 거의 달성
  • AI 발전 속도가 빠른 만큼 PyTorch는 계속 발전해야 하지만, 이미 많은 성취를 이뤘다고 언급
  • 오픈소스의 힘과 즐거운 연구 문화를 믿은 모든 협력자들에게 감사 인사 전달
  • Meta 내부 다른 직무로 이동할 수도 있었지만, 새로운 도전과 호기심을 위해 외부로 나가기로 결정
  • “AI를 맛있고 접근 가능하게 만들자”는 메시지로 글을 마무리하며, 앞으로도 커뮤니티에 계속 참여 의사 표명

파이토치의 향후 안정성

  • PyTorch를 영구히 맡고 싶지 않았으며, 안정적 상태에서 떠나는 것을 목표로 계획
    • 2024년 말부터 퇴사 준비를 시작했고, 2025년 8월에는 팀이 독립적으로 운영 가능하다고 확신
  • Edward, Suo, Alban, Greg, John, Joe, Jana 등 핵심 인력이 제품·조직 문제를 자율적으로 해결
  • PyTorch Conference의 제품 스토리가 일관되고, 과거 문제점들이 개선된 점을 근거로 조직 회복력 강조
  • Greg, Alban, Ed, Jason, Joe 등이 PyTorch의 가치와 문화를 이어가고 있으며, 가치 일치 인력들이 다수 존재
  • John, Suo, Jana의 기술적 역량과 협업 경험을 구체적으로 언급하며 팀의 지속 가능성에 자신감 표명

메타에서의 시간

  • FAIR 초기 시절을 “마법 같은 시기”로 회상하며, GAN 연구, Starcraft 봇, FAIR 클러스터 구축, 객체 탐지, PyTorch 개발 등 다양한 프로젝트 참여
  • 2015~2016년을 가장 생산적이고 즐거운 시기로 평가
  • 입사 초기 Andrew Tulloch의 멘토링이 큰 도움이 되었음을 언급

파이토치 개발 여정

  • PyTorch를 설계·관리·문서화·배포 등 전 과정에서 직접 참여하며 수백 명 규모의 제품으로 성장
  • Meta 내부·외부의 엔지니어, 연구자, 오픈소스 기여자, 문서 작성자, 하드웨어 파트너 등에게 감사 인사
  • Adam Paszke, Sam Gross, Greg Chanan, Joe Spisak, Alban Desmaison, Edward Yang 등 핵심 인물 다수 언급
  • 2017년 NeurIPS에서 한 대학원생이 PyTorch 덕분에 연구를 완성했다는 사례를 회상하며 사용자 영향력 실감
  • PyTorch Conference가 300명 규모의 가족 같은 모임에서 3,000명 규모의 산업 행사로 성장했지만, 확장된 영향력에 자부심 표명

감사의 말

  • Mark Zuckerberg와 Mike Schroepfer가 오픈소스 전략을 지지한 덕분에 FAIR와 PyTorch가 가능했다고 언급
  • Yann LeCun, Rob Fergus에게 초기 FAIR 구축에 대한 감사 전달
  • Aparna Ramani의 기술적 리더십과 실행력을 높이 평가
  • Santosh, Kaushik, Delia, Oldham, Ben 등 인프라 팀의 환영과 협력을 언급
  • Serkan, Howard, Jerome, Abhijit, Yoram, Joelle, Aparna, Damien 등 관리자들에게 감사 인사

마무리 인사

  • “이건 내 여정이 아니라 우리의 여정이었다”며 공동의 성취를 강조
  • 앞으로는 “작고 새롭고 불편한 일”을 시도하겠다고 밝힘
  • “AI를 맛있고 쉽게 만드는 일을 계속하라”며 PyTorch 커뮤니티에 응원의 메시지를 남김
▲
GN⁺ 1일전  [-]
Hacker News 의견

  • 많은 댓글들이 PyTorch를 결과론적으로 평가하는 것 같음. 하지만 Soumith Chintala가 PyTorch를 공동 개발했을 당시에는 빠르고 인터랙티브한 개발 환경이 거의 없었음. JAX도 존재하지 않았음.
    그 시절 PyTorch를 써본 모든 연구자들이 즉시 전환하고 싶어했을 정도로 훨씬 나았음. Andrej Karpathy도 2017년 트윗에서 “PyTorch를 몇 달 써봤는데 인생이 달라졌다”고 표현했음 (트윗 링크).
    Soumith의 수년간의 헌신적인 노력에 감사하며, 앞으로의 여정에서도 성공을 기원함

    • Chainer가 이미 define-by-run 모델을 제시했었음. 일본의 작은 회사에서 개발된 프레임워크였고, PyTorch 초기 버전은 Chainer에 큰 영향을 받았음을 명확히 밝힘
    • PyTorch는 2015년경의 Python Autograd 라이브러리에서 영감을 받았음. 실제로 PyTorch의 자동미분 시스템 이름도 ‘autograd’였음. JAX는 Autograd의 직접적인 후속작이며, 그 개발자 중 일부는 지금도 JAX 팀에서 일하고 있음. PyTorch의 공동 저자 Adam Paszke 역시 현재 JAX와 Dex 프로젝트에 참여 중임 (Autograd 히스토리, http://pytorch.org/about/">PyTorch 소개 아카이브)

  • 나는 Meta와 PyTorch에서 Soumith에게 직접 채용되어 함께 일한 사람 중 하나임.
    Soumith는 PyTorch를 언제나 커뮤니티 중심 프로젝트로 여겼음. 공동 창작자인 Adam, Sam뿐 아니라 Caffe2 팀과의 통합에서도 모두의 공헌을 기념했음.
    PyTorch는 처음부터 연구 커뮤니티를 위한 오픈 프레임워크로 설계되었고, Soumith는 성장 과정 내내 새로운 사람들과 조직이 참여하도록 이끌었음.
    그는 진정한 인재 자석이었고, 덕분에 수많은 뛰어난 사람들이 열정을 쏟아 PyTorch를 발전시켰음.
    이제 그가 떠나더라도 PyTorch는 충분히 자립 가능한 단계에 있음. 이것이야말로 오픈소스의 성공적인 모습임

    • 나도 Soumith와 함께 일했는데, 그는 정말 전설적인 인물임. 거대한 변화를 만들어내면서도 겸손하고 정치적이지 않으며, 주변 사람들을 성장시키는 리더였음. 진심으로 그에게 행운을 빎

  • 이번 일에서 흥미로운 점은 Meta 내부에 AI 관련 독점 자산이 없다는 신호처럼 보인다는 것임.
    군사 연구가 실제보다 훨씬 앞서 있다고 믿는 신화와 비슷한 느낌임.
    결국 빅테크의 AI 연구소들도 특별한 비밀 기술 없이, 기존과 크게 다르지 않은 일을 반복하고 있는 듯함

    • 너무 과하게 해석하는 것 같음. Soumith는 Meta에서 11년간 일했고, 주식 보상도 충분히 받았을 것임. 게다가 최근 아이가 태어났고, Meta의 워라밸은 좋지 않음.
      또한 Meta는 최근 LLM 중심으로 방향 전환 중이라 PyTorch의 기존 역할이 줄어듦. 이런 점들을 보면 자연스러운 이직 시점으로 보임
    • 군 관련 기술은 실제로는 민간보다 뒤처진 경우가 많음. 비밀 유지가 협업을 방해하고, 정치적 요인으로 비효율이 커짐
    • Soumith의 퇴사는 Meta의 AI 독창성과는 무관해 보임. 단지 새로운 변화를 원한 시점일 뿐임.
      요즘 AI 업계의 ‘AGI 곧 도래’라는 주장에도 내부 개발자들은 크게 흥분하지 않음. Karpathy가 교육으로 돌아가거나 Mira Murati가 스타트업을 차린 것도 같은 맥락임
    • 그는 단지 작은 일에 집중하고 싶다고 했음. 새 프로젝트가 AI 관련일지조차 모름
    • 군수 장비를 직접 다뤄본 사람이라면 알겠지만, ‘첨단 군용 기술’이라 불리는 것들은 대부분 값싼 부품으로 만든 검증된 구형 기술임. 러시아 드론에 Raspberry Pi가 들어간 것처럼, 실제로는 놀라울 정도로 평범함

  • Soumith의 열정은 전염성이 있었음. DCGAN 논문을 보고 Lua Torch로 실험했는데, 작은 Oxford flowers 데이터셋에서도 잘 작동했음.
    Soumith가 그 결과를 SNS에 공유할 정도로 놀라워했음.
    당시 PyTorch와 Lua Torch는 TensorFlow보다 훨씬 다루기 쉬웠고, 코드가 해킹하기 좋은 구조라서 연구자들이 자유롭게 실험할 수 있었음

    • Oxford flowers 데이터셋이 무엇인지, 어디서 구할 수 있는지 묻는 댓글이 있었음

  • Soumith가 남긴 말 중 “작고 새로운 것, 아직 완전히 이해하지 못한 것, 불편한 것을 해보고 싶다”는 부분이 인상적이었음.
    Meta 내부에서도 다른 일을 할 수 있었지만, 그는 밖으로 나가야 한다는 호기심을 따랐음. 마치 ‘숲으로 돌아가는 싯다르타’ 같음

    • “싯다르타의 그림자”라는 표현에 동의하지만, 동시에 그는 사회적 영향력이 큰 메가코프에서 일하다가 잠시 벗어나려는 인물이기도 함

  • 나는 JAX 사용자로서 PyTorch의 성공을 존중함. TensorFlow 1이 실수를 한 이후 PyTorch가 AI 생태계를 지배했음.
    Matt Johnson이 Autograd를 JAX로 발전시킨 것도 언젠가 Soumith처럼 높이 평가받길 바람

    • 왜 TensorFlow가 실패했다고 보는지 묻는 댓글이 있었음
    • JAX와 PyTorch 둘 다 써본 경험이 있는지, 왜 JAX를 선호하는지 궁금하다는 질문도 있었음
    • JAX는 훌륭하지만 Google의 프로젝트 불안정성이 걱정됨. 언제든 JAX 2.0 같은 호환되지 않는 버전으로 교체될 위험이 있음

  • Torch의 기반 라이브러리도 정말 사용하기 즐거운 도구임. Rust에는 tch와 Burn 같은 바인딩이 있고, libtorch와 잘 연동됨.
    PyTorch의 장점은 동적 디버깅이 가능하다는 점임. 터미널에서 직접 모델을 중단하고 내부 상태를 살펴볼 수 있었던 그 경험이 아직도 그리움

    • 그 덕분에 예전에 끔찍한 코드도 많이 썼지만, 그 시절은 정말 영광스러웠음

  • “모든 주요 AI 기업과 하드웨어 벤더가 연락 가능한 위치에 있었지만, 결국 호기심이 이겼다”는 그의 말이 인상 깊었음.
    새로운 강력한 도구를 또 한 번 만들어내길 바람

    • 호기심이 사라지면 모든 게 무너짐. 나도 그 감정을 잘 앎.
      생계를 위해 무의미한 일을 오래 해야 했던 시절이 있었기에, 그런 결정을 내릴 수 있는 그가 부럽기도 함

  • “MIT부터 인도 시골 교실까지 PyTorch가 가르쳐지고 있다”는 말이 인상적이었음.
    오히려 인도의 일부 교실이 미국의 엘리트 공대보다 교육 접근성과 실습 중심성에서 더 나을 수도 있다는 생각이 듦

    • 미국의 ‘엘리트 공대’는 실제로는 사회적 지위와 연구 실적 중심으로 평가받을 뿐, 교육 품질은 낮은 경우가 많음
    • 반대로 인도의 전통 교육은 암기 위주와 시험 중심이라는 비판이 있음. 미국 공대도 완벽하진 않지만, 인도식 교육의 문제는 여전히 심각하다는 의견도 있었음

  • 매일 PyTorch를 사용하는 사람으로서, Soumith와 팀에게 진심으로 감사함.
    이 도구 덕분에 예전엔 상상만 하던 아이디어를 직접 실험할 수 있게 되었음.
    PyTorch는 내 삶의 큰 부분이 되었고, 그의 다음 여정에도 행운이 함께하길 빎

답변달기