프랑수아 숄레, Google 퇴사

 (developers.googleblog.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Keras 창시자 Francois Chollet가 Google을 떠나 외부에서 새 커리어를 시작하지만, Keras와의 협업은 계속 이어짐
  • Keras는 200만 명 이상 사용자를 가진 AI 개발 도구로, 복잡한 워크플로를 단순화하고 최신 기술 접근성을 넓혀왔음
  • Google 안팎의 여러 서비스가 Keras를 활용하며, Waymo 자율주행차와 YouTube, Netflix, Spotify 추천 사례가 언급됨
  • Chollet는 앞으로도 JAX, TensorFlow, PyTorch 지원과 Keras 로드맵에 관여하며 프로젝트 기여를 계속함
  • Google은 Keras 3 투자와 Keras Hub 출시로 주요 ML 프레임워크 지원과 개발자 선택권을 강화하려 함

Google을 떠나지만 Keras 협업은 계속됨

  • Francois Chollet는 Google을 떠나 외부에서 새로운 커리어를 시작함
  • Google은 Chollet가 만든 Keras와 AI 분야 기여를 높게 평가함
  • Keras는 200만 명 이상 사용자를 보유한 AI 개발 도구로, 복잡한 개발 워크플로를 단순화하고 최신 기술 접근성을 넓혀왔음
  • 활용 사례는 Google 내부와 전 세계 애플리케이션에 걸쳐 있음
    • Waymo 자율주행차
    • YouTube 추천
    • Netflix 추천
    • Spotify 추천

Keras의 이후 로드맵과 Google의 지원

  • Chollet는 Keras의 미래와 프레임워크 지원에 계속 깊이 관여함
    • 지원 대상은 JAX, TensorFlow, PyTorch
    • 프로젝트 기여를 계속함
    • Keras 로드맵 감독을 이어감
  • Google의 Keras 팀은 오픈소스 커뮤니티에서 Chollet와 계속 협업함
  • Google은 Keras 3 투자를 주요 ML 프레임워크 지원과 개발자의 프레임워크 선택권 제공으로 연결함
  • Keras Hub 출시는 강력한 AI 도구 접근성을 넓히고 멀티모달 애플리케이션 개발을 가속하는 단계임
  • Chollet와 Keras 프로젝트를 계속 확인할 수 있는 채널:

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Francois입니다. 질문 있으면 답하겠습니다
    Anthropic 등에 스카우트된 것은 아니고, 친구와 새 회사를 시작합니다. 때가 되면 더 공개할 예정입니다
    Keras를 프로덕션에서 쓰는 곳은 Midjourney, YouTube, Waymo, Google의 여러 제품, Netflix, Spotify, Snap, GrubHub, Square/Block, X/Twitter, United, JPM, Orange, Walmart 등이 떠오릅니다. 전체적으로 Keras는 약 200만 개발자가 쓰고, 크고 작은 많은 회사의 머신러닝을 구동합니다. 전부 TensorFlow 기반은 아니며, 많은 사용자가 JAX나 PyTorch 위에서 Keras를 실행하기 시작했습니다
    2019년에 Keras를 TensorFlow에 합치기로 결정한 건 제가 아니었습니다. 2018년에 TensorFlow 리더들이 내린 결정이었고, 당시 저는 L5 개인 기여자였으며 그건 L8 결정이었습니다. 당시 TensorFlow 팀은 50명 이상으로 컸고, Keras는 저와 오픈소스 커뮤니티뿐이었습니다. 돌이켜보면 Keras는 독립적인 다중 백엔드 프레임워크로 남는 편이 더 나았겠지만, 그러려면 그때 Google을 떠났어야 했습니다. 2023년에 Keras를 다시 다중 백엔드로 만든 일은 엔지니어링과 아키텍처 측면에서도, 제품 자체가 훌륭하다는 점에서도 가장 즐거웠던 프로젝트 중 하나였습니다. 그리고 저는 JAX를 좋아합니다

    • Google이 매우 유능한 사람을 뽑는 건 대단하지만, Keras 창시자이자 주 설계자가 최소한 Staff Engineer로 승진하지 않았다는 건 놀랍습니다
    • 최근 강연 https://www.youtube.com/watch?v=s7_NlkBwdj8&ab_channel=Machi...에서 20:45에는 “ARC는 미리 준비할 수 없고, 해답을 미리 외워서 풀 수 없다”고 했고, 24:45에는 “순전히 패턴을 외우고 되뇌는 것만으로 이 점수를 달성할 가능성이 있다”고 했습니다
      한편으로는 ARC를 암기할 수 없다고 하고, 다른 한편으로는 가능하다고 하는 듯한데 모순 아닌가요?
    • ARC Prize 대회에서 현재 순위표 1위인 MindsAI는 대회의 원래 의도, 즉 ARC와 비슷한 수백만 과제로 모델을 미세 조정하는 방식에서 벗어난 것처럼 보입니다
      목표는 신경망이 몇 개의 예시만으로 일반화하는 새로운 방법을 찾는 것인데, 수백만 샘플로 미세 조정하는 식의 무차별 대입이라면 거의 뭐든 풀 수 있습니다. 동의한다면 왜 MindsAI 해법이 받아들여졌나요?
    • ARC Prize 블로그에서 ARC를 기계에는 더 어렵고 인간에게는 더 쉽게 만들 계획이라고 했는데, 학습 데이터셋 확장에 저항하도록 바뀔지도 궁금합니다. BARC가 한 것처럼요
      지금 상태라면 알고리즘적 발명보다는 BARC x10 같은 접근이 가장 쉬운 해법처럼 느껴집니다
    • 최근 개선 주기에서 34%에서 54%로 오른 것을 단순 회귀로 추정하면, ARC 챌린지의 85% 목표는 2025년 말에서 2026년 중반 사이에 도달할 가능성이 있어 보입니다
      앞으로 몇 년 안에 목표에 도달한다면 AI 위험에 대한 모델을 갱신하게 되나요? “지능 폭발의 비현실성” 글이 더 이상 유효하지 않다고 보게 될까요?

  • 2017년 박사 초기에 Keras를 좋아했지만, 결국 잘못된 추상화였습니다. 시작은 너무 쉬운데, 커스텀 손실 함수 같은 것을 만들기는 너무 어려웠습니다
    TensorFlow를 정말 이해해보려 했고, 일주일 만에 for-loop 하나는 만들 수 있었습니다. 중첩 for-loop는 불가능에 가까웠습니다
    PyTorch는 처음부터 완벽하게 맞았습니다. PyTorch가 없었다면 제때 박사를 끝내지 못했을 겁니다
    Keras는 좋아했고 중요한 이정표였으며 딥러닝이 가능하다고 믿게 해줬지만, 최종 형태는 아니었습니다

    • 2016~2017년의 Keras 1.0은 지금의 Keras 3보다 훨씬 덜 유연했습니다. Keras는 복잡도의 점진적 공개 원칙에 맞춰 설계되어, 쉬운 고수준 작업 흐름으로 시작하되 언제든 구성 요소를 열어 직접 코드로 커스터마이즈할 수 있습니다
      예를 들어 모델 학습에는 내장 fit()이 있지만, compute_loss() 메서드를 직접 작성하면 콜백, 단계 융합, 비동기 로깅, 비동기 프리페치, 분산 같은 fit() 기능을 유지하면서 학습 로직을 바꿀 수 있습니다. 더 나아가 train_step()을 직접 작성하면 기울기 처리도 커스터마이즈할 수 있고, 이 정도는 tf.GradientTape나 torch backward() 같은 백엔드 API를 써야 할 만큼 저수준입니다. 예: https://keras.io/guides/custom_train_step_in_torch/
      더 많은 제어가 필요하면 학습 루프를 처음부터 직접 작성하면 됩니다. 예: https://keras.io/guides/writing_a_custom_training_loop_in_ja...
    • “시작은 너무 쉬운데 커스텀은 너무 어렵다”는 말에 완전히 동의합니다. 당시 커스텀 RNN 변형을 만들고 있었는데, Keras는 족쇄 같았습니다. 그 목적에는 원시 TensorFlow가 더 나았고, PyTorch가 나온 뒤에는 TensorFlow조차 약간 족쇄처럼 느껴졌습니다
    • 예전에 Theano로 직접 작성하던 시절과 비교하면 Keras는 기적 같았습니다

  • 이상합니다. 공식 Google Developers Blog에서 개별 엔지니어가 Google을 떠난다는 글을 본 적이 없습니다. 처음인가요? 매일 유명한 사람이 Google을 떠나는데, Google이 이런 글을 올리기 시작하면 큰 자책골처럼 들립니다
    작성자 두 명 모두 Google에 새로 온 사람들 같고, 둘 중 누구에게도 거의 유일한 글처럼 보입니다

    • Google은 더 이상 사람들이 가고 싶어 하는 뜨거운 곳이 아닙니다. 이런 블로그 글은 엔지니어들의 새 회사 소프트 런칭에 가깝습니다. Googler들이라서 사람들 머릿속에 자리 잡으려면 같은 말을 반복해야 한다는 걸 아는 거죠
    • 이 글이 무슨 목적을 갖는지 모르겠습니다. 게다가 Keras가 딥러닝 세계에서 가장 뜨거운 것도 아닙니다

  • Google이 다중 백엔드 Keras가 헛수고라는 걸 깨달은 것 아닐까요? tf.keras API를 좋아한 적이 없고, 문서는 늘 다중 백엔드를 약속했지만 Keras 3 변경 없이 제대로 제공하지 못했던 것 같습니다
    지금도 “Keras 3 includes a brand new distribution API, the keras.distribution namespace, currently implemented for the JAX backend (coming soon to the TensorFlow and PyTorch backends)”라고 되어 있습니다. 믿기 어렵습니다. 셋은 너무 달라서 하나의 API 아래 조화시키기 어렵습니다. 설령 가능하더라도 이점이 잘 보이지 않습니다. Torch와 Flax도 Keras와 비슷한 목표를 갖고 있고, 제 생각엔 더 낫습니다

    • 처음의 다중 백엔드 Keras는 훌륭했고, TensorFlow 팀이 그 지원을 빼고 Keras를 TensorFlow에 접지 않았다면 오늘날 더 널리 쓰이는 API였을 수도 있습니다. 이유가 있었겠지만, 그 결정이 PyTorch 채택을 직접 늘렸다고 봅니다
    • 실제로 keras.distribution은 TF DTensor와 실험적 PyTorch SPMD API로 구현하기 간단합니다. 아직 하지 않은 이유는 첫째로 이 API들이 실험적이고 JAX만 성숙했기 때문이며, 둘째로 Google에서 대형 모델 분산 수요가 전부 JAX 백엔드 쪽이었기 때문입니다
    • 이걸 Google이 Keras를 싫어한다는 뜻으로 해석할 이유가 있나요? Anthropic에 스카우트됐을 가능성이 훨씬 커 보입니다

  • 추측하자면 그는 Google을 그만둔 것 같습니다. 이틀 전에 100만 달러 이상 규모의 인공 일반 지능 대회가 끝났고, Chollet은 지금 제출물을 심사해 몇 주 뒤 우승자를 발표할 예정입니다. 이 타이밍은 우연일 수 없습니다

    • 더 넓게 보면, 요즘 AI 분야에는 기회가 무한하고, 그의 위상이라면 Google에 묶여 있는 게 그리 매력적이지 않을 겁니다. 아무 벤처캐피털 사무실에 들어가도 하루가 끝나기 전에 원하는 걸 만들 자금으로 1억 달러를 모을 수 있을 겁니다
    • 제 경험상 Google은 똑똑한 사람들이 은퇴하러 가는 곳입니다. 그곳에서 일하는 뛰어난 친구들이 많지만, 모두 입사한 날부터 흥미로운 일을 거의 만들지 않게 됐습니다. 다들 행복하고 편안해 보이지만 야심 있어 보이진 않습니다
      보수는 훌륭하겠지만, 똑똑한 사람이 뭔가를 하고 싶을 때 갈 곳은 아닙니다. 저는 Francois를 오랫동안 따라왔고 약간 연락할 기회도 있었는데, 무언가를 만들고 싶은 욕구가 Google의 편안함보다 더 중요해졌다고 해도 놀랍지 않습니다

  • 진짜 궁금한데, 요즘 누가 Keras를 프로덕션에서 쓰나요? 몇 년 동안 Keras/TensorFlow로 업무 프로젝트를 몇 번 했는데, 기술 부채와 디버깅 시간 손실이 컸고 PyTorch로 바꾸자 그런 문제가 사라졌습니다
    단순 모델의 학습 루프는 Keras가 PyTorch 계열 도우미, 예를 들어 Lightning AI나 Hugging Face accelerate보다 쉽고 빠른 건 맞지만, 유연성은 훨씬 떨어집니다

    • 본문에 따르면 “200만 명이 넘는 사용자와 함께 Keras는 AI 개발의 초석이 되었고, 복잡한 작업 흐름을 간소화하며 첨단 기술 접근을 민주화했다. Waymo 자율주행차부터 매일 쓰는 YouTube, Netflix, Spotify 추천까지 Google과 전 세계의 수많은 애플리케이션을 구동한다”고 합니다
    • 우리는 프로덕션에서 꽤 괜찮은 Keras 모델을 돌리고 있습니다
      커스텀 손실 함수가 필요 없어서 Keras로 충분합니다
      글을 보면 Waymo가 Keras로 돌아가는 듯합니다. 마지막으로 봤을 때 Waymo는 PyTorch 기반 Uber 시도보다 잘하고 있었습니다
    • 둘 다 제대로 써본 적은 없는데, PyTorch가 정확히 무엇을 그렇게 더 잘하나요?
    • 2019년에 이전 직장에서 Keras를 프로덕션에 구현했습니다. 사기 탐지를 위한 컴퓨터 비전 분류였고, 현재 팀에 연락해보니 보안 업데이트 같은 작은 업데이트만 하면서 여전히 만족하며 프로덕션에서 쓰고 있었습니다
      우리 경우에는 Keras로 여러 작은 모델을 앙상블했습니다. 당시 비결은 데이터의 특수성과 라벨링에 있었습니다

  • 어디선가 TensorFlow는 앞으로 적극적으로 개발되지 않을 것이고, Google 내부는 JAX로 전환했으며 TensorFlow는 PyTorch와의 경쟁에서 거의 졌다고 읽었습니다

    • JAX는 정말 좋습니다

  • 그의 트윗들은 꽤 흥미롭습니다
    https://x.com/fchollet/status/1638057646602489856
    https://x.com/fchollet/status/1840486105118015901
    https://x.com/fchollet/status/1845103528806662258

    • 여기서 나온 숫자는 꽤 통찰력이 있습니다
      “LLM은 전체 인터넷보다 훨씬 많은 것으로 학습된다. 고도로 자격을 갖춘 데이터 주석 작업자 군단, 종종 도메인 전문가가 만든 수작업 답변도 소비한다. 오늘날 약 2만 명이 LLM 학습 데이터를 만들기 위해 풀타임으로 고용되어 있다”
    • 소프트웨어 엔지니어로서 미래가 두렵다면 이런 내용은 확실히 위안이 됩니다

  • fchollet이 어떻게 Keras를 TensorFlow 안으로 강제로 넣을 권한이 있었는지 늘 궁금했습니다
    https://github.com/tensorflow/community/pull/24

    • 이 글을 Keras가 죽은 날로 기억합니다. fchollet 측의 매우 이상한 정치적 파워플레이였고, 그 PR뿐 아니라 이후 다른 일들에 선례를 남기며 TensorFlow를 쓰던 커뮤니티와 코드에 헤아릴 수 없는 피해를 줬습니다
      사람들이 TensorFlow를 불필요한 Keras 네임스페이스 아래로 옮기려는 시도에 정당하게 화를 냈는데, 그는 PR을 잠그고 Reddit이 몰려왔다고 했습니다. 여러 변경과 함께 꽤 일관되게 싫어하던 변화였는데도요. PR 스레드에서 사람들이 설득하려 했지만 소용없었고, TensorFlow가 죽든 말든 Keras 이름은 살아남아야 했습니다. 안타깝게도 실제로 TensorFlow는 상당히 그렇게 됐습니다. TensorFlow에 불리한 다른 요인들도 있었지만, 제가 보기엔 이 일이 마지막 못질이었습니다
      그 결과 이후 그가 한 작업과의 접점을 최소화하게 됐습니다
    • 저 링크에는 “@tensorflow tensorflow deleted a comment from fchollet on Nov 21, 2018”도 보이고, 다른 삭제된 댓글들도 보입니다

  • François, 오픈소스 커뮤니티에 큰 기여를 해줘서 고맙습니다
    당신의 작업이 미국 기반 이해관계에만 이익이 되고, 현재 정치 상황을 고려하면 모국에 역풍으로 돌아올 수 있다는 걱정은 없나요? 프랑스에는 당신이 필요합니다. 돌아오세요
    판단하려는 건 아니고, 이에 대한 생각이 궁금합니다

답변달기