Noam Shazeer, OpenAI 합류

 (twitter.com/NoamShazeer)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Transformer 아키텍처를 만든 핵심 인물이자 Google Gemini 공동 리드였던 Noam Shazeer가 OpenAI 합류를 발표
  • 그는 2000년 Google에 합류한 초기 직원으로, 검색 철자 교정 개선과 AdSense의 핵심 알고리듬 제작에 기여했음
  • 2017년 "Attention Is All You Need" 논문 공동 저자로, 거의 모든 현대 LLM의 기반이 되는 Transformer 아키텍처를 만들었음
  • 또한 LaMDA와 Meena의 주요 기여자
    • Meena — 2020년 Google이 공개한 오픈 도메인 대화형 챗봇으로, 26억 개 파라미터 규모의 모델을 통해 더 자연스럽고 맥락에 맞는 대화를 목표로 한 연구 프로젝트
    • LaMDA (Language Model for Dialogue Applications) — Meena의 후속으로 2021년 발표된 대화 특화 대규모 언어 모델로, 자유로운 주제의 자연스러운 멀티턴 대화 생성을 목표로 했으며 이후 Google의 챗봇·Bard 초기 기반 기술로 이어짐
  • 2021년 Character.AI를 공동 창업하며 구글을 떠났으나, 2024년에 약 4조원($2.7B) 규모로 구글에 인수되면서 복귀해 VP Eng 및 Gemini 공동 리드로 활동했음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 관심 있는 분들을 위해, Wired가 2년 전에 Attention Is All You Need 논문의 뒷이야기를 다뤘음: https://www.wired.com/story/eight-google-employees-invented-...
    각 저자의 기여를 이해하는 데 맥락을 줌. 기사에서 Shazeer에 대해 말하길, 그의 합류가 결정적이었고 자기 주의(self-attention) 같은 이론적·직관적 메커니즘은 생명력을 보이려면 경험 많은 소수의 “마법사”가 매우 신중히 구현해야 하는 경우가 많다고 함. Shazeer는 바로 자신의 방식으로 Transformer 팀 코드의 버전을 새로 썼고, “기본 아이디어를 가져와 직접 만들었다”고 했으며, 가끔 Kaiser에게 질문했지만 대부분은 한동안 그냥 해보고 돌아와 “봐, 작동해”라고 말했다고 함. 팀원들이 나중에 “마법”, “연금술”, “부가 장치” 같은 말로 묘사한 방식으로 시스템을 한 단계 끌어올렸다는 내용임

    • “마법”, “연금술”, “부가 장치” 같은 표현은 비기술 대중에게 실질 내용 없이 과장 포장하는 훈련을 꽤 받은 사람들처럼 들림

  • Noam Shazeer는 Transformer 구조를 소개한 기념비적 논문 “Attention Is All You Need”의 주저자 중 한 명임

    • 이건 그의 중요성을 과소평가한 표현임. 저자 순서는 무작위였지만, 핵심 아이디어는 정말로 그의 것이었다고 봄. 이게 GDM에 대해 뭘 말해주는지도 궁금함

  • 전체 흐름을 따라오지 않은 분들을 위한 맥락: Shazeer는 2000년에 Google에 합류한 오래된 Google 연구자였고 “Attention Is All You Need”의 공동 저자였음
    그는 2021년에 Google을 떠나 Character.AI를 공동 창업했고, 2024년에 Google은 Character.AI와의 라이선스·인재 계약을 통해 그와 일부 Character.AI 연구자들을 다시 데려왔음. 보도상 규모는 약 27억 달러였고, 이후 그는 Gemini 공동 리드가 됨. 이제 다시 Google을 떠나 OpenAI로 간다는 흐름이라 흥미로운 시기임

    • 그가 처음 Google을 떠난 이유는, 자신이 가능하다고 본 챗봇형 제품을 Google이 출시하지 않으려 했기 때문임. Google은 많은 돈을 들여 그를 다시 데려왔고 Gemini 리드 중 한 명으로 만들었음
    • Dwarkesh 팟캐스트에서 Jeff Dean과 함께 나온 Noam을 처음 봤는데, Google 사람들이 사안을 어떻게 보는지 맛보고 싶다면 추천함
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • 이 정도 단계면 정말 보상이 유혹 요인인지, 아니면 무엇을 할 수 있느냐가 더 중요한 건지 궁금함. Google도 OpenAI가 줄 수 있는 만큼은 쉽게 줄 수 있을 것 같은데, 오래된 회사라 정말 특이한 조건을 맞추기 어려운 건지도 모르겠음
    • 인수된 사람이 2년도 안 돼 어떻게 떠날 수 있는지 궁금함
    • 결국 “Hopfield Networks is All You Need”라는 결론에 도달하면 좋겠음

  • 와, 돌아온 지 얼마 안 돼서 그가 그만두게 만든 이유가 대체 뭘까?
    이게 정확하지 않길 바라지만 맞을까 봐 걱정됨: https://x.com/signulll/status/2067446889956430273

    • 위 링크를 누르기 싫은 사람들을 위한 nitter 링크: https://nitter.net/signulll/status/2067446889956430273
    • signull은 알려진 업계 내부자라기보다는 익명 막말 계정에 가깝지만, 적어도 바깥에서 분위기로 따라보는 입장에서는 Sam Altman이 OpenAI에 기여하는 방식을 꽤 잘 포착한 것 같음
    • 추측해야 한다면 돈이 한몫했을 듯함
    • Silicon Valley 한 에피소드처럼 읽힘. 지금 그 드라마를 리부트하면 웃긴 소재가 정말 많을 텐데 아쉬움
    • “돈”과 Altman 쪽의 많은 헛소리 때문이라고 보겠음

  • [수정: 내 댓글은 원래 Noam을 또 다른 “Scam Altman”이라고 부르던 댓글에 대한 답이었는데, 부모가 바뀌었음. 원래 하위 스레드가 정리된 건 상관없지만 이 맥락이 있어야 이해될 것 같음.]
    Noam은 진짜 실력자고, 옛날 2000년대 Google 엔지니어링 내부에서는 꽤 전설적이었음. Paul Buchheit가 “맞춤법 검사기를 어떻게 만들 것인가”라는 면접 질문으로 그를 인터뷰했는데, 그는 당시 최신 기술보다 나은 것을 생각해냈고, 이후 사실상 첫 2주짜리 Noogler 프로젝트로 Google 맞춤법 교정기를 만들어냈다는 얘기가 있음
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    여기 통찰이 좀 있어 보임. 수정: 게시글은 삭제된 것 같지만 댓글은 볼 수 있음. 한 줄 요약하면, 좋게 말해도 그 사람은 정치적으로 노골적이고 강한 신념을 갖고 있었다는 것임

  • Gemini에는 아주 나쁜 소식임. 작년에 2.5 Pro로 잠깐 반등한 건 Noam이 이끈 것처럼 보였음

    • 솔직히 장기적으로는 별 영향 없다고 봄. 모델에는 해자가 없고 점점 범용 상품이 되고 있음
      그와 별개로 Google은 꽤 좋은 위치에 있음. Anthropic/OpenAI처럼 AI에 돈을 쏟아붓고 있지도 않고, AI를 통합할 수 있는 제품 영역을 보유하고 있음. 게다가 성숙한 광고 모델도 있어서, 대형 언어 모델에서 실제 매출을 조금이라도 만들어낼 수 있는 쪽은 오히려 그 부분일 수 있음

  • 첫 번째 질문: OpenAI는 여기에 얼마를 썼을까?
    두 번째 질문: OpenAI는 왜 그 돈을 써서, 인재 영입에서 확실히 더 많이 지불할 수 있는 Google 인재를 빼오려 할까? 시장을 이끌고 있고 재무적으로도 어느 정도 제약이 있는 Anthropic이 아니라

    • 관련 보도를 보면 Anthropic 사람들은 훨씬 충성도가 높고, OpenAI와 Meta의 인재 빼오기 시도도 대체로 성공하지 못한 것 같음

  • 와, Google은 Noam을 다시 데려오려고 수십억 달러를 냈음. 보도가 맞다면 OAI가 정말 인상적인 일을 한 셈임

  • AI 채용이 점점 스포츠 자유계약 시장처럼 보이기 시작함
    Karpathy는 Anthropic으로, 이제 Noam은 OpenAI로 감

    • Karpathy는 OpenAI로 가는 줄 알았음
답변달기