▲

GN⁺: 트랜스포머를 창조한 구글 직원들

 (wired.com)
2P by neo 6달전 | favorite | 댓글 1개

구글 직원 8명이 현대 AI를 발명하다: 내부 이야기

  • 2017년 봄에 작성된 "Attention Is All You Need"라는 과학 논문에는 8명의 저자가 있음.
  • 이들은 모두 구글 연구원이었으며, 가장 경력이 많은 기여자인 Noam Shazeer는 자신의 이름이 첫 번째로 나열된 것을 보고 놀람.
  • 저자들은 기여도 순위를 매기는 관행을 '파괴'하기로 결정하고, 모든 이름 옆에 별표를 붙이고 "등재 순서는 무작위"라는 각주를 추가함.

변혁의 시작

  • 이 논문은 AI 분야에서 신경망이라는 기술을 발전시켜, 마치 외계 지능의 산물처럼 느껴지는 강력한 디지털 시스템으로 변모시킴.
  • 이 아키텍처는 ChatGPT, Dall-E, Midjourney와 같은 인공지능 제품의 비밀 재료로 사용됨.
  • 이 논문은 발표된 지 7년이 되어가며 전설적인 지위를 얻음.

변혁의 아키텍처: 트랜스포머

  • 트랜스포머의 이야기는 Jakob Uszkoreit라는 이름의 네 번째 저자로부터 시작됨.
  • Uszkoreit는 자신의 아이디어인 자기주의(self-attention)를 기반으로 새로운 접근 방식을 고안함.
  • 이 네트워크는 문장의 어떤 부분을 참조하여 단어를 번역할 수 있으며, 이는 시스템이 좋은 번역을 생성하는 데 도움이 됨.

협업과 혁신

  • Uszkoreit는 자기주의 모델이 재귀 신경망보다 더 빠르고 효과적일 수 있다고 생각함.
  • 이 아이디어는 Illia Polosukhin, Ashish Vaswani 등 다른 연구원들과의 협력을 통해 발전함.
  • 이들은 "Transformers: Iterative Self-Attention and Processing for Various Tasks"라는 디자인 문서를 작성함.

논문의 출판과 영향

  • 연구팀은 트랜스포머 모델을 사용하여 언어 번역을 수행하고, 그 성능을 BLEU 벤치마크를 사용하여 측정함.
  • 그들의 새로운 모델은 경쟁자들을 능가했으며, 더 큰 모델인 Big은 이전 기록을 깨뜨리는 BLEU 점수를 얻음.
  • 논문은 마감일 직전에 제출되었으며, 구글은 이 작업에 대한 잠정 특허를 신속하게 제출함.

구글의 반응과 변화

  • 구글 내부에서는 이 작업을 단지 또 다른 흥미로운 AI 프로젝트로 보았으며, 구글은 2018년부터 트랜스포머를 제품에 통합하기 시작함.
  • 그러나 이러한 변화는 OpenAI의 급진적인 도약과 마이크로소프트의 트랜스포머 기반 시스템을 제품 라인에 대담하게 통합하는 것과 비교하면 소심해 보임.

구글을 떠난 저자들

  • 모든 저자들은 구글을 떠나 자신들이 만든 시스템을 기반으로 하는 다양한 방식으로 일하고 있음.
  • 이들 중 많은 사람들이 구글을 떠나 새로운 AI 스타트업으로 이동함.

GN⁺의 의견

  • 이 기사는 AI 분야에서 중요한 역할을 한 트랜스포머 모델의 탄생과 발전 과정을 상세히 설명함으로써, AI 기술의 발전에 대한 흥미로운 통찰을 제공함.
  • 트랜스포머 모델은 현재 인공지능 언어 처리의 핵심 기술로, ChatGPT와 같은 대화형 AI의 기반이 되는 중요한 발명임.
  • 이 기사는 구글 내부의 혁신적인 연구 환경이 어떻게 중대한 기술적 돌파구를 가능하게 했는지를 보여줌.
  • 그러나 구글이 이 기술을 상업적으로 활용하는 데 있어 다소 보수적인 접근을 취했다는 점은 기업의 혁신 속도와 전략에 대한 중요한 교훈을 제공함.
  • 이 기술을 도입하는 기업이나 개발자는 트랜스포머 모델의 복잡성과 자원 요구 사항을 고려해야 하며, 이를 통해 얻을 수 있는 이점은 매우 큼.
▲
neo 6달전  [-]
Hacker News 의견

  • 주목 모델에 대한 논의:

    • 주목(Attention) 메커니즘이 새로운 것은 아니지만, 특정 맥락에서 다음 단어 시퀀스를 예측하는 데 충분하다는 것을 보여준 연구가 있음.
    • 2018년에 이 프레임워크를 사용했을 때 예상치 못한 행동을 보였으나, 이는 재미있는 경험이었음.
    • 단순 알고리즘을 대규모로 계산하는 것이 더 나은 결과를 가져온다는 것을 다른 그룹이 발견함.
    • 한 그룹만이 AI를 발견하고 변화시켰다고 주장하는 것은 성가신 일임.
    • 연구자들은 칭찬받을 만하지만, 현대 AI를 발명한 것은 아니며, 흥미로운 방식으로 발전시켰음.
    • 현재는 더 결정론적인 접근 방식으로 돌아가고자 함: 세계 모델, 메모리, 그래프, 에너지 최소화 등.
    • 생성 모델은 재미있고 교훈을 주었지만, 단순히 칩을 더 추가하는 것으로 AGI/SGI를 해결할 수 있는지는 확실하지 않음.

  • 구글의 전성기에 대한 회상:

    • 2014년 구글의 전성기에 Uszkoreit과 NLP 팀의 역할에 대해 논의했을 때, 무제한 예산이 있으면 무엇을 할 것인지 물었고, 그는 "나는 그런 예산을 가지고 있다"고 답함.

  • AI 역사에 대한 대화:

    • Geoffrey Hinton과 Fei-Fei Li와의 대화에서 AI 역사와 Hinton의 연구 방향, Li의 ImageNet에 대한 노력을 다룸.

  • 구글과 OpenAI의 비교:

    • 구글이 OpenAI가 아닌 것은 놀라운 일이며, 구글은 초기에 DeepMind와 많은 박사 학위 소지자들을 보유하고 있었음.

  • 구글 직원들의 협업에 대한 언급:

    • 모든 저자가 구글 직원이며 같은 사무실에서 일했다는 점을 강조하며, 대면 협업이 혁신을 위한 최고의 기술임을 시사함.

  • 구글의 AI 전략에 대한 비판:

    • 저자들 중 누구도 현재 구글에 근무하지 않으며, 구글 CEO가 AI를 얼마나 잘못 다루었는지에 대해 의아해함.

  • 구글 내부의 AI 역사 문서:

    • 구글 직원들은 구글 인트라넷에 보관된 AI 역사의 중요한 순간들, 예를 들어 첫 번째 트랜스포머 구현과 리뷰어 코멘트를 볼 수 있음.

  • 저자들의 다양성에 대한 주목:

    • 8명의 저자 중 6명이 미국 외부에서 태어났으며, 나머지 두 명은 각각 임시로 캘리포니아에 있는 독일인 녹색 카드 소지자의 자녀와 박해를 피해 온 가족의 첫 세대 미국인임.

  • R&D 부서에 대한 지지:

    • 세금 없는 R&D 부서를 지원하는 것에 찬성하며, 십년에 한 번 나올지도 모르는 아이디어가 전체 경제를 추진할 수 있기를 희망함.
    • 현대 컴퓨팅의 경이로움은 자사의 바닥 라인에 즉각적인 영향을 주지 않으면서 이루어진 R&D 확장의 결과임.
답변달기