Hacker News 의견

• 주목 모델에 대한 논의:

  • 주목(Attention) 메커니즘이 새로운 것은 아니지만, 특정 맥락에서 다음 단어 시퀀스를 예측하는 데 충분하다는 것을 보여준 연구가 있음.
  • 2018년에 이 프레임워크를 사용했을 때 예상치 못한 행동을 보였으나, 이는 재미있는 경험이었음.
  • 단순 알고리즘을 대규모로 계산하는 것이 더 나은 결과를 가져온다는 것을 다른 그룹이 발견함.
  • 한 그룹만이 AI를 발견하고 변화시켰다고 주장하는 것은 성가신 일임.
  • 연구자들은 칭찬받을 만하지만, 현대 AI를 발명한 것은 아니며, 흥미로운 방식으로 발전시켰음.
  • 현재는 더 결정론적인 접근 방식으로 돌아가고자 함: 세계 모델, 메모리, 그래프, 에너지 최소화 등.
  • 생성 모델은 재미있고 교훈을 주었지만, 단순히 칩을 더 추가하는 것으로 AGI/SGI를 해결할 수 있는지는 확실하지 않음.

• 구글의 전성기에 대한 회상:

  • 2014년 구글의 전성기에 Uszkoreit과 NLP 팀의 역할에 대해 논의했을 때, 무제한 예산이 있으면 무엇을 할 것인지 물었고, 그는 "나는 그런 예산을 가지고 있다"고 답함.

• AI 역사에 대한 대화:

  • Geoffrey Hinton과 Fei-Fei Li와의 대화에서 AI 역사와 Hinton의 연구 방향, Li의 ImageNet에 대한 노력을 다룸.

• 구글과 OpenAI의 비교:

  • 구글이 OpenAI가 아닌 것은 놀라운 일이며, 구글은 초기에 DeepMind와 많은 박사 학위 소지자들을 보유하고 있었음.

• 구글 직원들의 협업에 대한 언급:

  • 모든 저자가 구글 직원이며 같은 사무실에서 일했다는 점을 강조하며, 대면 협업이 혁신을 위한 최고의 기술임을 시사함.

• 구글의 AI 전략에 대한 비판:

  • 저자들 중 누구도 현재 구글에 근무하지 않으며, 구글 CEO가 AI를 얼마나 잘못 다루었는지에 대해 의아해함.

• 구글 내부의 AI 역사 문서:

  • 구글 직원들은 구글 인트라넷에 보관된 AI 역사의 중요한 순간들, 예를 들어 첫 번째 트랜스포머 구현과 리뷰어 코멘트를 볼 수 있음.

• 저자들의 다양성에 대한 주목:

  • 8명의 저자 중 6명이 미국 외부에서 태어났으며, 나머지 두 명은 각각 임시로 캘리포니아에 있는 독일인 녹색 카드 소지자의 자녀와 박해를 피해 온 가족의 첫 세대 미국인임.

• R&D 부서에 대한 지지:

  • 세금 없는 R&D 부서를 지원하는 것에 찬성하며, 십년에 한 번 나올지도 모르는 아이디어가 전체 경제를 추진할 수 있기를 희망함.
  • 현대 컴퓨팅의 경이로움은 자사의 바닥 라인에 즉각적인 영향을 주지 않으면서 이루어진 R&D 확장의 결과임.