Hacker News 의견

• 한 사용자는 발표에서 새로운 점이나 유용한 점을 찾지 못했다고 느꼈음. 발표의 내용이 종교적이고 공허하다고 생각함

• Ilya가 Quoc Le의 사진으로 발표를 시작한 점을 긍정적으로 평가함. Quoc Le는 2012년 신경망 확장 논문의 주저자로, 이 사용자가 딥러닝에 관심을 갖게 된 계기가 되었음

• Ilya의 발언이 겸손하고 공공의 이전 연구에 기반을 두고 있지만, 현재 큰 프로젝트를 진행 중이며 상상력이 풍부하다고 평가함

• "추론이 더 예측 불가능하다"는 Ilya의 발언을 중요하게 생각함. 유용한 추론은 본질적으로 예측 불가능하다고 주장함

• 파이프라인 병렬 처리가 왜 나쁜 아이디어였는지에 대한 질문을 제기함

• 발표가 많은 부분에서 불필요한 내용으로 가득 차 있다고 느꼈음. 지난 10년의 요약, 스케일링 법칙의 한계, 에이전트, 합성 데이터, 컴퓨팅 개선 등이 언급되었음

• Sutskever가 "사전 훈련은 끝날 것"이라고 말한 점을 강조함. 데이터의 한계로 인해 모델 훈련 방식이 변화할 것이라고 예측함

• 인터넷 데이터 대신 훈련에 사용할 대체 데이터로 큐레이션된 합성 데이터셋을 제안함. 저작권 문제로 인해 대규모 독점 데이터셋 사용이 제한되지만, 소유자가 직접 사용할 경우 법적 문제가 해결될 수 있다고 설명함

• DeepMind의 팟캐스트가 이번 발표와 유사한 주제를 다루었지만 더 흥미로웠다고 평가함

• 인터넷 데이터를 유한한 자원으로 비유한 점을 긍정적으로 평가함. 자원의 한계를 인식하고 대처해야 한다고 주장함

• 트랜스포머의 '뉴런'을 실제 생물학적 뉴런과 비교하는 것이 놀랍다고 언급함. 실제 뉴런은 복잡한 생화학적 과정을 포함하지만, 트랜스포머는 단순한 선형 계층과 비선형성을 사용함

• LLM이 Gemini Flash 8B를 사용하여 YouTube 원본 트랜스크립트를 수정한 점을 언급함