Hacker News 의견

• 모델 훈련 비용이 증가함에 따라 학습에 필요한 시간이 늘어나는 문제점이 있음. 작은 모델이 더 빠른 혁신을 이룰 수 있는 이유는 피드백 루프가 더 짧기 때문임

• OpenAI의 GPT-4 개발에 대한 설명이 기사에 대한 신뢰를 주지 못함

• LLMs가 더 이상 단순히 데이터와 컴퓨팅 파워의 증가만으로는 발전하지 못하는 한계에 도달했음을 언급함. 새로운 아이디어가 필요하며, 이를 위한 자금은 충분히 준비되어 있음

• LLM의 현재 수준이 보수적인 신뢰도 지표를 제공할 수 있다면 훨씬 더 유용할 것임. "모르겠음" 또는 "확실하지 않지만..."과 같은 출력을 제공할 필요가 있음

• OpenAI의 다음 출시보다 중요한 것은 소프트웨어 산업이 이 기술을 통합하여 그 가치를 실현하는 것임

• 내부자 발언을 통해 추측할 수 있는 것은, 스케일링과 데이터 및 알고리즘 변화로 10배의 개선을 원한다는 것임. 공개 데이터 소스는 거의 소진되었으며, 알고리즘 변화는 연구를 통해 지속적인 개선을 이루고 있음

  • 데이터가 제한적일 경우 스케일링이 정체됨
  • 컴퓨팅을 더 나은 데이터로 전환하는 방법을 찾는 것이 논리적인 단계임
  • o3가 공개되면서, OpenAI의 다음 방어벽은 최고의 합성 훈련 세트가 될 가능성이 있음

• GPT-5는 일정이 늦춰지지 않았으며, GPT-4o로 이미 반년 전에 출시되었음. 혁신적이지 않아 5로 명명되지 않았고, 마지막 순간에 재브랜딩되었을 가능성이 있음

• 기술 저널리즘이 과장되었다고 언급하며, o3가 출시되었음에도 불구하고 여전히 비판적인 기사가 나옴

• o1-Pro는 주관적으로 GPT-4보다 훨씬 뛰어나며, o3는 그보다 더 나은 것으로 평가됨. 기술이 빠르게 발전하고 있음을 시사함

• 이 기술이 어떻게 적합하게 작동할지를 세계가 알아가고 있으며, 일정이 늦춰졌다는 것은 거의 코미디 같음