GN⁺: OpenAI, Google, Anthropic 더 발전된 AI 개발을 위해 고군분투중

• OpenAI, Google, Anthropic 등 주요 AI 기업들은 새로운 모델 개발에서 점점 더 적은 성과를 거두고 있음
• OpenAI는 최신 AI 모델 Orion을 훈련했지만, 기대했던 성능에 미치지 못했음
  • 특히 코딩 질문에 대해 제대로 답변하지 못하는 문제를 겪음
• Google의 Gemini도 내부 기대에 못 미치는 성과를 보였으며, Anthropic은 새로운 Claude 3.5 Opus의 출시 일정이 지연되고 있음

데이터의 한계와 비용 문제

• 고품질의 인간 작성 데이터를 확보하는 것이 갈수록 어려워지고 있음
• AI 모델의 성능이 정체되고 있으며, 소량의 개선이 막대한 비용을 정당화하기 어렵게 만듦
• OpenAI의 Orion은 충분한 코딩 데이터를 확보하지 못한 것이 주요 원인 중 하나로 지목됨
• 새로운 AI 모델 개발에는 수백만 달러의 비용이 소요되며, 향후에는 수십억 달러에 이를 것으로 예상됨

AI의 성능 개선 전략

• OpenAI는 Orion의 출시 전 사후 훈련(post-training) 과정에 집중하고 있음. 이는 사용자 피드백을 통해 모델의 응답을 개선하고, 상호작용 톤을 조정하는 작업을 포함함
• 데이터 부족 문제를 해결하기 위해, 기업들은 출판사와의 계약을 통해 데이터를 확보하거나, 전문가가 데이터를 레이블링하는 방법을 사용하고 있음
• 합성 데이터(synthetic data) 사용도 증가하고 있지만, 고유하고 고품질의 데이터 확보에는 여전히 한계가 있음

AI 확장 법칙의 의문

• AI 업계는 더 큰 모델과 더 많은 데이터가 성능 향상을 가져올 것이라는 **확장 법칙(scaling laws)**에 의존해 왔으나, 최근의 성과는 이를 의심하게 만들고 있음
• Anthropic의 CEO인 Dario Amodei는 데이터 부족이 문제를 일으킬 수 있지만, 이를 극복할 방법을 찾을 것이라 낙관하고 있음

비용과 성능 간의 균형 문제

• AI 개발비가 급증하면서, 새로운 모델이 기대만큼 성능이 향상되지 않을 경우 높은 비용이 문제로 작용함
• OpenAI와 Anthropic은 더 큰 모델 대신, **AI 에이전트(agent)**와 같은 새로운 사용 사례로 초점을 옮기고 있음
  • 에이전트는 사용자 대신 이메일을 보내거나 비행기 예약을 하는 등의 작업을 수행할 수 있음
• OpenAI의 CEO Sam Altman은 컴퓨팅 자원 사용에 있어 어려운 결정들이 필요하다고 언급함
  • "우리는 훌륭한 새로운 모델을 계속 출시할 것이지만, 다음 큰 혁신은 에이전트가 될 것입니다"라고 Reddit AMA에서 설명함

결론

• 주요 AI 기업들은 점점 더 많은 컴퓨팅 파워와 데이터를 사용하고 있지만, 성과가 정체되고 있음
• 기술적인 한계와 데이터 부족 문제를 극복하기 위해, 새로운 접근법과 사용 사례를 모색하고 있음
• 향후 AI 개발의 방향은 모델의 크기보다는 실제 활용 사례에 중점을 둘 가능성이 높아지고 있음

[neo]

Hacker News 의견

• 현재 LLM(대규모 언어 모델) 기반의 가치를 제공할 수 있는 옵션이 다 소진되었다고 느끼는지에 대한 질문이 있음. 한 팀을 이끌고 있는 사람은 아직 갈 길이 멀다고 생각함

  • GPT-4o와 Claude 3.5 모델을 주로 사용하며, 기술적 투자와 LLM의 조합으로 새로운 응용 프로그램의 가능성이 계속해서 나타남
  • 예를 들어, 인간이 조정하는 지식 그래프와 LLM을 결합하여 비즈니스 컨텍스트를 이해하고 팀의 동료처럼 행동하는 "전문가 봇"을 만들 수 있음
  • 예측 및 시뮬레이션 기능을 추가하면 LLM이 합리적인 코드 변경을 생성하고 자동으로 검토 및 반복할 수 있음
  • 모델 개선을 추구하는 것보다 현재의 지능을 활용하는 것이 중요하다고 주장함

• 엔지니어링 분야에서는 지난 3년간 트랜스포머 모델의 사전 및 사후 훈련을 확장하는 데 집중해왔음

  • 새로운 패러다임으로 다중 모달 훈련과 로봇을 포함한 구현 에이전트가 주목받고 있음
  • OpenAI, Google, Anthropic도 로봇 연구에 투자하고 있음

• ChatGPT의 코드 생성 기능은 기존의 코드와 유사한 것을 웹에서 찾을 수 있음

  • LLM은 검색 및 복사/붙여넣기 기능을 제공하며, 이는 일반적인 문제 해결에 충분함
  • 그러나 LLM만으로는 일반 인공지능이 나오지 않음
  • LLM의 자신감 지표가 필요하며, 이는 현재의 LLM보다 훨씬 유용할 것임

• AI의 발전이 데이터 한계에 도달한 것은 좋은 일이며, 더 나은 모델 아키텍처를 개발하는 방향으로 압력이 이동함

  • AI 연구자들이 더 나은 모델을 찾고 있음

• AI가 벽에 부딪혔다는 부정적인 헤드라인은 인터넷이 처음 등장했을 때와 유사함

  • 10년 후에는 AI가 모든 삶의 측면에 깊이 연결될 것이라고 생각함

• 기존의 기술이 산업에 큰 변화를 가져왔으며, AI와 인간의 하이브리드 모델로 전환하는 데 시간이 필요함

• OpenAI의 최신 모델이 기대에 미치지 못했지만, 훈련 데이터의 크기에 따라 선형적으로 성장할 수 있음

• AI 소프트웨어를 구매하여 사용자가 직접 문서를 읽고 새로운 버전의 앱을 작성하도록 도와줄 수 있는 기능을 추가할 수 있는지에 대한 질문이 제기됨