Meta, Llama 4 이미 작업 시작. 필요한 컴퓨팅 파워는 라마3의 10배
(investor.fb.com)- 2024 Q2 어닝콜 발표에서 마크 주커버그가 언급
- Llama 3는 이미 가장 발전된 모델과 경쟁하고 있으며, 이미 Llama 4 개발을 시작했음
- 내년에는 업계 최고 수준이 되는 것이 목표
- 향후 몇 년 동안 필요한 컴퓨팅 클러스터와 데이터에 대한 계획을 세우고 있음
- Llama 4 학습에 필요한 컴퓨팅 파워는 Llama 3보다 거의 10배 많을 것으로 예상되며, 미래의 모델은 그 이상으로 계속 늘어날 것임
- 이러한 추세가 어떻게 이어질지 예측하기는 어렵지만, 현 시점에서는 새로운 인프라 프로젝트를 가동하는 데 소요되는 긴 리드 타임을 고려할 때 너무 늦기보다는 필요하기 전에 용량을 구축하는 것이 더 낫다고 생각
- 이러한 투자를 확장하면서 회사 전반의 운영 효율성을 유지할 것임