-
AI2에서 OLMo 7B 모델을 공개함. 이는 사전 학습 데이터와 학습 코드를 함께 공개한 진정한 의미의 오픈 소스 대규모 언어 모델임.
- 연구자와 개발자가 최고의 오픈 모델을 사용하여 집단적으로 언어 모델 과학을 발전시킬 수 있게 함.
- Meta의 AI 과학자 Yann LeCun은 오픈 소스 커뮤니티가 AI의 미래를 가장 빠르고 효과적으로 구축할 수 있다고 언급함.
-
OLMo 프레임워크의 주요 특징:
- 완전한 사전 학습 데이터: AI2의 Dolma 데이터셋을 사용하며, 학습 데이터를 생성하는 코드도 포함됨.
- 학습 코드와 모델 가중치: 7B 스케일의 4가지 모델 변종에 대한 전체 모델 가중치와 추론 코드, 학습 지표, 학습 로그 등을 제공함.
- 평가: Catwalk 프로젝트 아래 500개 이상의 체크포인트와 평가 코드 등 개발에 사용된 평가 도구를 공개함.
-
OLMo를 통해 AI 연구자와 개발자는 다음과 같은 경험을 할 수 있음:
- 더 정확한 분석: 학습 데이터에 대한 완전한 통찰력을 바탕으로 더 빠르게 작업할 수 있음.
- 탄소 배출 감소: 전체 학습 및 평가 생태계를 공개함으로써 중복 개발을 줄일 수 있음.
- 지속적인 결과: 모델과 데이터셋을 공개하여 이전 모델에서 배우고 구축할 수 있게 함.
-
AMD, CSC(Lumi Supercomputer), University of Washington, Databricks 등과의 협력을 통해 OLMo 개발이 가능했음.
GN⁺의 의견
- AI 모델의 투명성 향상을 위해 학습 데이터와 코드를 공개한 것은 큰 의미가 있어 보임. 하지만 데이터 편향성 등의 문제가 있을 수 있으므로 이에 대한 검토도 필요할 것 같음.
- 오픈소스 언어모델 생태계 활성화로 기술 발전이 가속화될 것으로 보임. 다만 대형 IT 기업들의 폐쇄형 AI 모델과의 경쟁에서 어떤 성과를 낼 수 있을지 지켜볼 필요가 있음.
- AI 개발에 필요한 막대한 컴퓨팅 자원 확보를 위해 다양한 기관과의 협력이 매우 중요해 보임. 학계-산업계 간 협력 모델로서 좋은 본보기가 될 것 같음.
- OLMo를 통해 언어모델의 작동 원리에 대한 과학적 연구가 활발해질 것으로 기대됨. 이는 보다 안전하고 신뢰할 수 있는 AI 개발로 이어질 수 있을 것임.