- Llama 3의 가장 큰 버전은 올 여름 출시 예정이며, 작은 두 모델은 다음 주에 출시될 예정임
- 작은 모델의 출시는 Llama 3에 대한 기대감을 불러일으킬 것
- Llama 3는 OpenAI의 GPT-4와 같이 이미지 기반 질문 답변 기능을 갖출 것으로 기대됨
- 가장 큰 버전은 텍스트와 이미지 모두를 이해하고 생성할 수 있는 멀티모달 모델이 될 것임
- 반면, 다음 주에 출시될 두 개의 작은 모델은 멀티모달이 아닐 것임
모델 크기에 따른 장단점
- 작은 모델은 일반적으로 큰 모델보다 실행 비용이 저렴하고 속도가 빠름
- 이는 대형 모델 실행 비용을 고려할 때 점점 더 가치 있게 여겨짐
- 작은 모델은 모바일 기기에서 AI 소프트웨어를 개발하려는 개발자들에게도 유용함
Meta의 Llama 모델 개발 현황
- Meta는 이전에 Llama 2의 세 가지 모델을 출시했음
- 가장 큰 모델은 700억 개의 파라미터를 가지고 있음
- 나머지 두 모델은 각각 130억 개와 70억 개의 파라미터를 가지고 있음
- Llama 3의 가장 큰 버전은 1,400억 개 이상의 파라미터를 가질 것으로 예상됨
- Meta는 Llama 2를 사용하여 자사 앱의 AI 어시스턴트 기능을 제공하고 있음
- 최근 몇 달 동안, Meta의 생성형 AI 부서 직원들은 Llama 2가 논쟁의 여지가 있는 질문에 대해 너무 보수적으로 대응한다는 판단에 따라 Llama 3를 더 개방적으로 만들기 위해 노력해 왔음
GN⁺의 의견
- 메타 플랫폼의 라마 3 소형 버전 출시는 인공지능 언어 모델 분야에서의 경쟁이 치열해지고 있음을 보여줌. 이미 구글과 일론 머스크의 xAI 같은 대형 플레이어들이 오픈소스 모델을 출시하고 있는 상황에서 메타의 이번 움직임은 시장 점유율을 확보하고 기술 리더십을 유지하기 위한 전략으로 해석될 수 있음.
- 소형 버전 모델의 출시는 개발자와 연구자들에게 새로운 도구를 제공하고, 이를 통해 더 큰 버전의 모델에 대한 관심과 기대를 높이는 마케팅 전략일 수 있음. 이는 사용자들이 실제로 큰 모델을 사용하기 전에 작은 모델로 실험하고 익숙해질 수 있는 기회를 제공함.
- 대형 언어 모델의 출시는 기술적으로 매우 복잡하며, 이러한 모델을 효과적으로 훈련하고 유지하기 위해서는 상당한 컴퓨팅 자원과 전문 지식이 필요함. 메타가 이러한 자원을 가지고 있지만, 모델의 윤리적 사용과 편향 문제는 여전히 중요한 고려 사항임.
- 메타의 라마 3 모델이 어떻게 다른 오픈소스 모델과 차별화될지, 그리고 이 모델이 어떤 새로운 기능이나 혁신을 제공할지는 아직 불분명함. 이는 기술 커뮤니티 내에서 흥미로운 토론 주제가 될 수 있음.
- 오픈소스 모델의 출시는 기술의 민주화를 촉진하고, 더 많은 혁신을 가능하게 함. 그러나 이러한 모델의 영향력이 커짐에 따라, 잘못된 정보의 확산, 저작권 침해, 개인정보 보호 문제 등에 대한 우려도 함께 증가하고 있음.