GN⁺: Meta의 Llama 3 언어 모델 출시

(llama.meta.com)

Llama 3 모델 소개

Meta에서 Llama 3 모델을 공개함. 8B와 70B 사전 학습 및 명령어 튜닝 버전을 모두 제공하여 다양한 애플리케이션 개발을 지원함.
Llama 3는 Meta AI에 통합되어 코딩 작업과 문제 해결에 활용될 수 있음. 이를 통해 Llama 3의 성능을 직접 경험해 볼 수 있음.
Llama 3는 에이전트 개발이나 AI 기반 애플리케이션 개발에 필요한 기능과 유연성을 제공할 예정임.

Llama 3는 언어의 뉘앙스, 맥락 이해, 번역 및 대화 생성과 같은 복잡한 작업에서 뛰어난 성능을 보이는 공개 액세스 가능한 최첨단 모델임.
확장성과 성능이 향상되어 Llama 3는 다단계 작업을 손쉽게 처리할 수 있음. 개선된 사후 학습 프로세스는 거짓 거부율을 크게 낮추고, 응답 정렬을 개선하며, 모델 답변의 다양성을 높임.
또한 추론, 코드 생성, 명령 수행과 같은 기능을 크게 향상시킴. Llama 3로 AI의 미래를 만들어갈 수 있음.

Llama 3 모델은 데이터와 규모를 새로운 수준으로 끌어올림. 최근 발표된 24K GPU 클러스터 2개에서 15조 개 이상의 토큰 데이터로 학습되었는데, 이는 Llama 2에 사용된 학습 데이터 세트보다 7배 더 크고 코드는 4배 더 많음.
이로 인해 지금까지 가장 성능이 뛰어난 Llama 모델이 탄생했으며, Llama 2의 용량을 두 배로 늘린 8K 컨텍스트 길이를 지원함.

Llama 3 출시와 함께 LLM을 사용한 책임감 있는 개발에 대한 가장 포괄적인 정보를 제공하기 위해 책임감 있는 사용 가이드(RUG)가 업데이트됨.
MLCommons에서 발표한 새로운 분류법을 지원하도록 최적화된 Llama Guard 2, Code Shield, Cybersec Eval 2를 포함하여 신뢰 및 안전 도구에 대한 업데이트가 이루어짐.
RUG에 명시된 원칙에 따라, 사용 사례 및 대상에 맞는 고유한 콘텐츠 가이드라인을 기반으로 LLM에 대한 모든 입력과 출력을 철저히 확인하고 필터링할 것을 권장함.

Llama 3의 성능 향상과 더불어 책임감 있는 개발을 위한 가이드라인도 함께 제공된 점이 인상적임. 강력한 성능의 AI 모델일수록 올바르게 사용하기 위한 노력도 병행되어야 할 것임.
다만 오픈소스 프로젝트의 특성상 가이드라인을 준수하도록 강제할 방법은 없어 보임. 개발자들의 자발적인 협조가 필요할 것으로 보임.
Llama 3는 GPT-4 등 OpenAI의 최신 모델과 견줄만한 성능을 보일 것으로 기대되나, 아직 객관적인 벤치마크 결과는 공개되지 않은 상태임. 다양한 태스크에서의 실제 성능이 궁금해짐.
오픈소스 프로젝트인 만큼 Meta 외의 다양한 조직과 개발자들이 Llama 3를 활용한 흥미로운 프로젝트들을 선보일 것으로 기대됨. Llama 3의 잠재력을 확인해볼 수 있는 기회가 될 것임.

Meta가 오픈 소스 접근법을 채택하고 모델 가중치, 토크나이저, 학습 데이터에 대한 정보 등을 공유하는 것에 대해 감사하다는 의견이 있음. Meta의 이런 개방적 접근 덕분에 소비자 하드웨어에서 로컬로 제법 괜찮은 모델을 실행할 수 있게 되었음.
Llama 3 공개와 함께 Meta는 Ray-Ban Meta 스마트 글래스에서 멀티모달 Meta AI를 테스트할 수 있게 될 것이라고 발표함. 전통적인 컴퓨터/스마트폰 인터페이스는 몇 가지 틈새 애플리케이션을 제외하고는 사라질 것이며, 대신 모두가 다른 사람과 상호작용하는 것처럼 자연스럽게 상호작용할 수 있는 자신만의 AI 어시스턴트를 갖게 될 것이라는 의견이 제시됨.
소비자용 24GB GPU에 잘 맞는 모델, 예를 들어 8비트 양자화된 20B 모델이나 4비트 양자화될 수 있는 40B 모델을 보고 싶다는 의견이 있음. Meta가 Llama 1 이후 30B 모델 공개를 중단한 것이 실망스럽다고 함.
Llama 3의 모델 카드에는 다른 Llama 모델 대비 벤치마크 결과가 포함되어 있음. Llama 2 대비 Llama 3의 극적인 성능 향상이 인상적이며, 컨텍스트 윈도우를 8k로 2배 늘린 것이 많은 새로운 기회를 열어줄 것으로 보임.
Zuckerberg가 Llama 3에 대한 인터뷰를 했다는 정보도 공유됨.