-
Meta, Llama 3.2 출시
- 소형 및 중형 비전 LLM(11B 및 90B)과 경량 텍스트 전용 모델(1B 및 3B) 포함
- Qualcomm 및 MediaTek 하드웨어에서 사용 가능하며 Arm 프로세서에 최적화됨
- 요약, 지시 따르기, 재작성 작업에 적합한 모델
-
Llama 3.2 모델의 특징
- 11B 및 90B 비전 모델은 이미지 이해 작업에서 뛰어남
- torchtune을 사용한 맞춤형 애플리케이션을 위한 미세 조정 가능
- torchchat을 사용한 로컬 배포 가능
- Meta AI 스마트 어시스턴트를 통해 사용 가능
-
Llama Stack 배포
- 단일 노드, 온프레미스, 클라우드, 온디바이스 환경에서 Llama 모델 작업을 단순화
- AWS, Databricks, Dell Technologies, Fireworks, Infosys, Together AI와 협력하여 배포
-
Llama 3.2 모델 다운로드
- llama.com 및 Hugging Face에서 다운로드 가능
- AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake 등 파트너 플랫폼에서 즉시 개발 가능
-
Llama 3.2의 성능
- 11B 및 90B 모델은 문서 수준 이해, 이미지 캡션 작성, 시각적 기반 작업에 적합
- 1B 및 3B 모델은 다국어 텍스트 생성 및 도구 호출 기능 제공
- 로컬에서 실행 시 즉각적인 응답과 높은 프라이버시 유지
-
모델 평가
- 150개 이상의 벤치마크 데이터셋에서 성능 평가
- Claude 3 Haiku 및 GPT4o-mini와 경쟁 가능한 성능
-
비전 모델
- 이미지 입력 지원을 위해 새로운 모델 아키텍처 도입
- 텍스트 전용 기능을 유지하면서 이미지와 텍스트 프롬프트를 결합하여 깊이 있는 이해와 추론 가능
-
경량 모델
- 가지치기 및 지식 증류 방법을 사용하여 1B 및 3B 모델 개발
- 로컬에서 효율적으로 실행 가능
-
Llama Stack 배포
- Llama Stack API를 통해 표준화된 인터페이스 제공
- 다양한 환경에서 Llama 모델 작업을 단순화
-
시스템 수준 안전
- Llama Guard 3 11B Vision 출시
- Llama Guard 3 1B 모델은 배포 비용을 크게 줄임
-
Llama 3.2 사용
- 개발자에게 필요한 도구와 리소스 제공
- Llama 3.2와 Llama Stack을 사용하여 혁신적인 애플리케이션 개발 가능
GN⁺의 정리
- Llama 3.2는 엣지 및 모바일 디바이스에서 실행 가능한 경량 모델을 포함하여 다양한 비전 및 텍스트 모델을 제공함
- Qualcomm, MediaTek, Arm 등과의 협력을 통해 다양한 하드웨어에서 최적화된 성능을 제공함
- Llama Stack 배포를 통해 개발자들이 다양한 환경에서 쉽게 Llama 모델을 사용할 수 있도록 지원함
- Llama 3.2는 높은 프라이버시와 즉각적인 응답을 제공하여 로컬 애플리케이션 개발에 적합함
- Claude 3 Haiku 및 GPT4o-mini와 경쟁할 수 있는 성능을 제공하며, 다양한 벤치마크에서 우수한 성능을 입증함