# Meta Llama 3.2 출시 - 개방형 맞춤형 모델로 엣지 AI와 비전을 혁신하는 기술

> Clean Markdown view of GeekNews topic #16935. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=16935](https://news.hada.io/topic?id=16935)
- GeekNews Markdown: [https://news.hada.io/topic/16935.md](https://news.hada.io/topic/16935.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-09-26T09:54:20+09:00
- Updated: 2024-09-26T09:54:20+09:00
- Original source: [ai.meta.com](https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/?_fb_noscript=1)
- Points: 11
- Comments: 1

## Summary

Meta의 Llama 3.2는 엣지 및 모바일 디바이스에서 실행 가능한 경량 모델을 포함하여 다양한 비전 및 텍스트 모델을 제공하며, 다양한 하드웨어에서 최적화된 성능을 제공합니다. 또한, Llama Stack 배포를 통해 개발자들이 다양한 환경에서 쉽게 Llama 모델을 사용할 수 있도록 지원하며, 높은 프라이버시와 즉각적인 응답을 제공하여 로컬 애플리케이션 개발에 적합합니다. Claude 3 Haiku 및 GPT4o-mini와 경쟁할 수 있는 성능을 제공하며, 다양한 벤치마크에서 우수한 성능을 입증했습니다.

## Topic Body

- Meta, Llama 3.2 출시  
  - 소형 및 중형 비전 LLM(11B 및 90B)과 경량 텍스트 전용 모델(1B 및 3B) 포함  
  - Qualcomm 및 MediaTek 하드웨어에서 사용 가능하며 Arm 프로세서에 최적화됨  
  - 요약, 지시 따르기, 재작성 작업에 적합한 모델  
  
- **Llama 3.2 모델의 특징**  
  - 11B 및 90B 비전 모델은 이미지 이해 작업에서 뛰어남  
  - torchtune을 사용한 맞춤형 애플리케이션을 위한 미세 조정 가능  
  - torchchat을 사용한 로컬 배포 가능  
  - Meta AI 스마트 어시스턴트를 통해 사용 가능  
  
- **Llama Stack 배포**  
  - 단일 노드, 온프레미스, 클라우드, 온디바이스 환경에서 Llama 모델 작업을 단순화  
  - AWS, Databricks, Dell Technologies, Fireworks, Infosys, Together AI와 협력하여 배포  
  
- **Llama 3.2 모델 다운로드**  
  - llama.com 및 Hugging Face에서 다운로드 가능  
  - AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake 등 파트너 플랫폼에서 즉시 개발 가능  
  
- **Llama 3.2의 성능**  
  - 11B 및 90B 모델은 문서 수준 이해, 이미지 캡션 작성, 시각적 기반 작업에 적합  
  - 1B 및 3B 모델은 다국어 텍스트 생성 및 도구 호출 기능 제공  
  - 로컬에서 실행 시 즉각적인 응답과 높은 프라이버시 유지  
  
- **모델 평가**  
  - 150개 이상의 벤치마크 데이터셋에서 성능 평가  
  - Claude 3 Haiku 및 GPT4o-mini와 경쟁 가능한 성능  
  
- **비전 모델**  
  - 이미지 입력 지원을 위해 새로운 모델 아키텍처 도입  
  - 텍스트 전용 기능을 유지하면서 이미지와 텍스트 프롬프트를 결합하여 깊이 있는 이해와 추론 가능  
  
- **경량 모델**  
  - 가지치기 및 지식 증류 방법을 사용하여 1B 및 3B 모델 개발  
  - 로컬에서 효율적으로 실행 가능  
  
- **Llama Stack 배포**  
  - Llama Stack API를 통해 표준화된 인터페이스 제공  
  - 다양한 환경에서 Llama 모델 작업을 단순화  
  
- **시스템 수준 안전**  
  - Llama Guard 3 11B Vision 출시  
  - Llama Guard 3 1B 모델은 배포 비용을 크게 줄임  
  
- **Llama 3.2 사용**  
  - 개발자에게 필요한 도구와 리소스 제공  
  - Llama 3.2와 Llama Stack을 사용하여 혁신적인 애플리케이션 개발 가능  
  
### GN⁺의 정리  
- Llama 3.2는 엣지 및 모바일 디바이스에서 실행 가능한 경량 모델을 포함하여 다양한 비전 및 텍스트 모델을 제공함  
- Qualcomm, MediaTek, Arm 등과의 협력을 통해 다양한 하드웨어에서 최적화된 성능을 제공함  
- Llama Stack 배포를 통해 개발자들이 다양한 환경에서 쉽게 Llama 모델을 사용할 수 있도록 지원함  
- Llama 3.2는 높은 프라이버시와 즉각적인 응답을 제공하여 로컬 애플리케이션 개발에 적합함  
- Claude 3 Haiku 및 GPT4o-mini와 경쟁할 수 있는 성능을 제공하며, 다양한 벤치마크에서 우수한 성능을 입증함

## Comments



### Comment 29220

- Author: neo
- Created: 2024-09-26T09:54:20+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=41649763) 
- 새로운 1B 모델의 성능에 놀라움. 1.3GB 다운로드 크기임
  - 전체 코드베이스를 요약하는 데 사용해봄. 완벽하지는 않지만 작은 모델치고는 놀라운 성능을 보임
  - 더 많은 노트는 [여기](https://simonwillison.net/2024/Sep/25/llama-32/)에서 확인 가능함
  - 더 큰 이미지 모델도 시도해봄. [lmarena.ai](https://lmarena.ai/)에서 "Direct Chat"을 통해 이미지 업로드 가능함

- "The Llama jumped over the ______!" 예제에서 1-hot 인코딩으로 "wall"이 100% 확률로 정답임
  - "fence"도 가능성이 있다고 하면 틀림. 모델 증류가 잘 작동하는 이유라고 생각함
  - 원래 모델은 텍스트 답변을 통해 학습하지만, 자식 모델은 예측을 모방하여 더 의미 있는 답변을 학습함
  - Meta의 Llama 3.2 모델이 작지만 강력한 이유를 이해함. 모델의 발전에 놀라움

- Meta의 Llama 팀의 개방성에 감탄함. 모델 접근뿐만 아니라 구축 방법도 공개함
  - 미래의 모델에 대해 알 수 없지만, Meta의 개방적인 태도에 감사함

- 초보자 질문: 10배의 소프트웨어 엔지니어 능력을 가진 모델이 필요한데, 인간의 지식은 필요 없음. 그런 모델이 있는지 궁금함

- Ollama에서 3B 모델을 사용해봄. 광학, 생물학, Rust에 대한 질문에 빠르고 많은 지식을 가지고 있음
  - 매우 인상적인 모델임

- Ollama 블로그 포스트: [링크](https://ollama.com/blog/llama3.2)

- llama3.2:3b-instruct-q8_0 모델이 3.1 8b-q4보다 성능이 좋음. MacBook Pro M1에서 더 빠르고 결과도 더 좋음
  - 몇 가지 수수께끼와 사고 실험에 더 나은 답변을 제공함
  - 3.1-8b 설치를 제거함
  - 현재 Ollama 리스트:
    - llama3.2:3b-instruct-q8_0: 3.4GB, 2시간 전 수정됨
    - gemma2:9b-instruct-q4_1: 6.0GB, 3일 전 수정됨
    - phi3.5:3.8b-mini-instruct-q8_0: 4.1GB, 3일 전 수정됨
    - mxbai-embed-large:latest: 669MB, 3개월 전 수정됨

- Ollama를 위한 웹 UI 클라이언트를 추천해줄 수 있는지 질문함

- 최신 LLM 벤치마크가 있는 리더보드가 있는지 질문함
  - Livebench와 Lmsys는 몇 주 뒤처져 있고 주요 모델을 추가하지 않음
  - 존재하지 않으면 직접 만들 의향이 있음

- 3B 모델이 멀티모달(노르웨이어)에서 꽤 좋았지만, 때때로 의미 없는 답변을 많이 함. 8B보다 민감하지만 Gemma 2 2B보다 사용 가능함
  - Python 리스트 정렬 질문에는 괜찮음
  - 90B 비전 모델은 유용한 작업을 거부함. HTML로 이미지를 재현하거나 이미지 데이터를 유용하게 사용하는 데 실패함
  - 70B나 OpenAI에서는 이런 문제가 없었음. 거부가 너무 많음