▲

GN⁺: Meta Llama 3.2 출시 - 개방형 맞춤형 모델로 엣지 AI와 비전을 혁신하는 기술

 (ai.meta.com)
11P by neo 22일전 | favorite | 댓글 1개

  • Meta, Llama 3.2 출시

    • 소형 및 중형 비전 LLM(11B 및 90B)과 경량 텍스트 전용 모델(1B 및 3B) 포함
    • Qualcomm 및 MediaTek 하드웨어에서 사용 가능하며 Arm 프로세서에 최적화됨
    • 요약, 지시 따르기, 재작성 작업에 적합한 모델

  • Llama 3.2 모델의 특징

    • 11B 및 90B 비전 모델은 이미지 이해 작업에서 뛰어남
    • torchtune을 사용한 맞춤형 애플리케이션을 위한 미세 조정 가능
    • torchchat을 사용한 로컬 배포 가능
    • Meta AI 스마트 어시스턴트를 통해 사용 가능

  • Llama Stack 배포

    • 단일 노드, 온프레미스, 클라우드, 온디바이스 환경에서 Llama 모델 작업을 단순화
    • AWS, Databricks, Dell Technologies, Fireworks, Infosys, Together AI와 협력하여 배포

  • Llama 3.2 모델 다운로드

    • llama.com 및 Hugging Face에서 다운로드 가능
    • AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake 등 파트너 플랫폼에서 즉시 개발 가능

  • Llama 3.2의 성능

    • 11B 및 90B 모델은 문서 수준 이해, 이미지 캡션 작성, 시각적 기반 작업에 적합
    • 1B 및 3B 모델은 다국어 텍스트 생성 및 도구 호출 기능 제공
    • 로컬에서 실행 시 즉각적인 응답과 높은 프라이버시 유지

  • 모델 평가

    • 150개 이상의 벤치마크 데이터셋에서 성능 평가
    • Claude 3 Haiku 및 GPT4o-mini와 경쟁 가능한 성능

  • 비전 모델

    • 이미지 입력 지원을 위해 새로운 모델 아키텍처 도입
    • 텍스트 전용 기능을 유지하면서 이미지와 텍스트 프롬프트를 결합하여 깊이 있는 이해와 추론 가능

  • 경량 모델

    • 가지치기 및 지식 증류 방법을 사용하여 1B 및 3B 모델 개발
    • 로컬에서 효율적으로 실행 가능

  • Llama Stack 배포

    • Llama Stack API를 통해 표준화된 인터페이스 제공
    • 다양한 환경에서 Llama 모델 작업을 단순화

  • 시스템 수준 안전

    • Llama Guard 3 11B Vision 출시
    • Llama Guard 3 1B 모델은 배포 비용을 크게 줄임

  • Llama 3.2 사용

    • 개발자에게 필요한 도구와 리소스 제공
    • Llama 3.2와 Llama Stack을 사용하여 혁신적인 애플리케이션 개발 가능

GN⁺의 정리

  • Llama 3.2는 엣지 및 모바일 디바이스에서 실행 가능한 경량 모델을 포함하여 다양한 비전 및 텍스트 모델을 제공함
  • Qualcomm, MediaTek, Arm 등과의 협력을 통해 다양한 하드웨어에서 최적화된 성능을 제공함
  • Llama Stack 배포를 통해 개발자들이 다양한 환경에서 쉽게 Llama 모델을 사용할 수 있도록 지원함
  • Llama 3.2는 높은 프라이버시와 즉각적인 응답을 제공하여 로컬 애플리케이션 개발에 적합함
  • Claude 3 Haiku 및 GPT4o-mini와 경쟁할 수 있는 성능을 제공하며, 다양한 벤치마크에서 우수한 성능을 입증함
▲
neo 22일전  [-]
Hacker News 의견

  • 새로운 1B 모델의 성능에 놀라움. 1.3GB 다운로드 크기임

    • 전체 코드베이스를 요약하는 데 사용해봄. 완벽하지는 않지만 작은 모델치고는 놀라운 성능을 보임
    • 더 많은 노트는 여기에서 확인 가능함
    • 더 큰 이미지 모델도 시도해봄. lmarena.ai에서 "Direct Chat"을 통해 이미지 업로드 가능함

  • "The Llama jumped over the ______!" 예제에서 1-hot 인코딩으로 "wall"이 100% 확률로 정답임

    • "fence"도 가능성이 있다고 하면 틀림. 모델 증류가 잘 작동하는 이유라고 생각함
    • 원래 모델은 텍스트 답변을 통해 학습하지만, 자식 모델은 예측을 모방하여 더 의미 있는 답변을 학습함
    • Meta의 Llama 3.2 모델이 작지만 강력한 이유를 이해함. 모델의 발전에 놀라움

  • Meta의 Llama 팀의 개방성에 감탄함. 모델 접근뿐만 아니라 구축 방법도 공개함

    • 미래의 모델에 대해 알 수 없지만, Meta의 개방적인 태도에 감사함

  • 초보자 질문: 10배의 소프트웨어 엔지니어 능력을 가진 모델이 필요한데, 인간의 지식은 필요 없음. 그런 모델이 있는지 궁금함

  • Ollama에서 3B 모델을 사용해봄. 광학, 생물학, Rust에 대한 질문에 빠르고 많은 지식을 가지고 있음

    • 매우 인상적인 모델임

  • Ollama 블로그 포스트: 링크

  • llama3.2:3b-instruct-q8_0 모델이 3.1 8b-q4보다 성능이 좋음. MacBook Pro M1에서 더 빠르고 결과도 더 좋음

    • 몇 가지 수수께끼와 사고 실험에 더 나은 답변을 제공함
    • 3.1-8b 설치를 제거함
    • 현재 Ollama 리스트:
      • llama3.2:3b-instruct-q8_0: 3.4GB, 2시간 전 수정됨
      • gemma2:9b-instruct-q4_1: 6.0GB, 3일 전 수정됨
      • phi3.5:3.8b-mini-instruct-q8_0: 4.1GB, 3일 전 수정됨
      • mxbai-embed-large:latest: 669MB, 3개월 전 수정됨

  • Ollama를 위한 웹 UI 클라이언트를 추천해줄 수 있는지 질문함

  • 최신 LLM 벤치마크가 있는 리더보드가 있는지 질문함

    • Livebench와 Lmsys는 몇 주 뒤처져 있고 주요 모델을 추가하지 않음
    • 존재하지 않으면 직접 만들 의향이 있음

  • 3B 모델이 멀티모달(노르웨이어)에서 꽤 좋았지만, 때때로 의미 없는 답변을 많이 함. 8B보다 민감하지만 Gemma 2 2B보다 사용 가능함

    • Python 리스트 정렬 질문에는 괜찮음
    • 90B 비전 모델은 유용한 작업을 거부함. HTML로 이미지를 재현하거나 이미지 데이터를 유용하게 사용하는 데 실패함
    • 70B나 OpenAI에서는 이런 문제가 없었음. 거부가 너무 많음
답변달기