Llama 3.3 70B로 이제 GPT-4급 모델을 노트북에서 실행가능

(simonwillison.net)

20P by xguru 6일전 | favorite | 댓글 13개

GPT-4급 성능의 Meta의 Llama 3.3 70B 모델을 일반 노트북(64GB MacBook Pro M2)에서 실행할 수 있게 됨
2023년 3월 LLaMA 출시 이후 약 20개월 만에 이룬 큰 발전
Ollama를 통해 42GB의 모델 데이터를 로컬에 다운로드하여 실행함 (애플의 MLX로도 실행 가능)
- 64GB RAM이 필요하며 실행 시 메모리 사용량이 높으므로 다른 리소스 집중적인 앱은 종료 권장
성능 및 벤치마크
- LiveBench 벤치마크에서 상위 19위, Claude 3 Opus보다 높은 성능을 보이며 GPT-4 Turbo와 유사한 수준
- 특히 명령어 이해(Instruction Following) 평가에서 최상위 성능을 기록함
- 텍스트 생성, 코드 작성, SVG 이미지 생성 등 다양한 작업 수행 가능
개인 기기에서도 점점 더 강력한 모델을 실행할 수 있게 됨
주목할 만한 다른 로컬 구동 LLM 모델들
- Qwen2.5-Coder-32B
  - 알리바바 Qwen 연구팀이 개발한 모델로 Apache 2.0 라이선스 기반으로 공개됨
  - 코드 생성 작업에서 뛰어난 성능을 보여주며, 자유롭게 사용 가능
  - 오픈소스 라이선스로 개발자들에게 더욱 의미 있는 도구
- QwQ
  - OpenAI의 o1 시리즈와 유사한 사고 연쇄(chain-of-thought) 패턴을 구현
  - 복잡한 문제를 단계적으로 해결 가능
  - 로컬 환경에서도 원활히 실행되는 점이 인상적
- Meta의 Llama 3.2
  - 1B와 3B 크기의 모델은 라즈베리 파이와 같은 소형 컴퓨터에서도 실행 가능
  - 크기 대비 뛰어난 성능을 제공하며, 이미지 처리 능력을 갖춘 11B와 90B 크기의 멀티모달 비전 모델도 포함
  - 작은 모델부터 대규모 모델까지 다양한 선택지가 있음
- 이러한 모델들은 LLM 기술이 서버급 하드웨어를 벗어나 일반 개인용 컴퓨터에서도 실행 가능하다는 점을 보여줌
- 특히 오픈소스 모델들의 발전으로 개발자들이 자유롭게 실험하고 응용할 수 있는 환경이 확장되고 있음
향후 전망
- 다중 모달리티와 모델 효율성 측면에서 큰 발전이 예상됨
- AGI보다는 실용적이고 효율적인 작업 수행에 초점을 맞춘 발전이 지속될 것으로 전망됨
- 현재 모델들만으로도 향후 몇 년간 생산적인 작업이 가능할 것으로 예상