# Llama 3.3 70B로 이제 GPT-4급 모델을 노트북에서 실행가능

> Clean Markdown view of GeekNews topic #18204. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=18204](https://news.hada.io/topic?id=18204)
- GeekNews Markdown: [https://news.hada.io/topic/18204.md](https://news.hada.io/topic/18204.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-12-11T10:02:02+09:00
- Updated: 2024-12-11T10:02:02+09:00
- Original source: [simonwillison.net](https://simonwillison.net/2024/Dec/9/llama-33-70b/)
- Points: 22
- Comments: 13

## Summary

Meta의 Llama 3.3 70B 모델은 이제 일반 노트북(64GB램을 가진 M2긴 하지만)에서도 GPT-4급 성능을 발휘할 수 있으며, Ollama를 통해 42GB의 모델 데이터를 로컬에 다운로드하여 실행할 수 있습니다. 이 모델은 LiveBench 벤치마크에서 높은 성능을 기록하며, 명령어 이해 평가에서 최상위 성능을 보이고, 텍스트 생성, 코드 작성 등 다양한 작업을 수행할 수 있습니다.  LLM 기술이 서버급 하드웨어를 벗어나 일반 개인용 컴퓨터에서도 실행 가능하다는 점을 보여주며, 현재 모델들만으로도 향후 몇 년간 생산적인 작업이 가능할 것으로 예상됩니다.

## Topic Body

- GPT-4급 성능의 Meta의 Llama 3.3 70B 모델을 일반 노트북(64GB MacBook Pro M2)에서 실행할 수 있게 됨  
- 2023년 3월 LLaMA 출시 이후 약 20개월 만에 이룬 큰 발전  
- Ollama를 통해 42GB의 모델 데이터를 로컬에 다운로드하여 실행함 (애플의 MLX로도 실행 가능)  
  - 64GB RAM이 필요하며 실행 시 메모리 사용량이 높으므로 다른 리소스 집중적인 앱은 종료 권장  
- 성능 및 벤치마크  
  - LiveBench 벤치마크에서 상위 19위, Claude 3 Opus보다 높은 성능을 보이며 GPT-4 Turbo와 유사한 수준  
  - 특히 명령어 이해(Instruction Following) 평가에서 최상위 성능을 기록함  
  - 텍스트 생성, 코드 작성, SVG 이미지 생성 등 다양한 작업 수행 가능  
- 개인 기기에서도 점점 더 강력한 모델을 실행할 수 있게 됨  
- 주목할 만한 다른 로컬 구동 LLM 모델들  
  - **Qwen2.5-Coder-32B**  
    - 알리바바 Qwen 연구팀이 개발한 모델로 Apache 2.0 라이선스 기반으로 공개됨  
    - 코드 생성 작업에서 뛰어난 성능을 보여주며, 자유롭게 사용 가능  
    - 오픈소스 라이선스로 개발자들에게 더욱 의미 있는 도구  
  - **QwQ**  
    - OpenAI의 o1 시리즈와 유사한 사고 연쇄(chain-of-thought) 패턴을 구현  
    - 복잡한 문제를 단계적으로 해결 가능  
    - 로컬 환경에서도 원활히 실행되는 점이 인상적  
  - **Meta의 Llama 3.2**  
    - 1B와 3B 크기의 모델은 라즈베리 파이와 같은 소형 컴퓨터에서도 실행 가능  
    - 크기 대비 뛰어난 성능을 제공하며, 이미지 처리 능력을 갖춘 11B와 90B 크기의 멀티모달 비전 모델도 포함  
    - 작은 모델부터 대규모 모델까지 다양한 선택지가 있음  
  - 이러한 모델들은 LLM 기술이 서버급 하드웨어를 벗어나 일반 개인용 컴퓨터에서도 실행 가능하다는 점을 보여줌  
  - 특히 오픈소스 모델들의 발전으로 개발자들이 자유롭게 실험하고 응용할 수 있는 환경이 확장되고 있음  
- 향후 전망  
  - 다중 모달리티와 모델 효율성 측면에서 큰 발전이 예상됨  
  - AGI보다는 실용적이고 효율적인 작업 수행에 초점을 맞춘 발전이 지속될 것으로 전망됨  
  - 현재 모델들만으로도 향후 몇 년간 생산적인 작업이 가능할 것으로 예상

## Comments



### Comment 32395

- Author: javaguardian
- Created: 2024-12-16T10:55:05+09:00
- Points: 1

M1 Max 64GB 에서도 돌아가긴 하겠죠?

### Comment 32301

- Author: ndrgrd
- Created: 2024-12-13T09:57:41+09:00
- Points: 1

아예 컴퓨터 관심 없는 분들이면 몰라도 이쪽 분들에게는 64기가정도는 기본이라고 생각했는데..

### Comment 32310

- Author: plenty
- Created: 2024-12-13T11:00:06+09:00
- Points: 1
- Parent comment: 32301
- Depth: 1

데이터 많이 다루는 경우가 아니면 16이나 64나 크게 체감되는 영역은 아니라서요

### Comment 32304

- Author: savvykang
- Created: 2024-12-13T10:15:30+09:00
- Points: 1
- Parent comment: 32301
- Depth: 1

램 8기가로도 개발 잘 합니다. 모든 작업에 그렇게 메모리가 많이 필요한게 아니에요

### Comment 32288

- Author: felizgeek
- Created: 2024-12-13T07:46:05+09:00
- Points: 1

64GB 램이면 접근성 높은편인거 같아요.  
요즘 노트북용 DDR5 16GB 6만원밖에 안해요.  
80만원대 64GB 노트북도 많습니다.

### Comment 32329

- Author: riskatcher
- Created: 2024-12-13T23:20:14+09:00
- Points: 1
- Parent comment: 32288
- Depth: 1

맥64램은 vram 64랑 같은 의미라서 사실상 300부터 출발이에요

### Comment 32291

- Author: plenty
- Created: 2024-12-13T09:19:52+09:00
- Points: 1
- Parent comment: 32288
- Depth: 1

M시리즈 맥은 램을 cpu, gpu 가 공유하기 때문에 gpu 램이 늘어나는 효과를 가집니다.

### Comment 32258

- Author: ifmkl
- Created: 2024-12-11T17:31:35+09:00
- Points: 1

원 글을 보고왔더니 제목이 이해가 그나마 가네요. 작성자가 내가 가지고 있는 내 노트북에서 Llama 모델을 돌렸음! 이라는 글이니까요.. 허허허

### Comment 32242

- Author: savvykang
- Created: 2024-12-11T11:43:16+09:00
- Points: 1

다른 프로그램 구동까지 고려해서 64GB인걸까요? 소비자급 내지는 개인용 PC라고 부르기에 현실적이지 않은 사양이라고 생각합니다

### Comment 32250

- Author: ffdd270
- Created: 2024-12-11T14:14:29+09:00
- Points: 1
- Parent comment: 32242
- Depth: 1

이런 맥락에서 개인용 컴퓨터는 보통 'B2C 시장에서 판매중이고 살 수 있음(가격과 관계 없이)' 정도더라고요. '모두가 쓸 수 있음' 과는 거리가 멀어보였습니다

### Comment 32245

- Author: stargt
- Created: 2024-12-11T11:56:27+09:00
- Points: 1
- Parent comment: 32242
- Depth: 1

상황은 다양합니다. 저도 개인용으로 맥북프로 96GB을 쓰는데 LLM 관련 개발이 아니더라도 Swap이 자주 차곤 합니다

### Comment 32236

- Author: huiya
- Created: 2024-12-11T10:55:39+09:00
- Points: 2

64GB 램이 일반 노트북...?? ㅠㅠ

### Comment 32237

- Author: dhy0613
- Created: 2024-12-11T11:01:57+09:00
- Points: 1
- Parent comment: 32236
- Depth: 1

소비자급 하드웨어라고 하는게 조금 더 알맞겠네요