# Llama-3.3-70B-Instruct

> Clean Markdown view of GeekNews topic #18139. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=18139](https://news.hada.io/topic?id=18139)
- GeekNews Markdown: [https://news.hada.io/topic/18139.md](https://news.hada.io/topic/18139.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-12-07T09:58:29+09:00
- Updated: 2024-12-07T09:58:29+09:00
- Original source: [huggingface.co](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)
- Points: 2
- Comments: 1

## Topic Body

- **Llama 3.3 컬렉션**
  - 이 컬렉션은 Llama 3.3의 변환기와 원본 저장소를 포함하고 있음
  - 최근 8시간 전에 업데이트됨
  - 총 1개의 항목 포함

## Comments



### Comment 32113

- Author: neo
- Created: 2024-12-07T09:58:29+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=42341388) 
- Llama 3.2 405B와 비교했을 때 성능이 비슷하거나 약간 더 나은 것으로 보임
  - Zuck에 따르면 Llama 3 시리즈의 마지막 릴리스이며, Llama 4는 2025년에 출시될 예정임
  - Steve Jobs가 Dropbox에 대해 '기능이지 제품이 아니다'라고 한 유명한 발언을 상기시킴
  - Meta는 강력한 모델을 오픈소스로 제공하여 AI를 상품화하고 있으며, 이를 통해 Facebook과 Instagram의 서비스를 강화할 수 있음
  - AI를 판매하는 것이 아니라, AI를 사용하여 핵심 비즈니스를 강화하는 것임
  - 오픈소스로 제공함으로써 널리 채택되고 개발되는 이점을 얻을 수 있음

- 우리의 벤치마크에서 예상보다 잘 수행됨
  - 더 깊이 살펴볼 예정이지만 인상적임

- 현재 좋은 "일반" Mac 데스크톱 클라이언트에 대한 논의가 계속되고 있음
  - Ollama, ChatGPT, Claude, Perplexity 등을 사용하고 싶음
  - 다양한 앱에서 AI 채팅을 사용하고 싶으며, 데스크톱 앱일 필요는 없음
  - MacMind는 멋지지만 다른 API의 프론트엔드로 많은 비용이 듦
  - "구두쇠가 되지 말라"는 답변도 합리적임

- 여러 벤치마크에서 GPT-4o와 비슷한 성능을 보임

- Hugging Face에 4bit bitsandbytes, GGUFs 및 원래 16bit 가중치를 업로드함
  - Llama 3.3 70B를 48GB VRAM 이하에서 2배 빠르게 미세 조정할 수 있으며, 메모리 사용량을 70% 줄일 수 있음

- OpenRouter에서 1M 토큰의 가격을 추적 중이며, 새로 고침할 때마다 가격이 감소하고 있음

- Llama의 오픈 소싱은 "Commoditize Your Complement" 전략의 훌륭한 예시임
  - 이 전략에 대해 들어보지 못한 사람들을 위해 Gwern의 "Laws of Tech: Commoditize Your Complement" 링크 제공

- Hugging Face 모델에 대한 질문
  - 노트북에서 JupyterLab을 통해 실행할 수 있는지
  - 어떤 이점이 있는지
  - 정기적으로 업데이트할 수 있는지
  - 특정 용도에 맞게 미세 조정할 수 있는지
  - 모델을 미세 조정하는 데 얼마나 많은 시간과 노력이 필요한지
  - Hugging Face가 이러한 질문에 대한 답변을 제공하는지 여부에 대한 URL 요청

- Meta는 OpenAI/Anthropic을 목표로 강력한 오픈 모델을 출시하여 지속적으로 기대 이상을 제공함
  - 큰 수혜자는 개발자들임