Hacker News 의견

• Llama 3.2 405B와 비교했을 때 성능이 비슷하거나 약간 더 나은 것으로 보임

  • Zuck에 따르면 Llama 3 시리즈의 마지막 릴리스이며, Llama 4는 2025년에 출시될 예정임
  • Steve Jobs가 Dropbox에 대해 '기능이지 제품이 아니다'라고 한 유명한 발언을 상기시킴
  • Meta는 강력한 모델을 오픈소스로 제공하여 AI를 상품화하고 있으며, 이를 통해 Facebook과 Instagram의 서비스를 강화할 수 있음
  • AI를 판매하는 것이 아니라, AI를 사용하여 핵심 비즈니스를 강화하는 것임
  • 오픈소스로 제공함으로써 널리 채택되고 개발되는 이점을 얻을 수 있음

• 우리의 벤치마크에서 예상보다 잘 수행됨

  • 더 깊이 살펴볼 예정이지만 인상적임

• 현재 좋은 "일반" Mac 데스크톱 클라이언트에 대한 논의가 계속되고 있음

  • Ollama, ChatGPT, Claude, Perplexity 등을 사용하고 싶음
  • 다양한 앱에서 AI 채팅을 사용하고 싶으며, 데스크톱 앱일 필요는 없음
  • MacMind는 멋지지만 다른 API의 프론트엔드로 많은 비용이 듦
  • "구두쇠가 되지 말라"는 답변도 합리적임

• 여러 벤치마크에서 GPT-4o와 비슷한 성능을 보임

• Hugging Face에 4bit bitsandbytes, GGUFs 및 원래 16bit 가중치를 업로드함

  • Llama 3.3 70B를 48GB VRAM 이하에서 2배 빠르게 미세 조정할 수 있으며, 메모리 사용량을 70% 줄일 수 있음

• OpenRouter에서 1M 토큰의 가격을 추적 중이며, 새로 고침할 때마다 가격이 감소하고 있음

• Llama의 오픈 소싱은 "Commoditize Your Complement" 전략의 훌륭한 예시임

  • 이 전략에 대해 들어보지 못한 사람들을 위해 Gwern의 "Laws of Tech: Commoditize Your Complement" 링크 제공

• Hugging Face 모델에 대한 질문

  • 노트북에서 JupyterLab을 통해 실행할 수 있는지
  • 어떤 이점이 있는지
  • 정기적으로 업데이트할 수 있는지
  • 특정 용도에 맞게 미세 조정할 수 있는지
  • 모델을 미세 조정하는 데 얼마나 많은 시간과 노력이 필요한지
  • Hugging Face가 이러한 질문에 대한 답변을 제공하는지 여부에 대한 URL 요청

• Meta는 OpenAI/Anthropic을 목표로 강력한 오픈 모델을 출시하여 지속적으로 기대 이상을 제공함

  • 큰 수혜자는 개발자들임