▲

GN⁺: Llama-3.3-70B-Instruct

 (huggingface.co)
2P by neo 21일전 | favorite | 댓글 1개
  • Llama 3.3 컬렉션
    • 이 컬렉션은 Llama 3.3의 변환기와 원본 저장소를 포함하고 있음
    • 최근 8시간 전에 업데이트됨
    • 총 1개의 항목 포함
▲
neo 21일전  [-]
Hacker News 의견

  • Llama 3.2 405B와 비교했을 때 성능이 비슷하거나 약간 더 나은 것으로 보임

    • Zuck에 따르면 Llama 3 시리즈의 마지막 릴리스이며, Llama 4는 2025년에 출시될 예정임
    • Steve Jobs가 Dropbox에 대해 '기능이지 제품이 아니다'라고 한 유명한 발언을 상기시킴
    • Meta는 강력한 모델을 오픈소스로 제공하여 AI를 상품화하고 있으며, 이를 통해 Facebook과 Instagram의 서비스를 강화할 수 있음
    • AI를 판매하는 것이 아니라, AI를 사용하여 핵심 비즈니스를 강화하는 것임
    • 오픈소스로 제공함으로써 널리 채택되고 개발되는 이점을 얻을 수 있음

  • 우리의 벤치마크에서 예상보다 잘 수행됨

    • 더 깊이 살펴볼 예정이지만 인상적임

  • 현재 좋은 "일반" Mac 데스크톱 클라이언트에 대한 논의가 계속되고 있음

    • Ollama, ChatGPT, Claude, Perplexity 등을 사용하고 싶음
    • 다양한 앱에서 AI 채팅을 사용하고 싶으며, 데스크톱 앱일 필요는 없음
    • MacMind는 멋지지만 다른 API의 프론트엔드로 많은 비용이 듦
    • "구두쇠가 되지 말라"는 답변도 합리적임

  • 여러 벤치마크에서 GPT-4o와 비슷한 성능을 보임

  • Hugging Face에 4bit bitsandbytes, GGUFs 및 원래 16bit 가중치를 업로드함

    • Llama 3.3 70B를 48GB VRAM 이하에서 2배 빠르게 미세 조정할 수 있으며, 메모리 사용량을 70% 줄일 수 있음

  • OpenRouter에서 1M 토큰의 가격을 추적 중이며, 새로 고침할 때마다 가격이 감소하고 있음

  • Llama의 오픈 소싱은 "Commoditize Your Complement" 전략의 훌륭한 예시임

    • 이 전략에 대해 들어보지 못한 사람들을 위해 Gwern의 "Laws of Tech: Commoditize Your Complement" 링크 제공

  • Hugging Face 모델에 대한 질문

    • 노트북에서 JupyterLab을 통해 실행할 수 있는지
    • 어떤 이점이 있는지
    • 정기적으로 업데이트할 수 있는지
    • 특정 용도에 맞게 미세 조정할 수 있는지
    • 모델을 미세 조정하는 데 얼마나 많은 시간과 노력이 필요한지
    • Hugging Face가 이러한 질문에 대한 답변을 제공하는지 여부에 대한 URL 요청

  • Meta는 OpenAI/Anthropic을 목표로 강력한 오픈 모델을 출시하여 지속적으로 기대 이상을 제공함

    • 큰 수혜자는 개발자들임
답변달기