Hacker News 의견

• Llama 3.1 모델들이 성능을 개선했음

  • 8B와 70B 모델이 Llama 3보다 성능이 향상됨
  • 405B 모델은 GPT-4o, GPT-4 turbo, Claude 3.5 Sonnet, Claude 3 Opus와 경쟁할 수 있는 수준임

• GPT-4o와 Llama 3.1 405B 모델 비교

  • MMLU: GPT-4o 88.7, Llama 3.1 405B 88.6
  • GPQA: GPT-4o 53.6, Llama 3.1 405B 51.1
  • MATH: GPT-4o 76.6, Llama 3.1 405B 73.8
  • HumanEval: GPT-4o 90.2, Llama 3.1 405B 89.0
  • MGSM: GPT-4o 90.5, Llama 3.1 405B 91.6

• Groq.com에서 초저지연으로 새로운 모델들과 대화 가능함

  • 8B와 70B API 접근 가능
  • 405B API는 선택된 고객만 접근 가능

• 적절한 하드웨어를 사용하면 집에서도 GPT-4o와 경쟁할 수 있는 LLM을 실행할 수 있음

• Ollama, Huggingface, Groq 등에서 로컬로 모델 실행 가능함

  • LLMStack을 사용하여 로컬에서 모델을 테스트하거나 애플리케이션을 빠르게 구축할 수 있음

• Ollama에서 70B 버전을 실행해본 결과 매우 좋았음

  • 가이드라인과 디스클레이머를 끄는 명령어를 실행할 수 있었음
  • 엔지니어의 잠재적 편향을 줄이는 명령어 목록을 제공받음

• Claude 3.5 Sonnet이 코딩 작업에 매우 좋음

  • 아티팩트 기능과 함께 코딩 벤치마크에서 여전히 최고임

• 오픈 소스 모델의 가격 정보 문의

  • 자체 호스팅에 매우 흥미롭지만, 토큰당 호스팅 추론 가격이 OpenAI와 Anthropic에 비해 경쟁력이 떨어짐
  • 예: Llama 3 70B는 다양한 플랫폼에서 백만 토큰당 $1에서 $10 사이, Claude Sonnet 3.5는 백만 토큰당 $3