Hacker News 의견

• Mistral Large 2와 Llama 3.1 405b 모델을 테스트한 결과, 두 모델 간에 명확한 우열을 가리기 어려움
• Claude를 사용 중이라면 계속 사용하는 것이 좋음
• Claude에 대한 바람:
  • 더 똑똑해지길 바람
  • 더 긴 컨텍스트 윈도우 (1M+)
  • 네이티브 오디오 입력 및 톤 이해
  • 거절 시 도덕적 판단을 줄이길 바람
  • 더 빠르길 바람
  • 출력 토큰 수 증가
• 모델 경쟁이 치열해지고 있음
• Claude 3.5 Sonnet이 다른 모든 모델을 압도함
• Mistral이나 Llama를 일상적으로 사용하는 방법을 잘 모르겠음
• AI 코딩 어시스턴트를 개발 중이며, 여러 모델을 시도해본 결과 Mistral Large 2가 가장 실망스러웠음
• 비상업적 라이선스가 실망스러움
• Llama 3.1 405b와 경쟁할 만하지만 라이선스가 더 제한적임
• 모델 간 차이가 줄어들고 있어 특정 사용 사례에 맞게 Llama 405B를 미세 조정하는 것이 더 나을 것임
• 품질에서 큰 도약이 없는 한, 현재 상태에서 큰 차이는 없을 것임
• 경쟁이 치열해져서 기쁨
• 많은 비용을 들여 SOTA 모델을 만들고 있지만, GPT-4o와 Claude Opus 수준에 머물러 있음
• 데이터와 GPU를 더 투입하는 것만으로는 한계에 도달하고 있음
• 사용자 경험과 "개성"이 중요해질 것임
• Claude Sonnet을 즐기고 있으며, 다른 모델보다 더 날카롭게 느껴짐
• 각 단계마다 더 많은 에너지와 자원이 필요함을 잊지 말아야 함
• PyLLMs의 최근 모델 벤치마크 결과를 공유함
  • Nemo의 속도와 품질에 놀람
  • Mistral Large는 좋지만 매우 느림
• Claude 모델 중 Opus와 Sonnet 3.5 중 어느 것이 더 능력 있는지 혼란스러움
• Mistral Large 2는 향상된 함수 호출 및 검색 기능을 갖추고 있음
• 함수 호출 정확도가 약 50%라는 것은 복잡한 작업에서 절반은 실패한다는 의미인지 의문임
• ChatGPT-4o를 선호하며, 문제가 있을 때 Claude를 사용하지만 더 나은 결과를 얻지 못함