작은 회사(약 30명 규모)가 20억 달러의 평가를 받고, 가장 성능이 좋은 70억 모델과 70억*8 MOE 모델을 만들어냄. 이 모델들은 700억 모델의 성능을 내면서 140억 모델의 추론 파워만 필요함. 이는 OpenAI보다 더 큰 위협이 될 수 있으며, 최근의 투자로 인해 곧 트래픽 부하를 감당할 수 있게 확장하고, 업계의 다양한 문제에 실망한 최고의 연구원들을 끌어들일 수 있을 것임.
Mistral-medium 모델이 벤치마크에서 GPT-3.5와 Google의 Gemini Pro 모델을 큰 차이로 이김. 실제 성능도 벤치마크만큼 인상적일 것으로 기대되며, 안전 필터가 선택적으로 제공되는 것은 안전한 애플리케이션에도 큰 이점임.
Mistral의 가격이 공개됨. Mistral-medium은 100만 출력 토큰당 8달러, Mistral-small은 1.94달러로, GPT-3.5와 GPT-4의 가격과 비교했을 때 경쟁력이 있음을 시사함.
Fabrice Bellard의 TextSynth 서버가 Mistral 7B 모델을 지원하기 시작함. CUDA 지원, BNF 문법 및 JSON 스키마 샘플링 등의 기능이 추가됨.
경쟁은 세계를 발전시키는 방법임. 작고 큰 플레이어들이 경쟁적인 모델을 가지고 있어 기쁨. 벤치마크를 발표할 때 자신들에게 유리하게 조정된 테스트 방식이 아쉬움. 오픈 벤치마크를 통해 주요 모델들을 공정하게 비교하는 작업이 필요함.
이러한 모델들의 컨텍스트 크기 제한에 대한 논의가 부족함. 슬라이딩 윈도우 기술은 실제로 기억력을 약 8k 토큰으로 제한하여 많은 작업에 부족함. Llama2 파생 모델들은 파라미터 수 때문만이 아니라 제공되는 작은 컨텍스트 때문에 미세 조정이 필요함.
"조기 접근 가능한 엔드포인트"는 실제로는 "엔드포인트에 대한 조기 접근을 위한 대기 목록"을 의미함. API 접근은 현재 초대 전용이며, 최고의 모델에 대한 접근을 구독할 수 있을 때 알려줄 것임.
ChatGPT-3.5를 이긴 것은 정말 대단한 성과임. GPT-3.5는 일상적인 것들에 충분하지 않아 GPT-4에 대한 기대가 큼.
Mistral API가 경쟁사가 제안한 인기 있는 채팅 인터페이스의 사양을 따름. 이는 재미있고 마음에 듦.
Mistral-embed는 1024 차원의 임베딩 모델을 제공하며, 검색 능력을 염두에 두고 설계됨. MTEB에서 55.26의 검색 점수를 달성함. 이 임베딩 모델이 오픈 소스로 제공될지에 대한 정보는 아직 없음.
Hacker News 의견