- 신규 모델 지원
- Llama 3: Meta의 새로운 모델이자 현재까지 가장 성능이 뛰어난 개방형 LLM
- Phi 3 Mini: Microsoft의 새로운 38억 개의 파라미터를 갖춘 가벼운 오픈형 모델
- Moondream: 엣지 디바이스에서 효율적으로 실행되도록 설계된 소형 비전 언어 모델
- Dolphin Llama 3: 라마 3 기반으로 에릭 하트포드가 훈련한 무수정 모델. 다양한 교육, 대화, 코딩 기술 포함
- Qwen 110B: 평가에서 뛰어난 성능을 보인 100B 매개변수 크기의 모델(알리바바)
- 버그들 수정
- 모델이 종료되지 않아 API가 중단되던 문제 수정
- 애플실리콘 맥에서 메모리 부족 오류 수정
- Mixtral 아키텍처 모델 실행시 메모리 부족 오류 수정
- 실험적인 동시성 기능
-
OLLAMA_NUM_PARALLEL: 단일 모델에 대해 여러 요청을 동시에 처리
-
OLLAMA_MAX_LOADED_MODELS: 여러 모델을 동시에 로드
- 환경 변수 설정 필요
-
OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve