- Ollama는 이제 Llama 3.1과 같은 모델에서 툴 호출을 지원함
- 모델이 자신이 알고 있는 툴을 사용해 주어진 프롬프트에 답할 수 있게 하여 더 복잡한 작업을 수행하거나 외부 세계와 상호작용할 수 있음
- Tool 들 : 함수 및 API, 웹브라우징, 코드 인터프리터
- 툴 호출을 활성화하려면 Ollama API의
tools 필드를 통해 사용 가능한 툴 목록을 제공해야 하며,
지원되는 모델은 이제 tool_calls 응답으로 답변함. 툴 응답은 tool 역할의 메시지를 통해 제공될 수 있음
- 지원되는 모델 : Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
- Ollama의 OpenAI 호환 엔드포인트도 이제 툴을 지원하며, Llama 3.1 및 다른 모델로 전환하여 사용할 수 있음
- 향후 개선 사항
- 스트리밍 툴 호출: 여러 툴이 반환될 때 더 빠르게 작업을 시작할 수 있도록 툴 호출 스트리밍 지원
- 툴 선택: 모델이 특정 툴을 사용하도록 강제 가능