- Ollama 는 Llama 2, Mistral 등의 LLM을 로컬에서 실행하기 쉽게 만들어주는 오픈소스
- 맥/리눅스를 지원하며, 윈도우즈는 곧 WSL2에서 실행가능
- Ollama의 Python 및 JavaScript 초기 버전 라이브러리가 출시되어, 몇 줄의 코드로 새로운 앱과 기존 앱을 Ollama와 통합 가능
- Ollama REST API의 기능과 느낌을 그대로 이용 가능
시작하기
- Python에서는
pip install ollama를 통해 설치하고, import ollama 후 ollama.chat 함수를 사용하여 대화를 시작할 수 있음.
- JavaScript에서는
npm install ollama를 통해 설치하고, import ollama from 'ollama' 후 ollama.chat 함수를 사용하여 대화를 시작할 수 있음.
사용 사례
- 두 라이브러리 모두 Ollama의 전체 기능 세트를 지원함.
- Python 예제로는 스트리밍, 멀티모달, 텍스트 완성, 사용자 정의 모델 생성, 사용자 정의 클라이언트 설정 등이 있음.
새로운 GitHub 핸들
- 이 라이브러리와 Ollama의 주요 저장소는 이제 새로운 GitHub 조직인
ollama에서 관리됨.
- Dart, Swift, C#, Java, PHP, Rust 등 다양한 프로그래밍 언어로 Ollama와 상호 작용하는 라이브러리를 유지 관리하는 커뮤니티 멤버들에게 감사의 말을 전함.