GN⁺: 올라마, 윈도우에서 프리뷰 버전으로 이용 가능
(ollama.com)윈도우에서의 Ollama 프리뷰 사용 가능
- Ollama가 윈도우에서 프리뷰 버전으로 사용 가능해짐.
- 윈도우에서의 Ollama는 GPU 가속, 전체 모델 라이브러리 접근, OpenAI 호환 Ollama API를 포함함.
하드웨어 가속
- Ollama는 NVIDIA GPU와 AVX, AVX2 같은 최신 CPU 명령어 세트를 사용하여 모델 실행을 가속화함.
- 설정이나 가상화 없이도 사용 가능함.
모델 라이브러리 전체 접근
- 윈도우에서 실행 가능한 Ollama의 전체 모델 라이브러리에 접근 가능함.
- LLaVA 1.6 같은 비전 모델을 실행할 때 이미지를 드래그 앤 드롭하여 메시지에 추가할 수 있음.
항상 켜져 있는 Ollama API
- Ollama의 API는 백그라운드에서 자동으로 실행되며, 추가 설정 없이 도구 및 애플리케이션에서 접근 가능함.
- 예를 들어, PowerShell을 사용하여 Ollama의 API를 호출하는 방법이 제시됨.
시작하기
- Ollama on Windows Preview를 시작하기 위해 Ollama를 다운로드하고 설치함.
- 설치 후, 터미널을 열고 모델을 실행하기 위해
ollama run llama2명령어를 사용함. - 새로운 릴리스가 나올 때마다 Ollama는 업데이트를 알림.
- 피드백을 요청하며, 문제가 발생하면 이슈를 오픈하거나 Discord 서버에 가입하여 알릴 것을 권장함.
GN⁺의 의견
- 윈도우 통합: Ollama의 윈도우 통합은 개발자들이 윈도우 환경에서도 대규모 언어 모델을 쉽게 사용할 수 있게 함으로써, 머신러닝 및 AI 개발의 접근성을 높임.
- 하드웨어 가속: GPU 및 최신 CPU 명령어 세트를 활용한 하드웨어 가속은 모델의 실행 속도를 크게 향상시키며, 복잡한 설정 없이도 성능을 최대화할 수 있음.
- API 접근성: 항상 켜져 있는 API와 OpenAI 호환성은 기존 도구와의 연동을 간편하게 하여, 개발자들이 더욱 효율적으로 작업할 수 있게 함.
Hacker News 의견
- 사용자는 자신의 데스크탑에서 Open-WebUI 프론트엔드를 사용하여 Mistral과 몇 가지 다른 모델들을 미세 조정한 컬렉션을 운영 중임. 이들은 채팅과 정보 추출 작업에 충분히 좋은 성능을 보임. Open-WebUI 앱은 chatGPT와 매우 유사하며, 대화를 검색할 수도 있음.
- AMD GPU 지원이 언급되지 않은 것에 대해 아쉬움을 표현하며, 이번에 AMD를 선택한 것을 후회함.
- Ollama를 기반으로 온라인 모델과 로컬 모델 모두를 지원하는 채팅 UI를 찾는 사람들을 위해, 개인정보 보호에 중점을 둔 오프라인 앱을 개발 중이며, 그날 아침에 Windows 지원을 추가함.
- 많은 '로컬에서 실행' AI 포트가 서버로 실행되는 이유에 대해 궁금증을 제기함. 개발자들이 UI 프로세스 내에서 코드를 실행할 수 있다는 것을 잊었는지 의문을 표함. 안정적인 확산 실행기와 LLM 호스트에서도 같은 현상을 보임. 필요하지 않은 경우 로컬에서 백그라운드 서비스를 실행하고 싶지 않음.
- 비오픈소스 LM Studio와 Ollama에 대한 사람들의 의견이 궁금함.
- 몇 년 전만 해도 Mac 사용자들이 기다려야 했을 것 같은데, Windows 사용자들이 Ollama에 접근할 수 없다는 사실을 알지 못했음.
- Linux와 Mac에서 이미 사용 가능하며, Windows 지원이 추가되었다는 변화에 대해 언급함.
- Windows 기계에서 지난 며칠 동안 Ollama를 사용해 VS Code에서 로컬 탭 자동완성 기능을 사용해보았고, Mac에서 사용했을 때만큼 좋은 성능을 보임.
- 새로운 Mac Mini에 llama2 모델을 설치한 후 전체 커널 패닉을 경험함. 무슨 일이지?
- 로컬 모델 위에서 실행하고 개발하는 것이 사람들이 선호하는 방식인지, 그리고 배워야 할 다른 필수 도구가 있는지에 대한 질문을 함.