Hacker News 의견

• 사용자는 자신의 데스크탑에서 Open-WebUI 프론트엔드를 사용하여 Mistral과 몇 가지 다른 모델들을 미세 조정한 컬렉션을 운영 중임. 이들은 채팅과 정보 추출 작업에 충분히 좋은 성능을 보임. Open-WebUI 앱은 chatGPT와 매우 유사하며, 대화를 검색할 수도 있음.

  Open-WebUI GitHub 페이지

• AMD GPU 지원이 언급되지 않은 것에 대해 아쉬움을 표현하며, 이번에 AMD를 선택한 것을 후회함.
• Ollama를 기반으로 온라인 모델과 로컬 모델 모두를 지원하는 채팅 UI를 찾는 사람들을 위해, 개인정보 보호에 중점을 둔 오프라인 앱을 개발 중이며, 그날 아침에 Windows 지원을 추가함.

  msty.app

• 많은 '로컬에서 실행' AI 포트가 서버로 실행되는 이유에 대해 궁금증을 제기함. 개발자들이 UI 프로세스 내에서 코드를 실행할 수 있다는 것을 잊었는지 의문을 표함. 안정적인 확산 실행기와 LLM 호스트에서도 같은 현상을 보임. 필요하지 않은 경우 로컬에서 백그라운드 서비스를 실행하고 싶지 않음.
• 비오픈소스 LM Studio와 Ollama에 대한 사람들의 의견이 궁금함.

  LM Studio

• 몇 년 전만 해도 Mac 사용자들이 기다려야 했을 것 같은데, Windows 사용자들이 Ollama에 접근할 수 없다는 사실을 알지 못했음.
• Linux와 Mac에서 이미 사용 가능하며, Windows 지원이 추가되었다는 변화에 대해 언급함.

  Ollama GitHub 페이지

• Windows 기계에서 지난 며칠 동안 Ollama를 사용해 VS Code에서 로컬 탭 자동완성 기능을 사용해보았고, Mac에서 사용했을 때만큼 좋은 성능을 보임.
• 새로운 Mac Mini에 llama2 모델을 설치한 후 전체 커널 패닉을 경험함. 무슨 일이지?
• 로컬 모델 위에서 실행하고 개발하는 것이 사람들이 선호하는 방식인지, 그리고 배워야 할 다른 필수 도구가 있는지에 대한 질문을 함.