Hacker News 의견

• 최근 몇 달 동안 지역 호스팅 LLM의 사용 편의성이 놀랍게 향상되었음.

  • Mozilla-Ocho의 llamafile이 얼마나 사용하기 쉬운지 몇 시간 전에 토로함.
  • 어떤 LLM을 사용할지 결정하기 어려움을 겪음.

• OpenAI API 호환성이 커뮤니티 표준이 되는 것에 대해 개인적으로 불만을 가진 사람들이 있음.

  • 데이터 구조의 불필요한 중첩 등 몇 가지 어색함이 있지만, 큰 불만은 없음.
  • API가 표준이 되는 것에 대한 문제점과 대안 표준에 대한 시도가 있는지 궁금함.

• Copilot의 개선된 버전을 개발 중이며, 사용자가 자신의 LLM을 가져올 수 있도록 지원함.

  • OpenAI 호환 백엔드를 추가하여, OpenAI 호환 API 엔드포인트를 제공하면 해당 모델의 의미에 따라 프롬프트 형식, 중단 시퀀스, 최대 토큰 등을 처리함.
  • 로컬 개발 환경에서 테스트할 수 있는 이러한 기능이 필요했으며, Ollama가 이를 제공함으로써 다양한 LLM을 지원하는 테스트가 훨씬 쉬워짐.

• Ollama는 다른 도구들보다 더 잘 작동하며, 간단히 작동함.

  • Raspberry pi 4에서 Dolphin Mixtral 7b를 실행하여 옥수수빵 레시피를 요청했고, 몇 시간 후에 두 캐릭터가 생성된 것을 발견함.

• Ollama의 Linux 설치 스크립트는 현재 표준 스타일로 작동함.

  • 그러나 스크립트가 마지막으로 확인했을 때 sudo를 통해 루트 권한을 요청함.
  • 도구를 원한다면 스크립트를 다운로드하여 확인하거나 필요에 따라 수정할 것을 권장함.

• OpenAI와의 호환성이 약간 오해의 소지가 있음.

  • 역할과 내용 구현은 항상 비교적 간단했음.
  • 에이전트를 호스팅할 때는 실제로 작업을 수행해야 함.
  • 에이전트 시스템에 스크립팅 엔진을 포함시켰고, 보안과 권한 설정을 고려해야 할 필요성을 느낌.

• 호환성 계층은 라이브러리에서도 구축할 수 있음.

  • 예를 들어, Langchain은 여러 LLM 백엔드와 작동하는 llm()을 가짐.

• 오픈소스(예: HF, VLLM) 및 상업 모델(OpenAI, Google, Anthropic, Together) 간에 쉽게 전환할 수 있는 프로젝트를 진행 중임.

  • HTTP API 없이 Python에서 직접 사용하고 싶다면 사용하기 더 쉬움.

• Ollama의 사용 사례는 무엇이며, 왜 직접 llama.cpp를 사용하지 않아야 하는가에 대한 의문 제기.

• Ollama가 Dockerized HTTP 서버로서 llama.cpp를 직접 호출하는 것인지, 그리고 새로 추가된 OpenAI API를 제외하고는 어떤 차이가 있는지에 대한 질문.