GN⁺: LM Studio - LLM을 로컬에서 쉽게 실행하게 해주는 도구

• 로컬에서 LLM 을 찾고, 다운로드 하고, 오프라인으로 실행 지원
  • LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X 등의 모델
• 맥/윈도우/리눅스(베타)
• 내장 채팅 UI 또는 OpenAI 호환 로컬 서버를 통해 모델 사용 가능
• HuggingFace의 ggml 기반 Llama, MPT, StarCoder 모델등을 지원함
  • (예: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT 등).
• 최소 사양 및 요구사항
  • Apple Silicon Mac (M1/M2/M3) macOS 13.6 이상
  • Windows / Linux PC (AVX2 지원하는 프로세서)
  • 16GB+ 이상 램 권장. PC 에선 6GB+ VRAM 권장
  • NVIDIA/AMD GPUs 지원

LM Studio 개인정보 보호 및 사용

• LM Studio는 사용자의 데이터를 수집하거나 모니터링하지 않으며, 모든 데이터는 사용자의 기기에 로컬로 남아 있음
• 개인적인 용도로는 무료이며, 업무용으로 사용하고자 할 경우 팀에 연락해야 함

GN⁺의 의견

• LM Studio는 개인정보 보호를 중시하는 사용자에게 매력적인 솔루션으로, LLM을 오프라인으로 실행할 수 있는 기능이 가장 중요함.
• 사용자의 데이터가 로컬에만 저장되고, 다양한 모델을 지원하는 점이 흥미롭고, 개인 사용자에게 무료로 제공되는 점이 유익함.
• 하드웨어 요구 사항이 상대적으로 높아 최신 기기 사용자에게 적합하며, 업무용 사용을 계획 중인 점이 긍정적임.

[neo]

Hacker News 의견

• Ollama와 UI를 사용하여 오픈 소스 코드와 동일한 작업을 수행할 수 있음을 보여주는 링크 공유.
• LM Studio에 대한 긍정적인 평가와 그 특징들:
  • 로컬 모델 런타임
  • 모델 카탈로그
  • 모델과 쉽게 대화할 수 있는 UI
  • OpenAI 호환 API
  • RAG(ChromaDB 사용) 등의 플러그인 포함
  • OS 생태계의 새로운 기능을 활용할 수 있는 좋은 위치에 있음
  • 아쉽게도 LM Studio 자체는 오픈 소스가 아님
• 검열되지 않은 모델을 시도하고자 함. "TheBloke/Luna-AI-Llama2-Uncensored-GGML" 모델을 발견하고 첫 번째 파일만 다운로드하여 작동 여부 확인. 나머지 파일들도 다운로드해야 하는지, 그리고 특정 민감한 질문에 대해 모델이 검열되지 않는지 궁금함.
• LLM에 관한 초보적인 질문: "반지의 제왕" 시리즈를 LLM에 입력하면 어떻게 되는지, 기본적인 "무지한" LLM이 존재하는지, 그리고 이를 통해 중간계 전문가를 만들 수 있는지 등에 대한 궁금증.
• 고급 엔지니어링 역할에 대한 재미있는 자격 요건: 컴퓨터와 소프트웨어에 대한 깊은 이해, 알고리즘과 프로그램 작성 능력 등이 요구되지만, 이러한 요구사항을 진지하게 받아들이기 어려움.
• 복잡한 설정을 간소화하기 위한 시도로 개인적으로 만든 간단한 UI를 소개하는 링크 공유.
• LLM 소프트웨어의 잠재적 사용자층에 대한 호기심과 시장 세분화에 대한 정보 또는 추측을 보고 싶어 함. 복잡한 설정에도 불구하고 이 인터페이스와 대화 및 모델 관리의 가치를 찾음.
• 앱의 UI 개선점 제안:
  • 채팅박스 필드의 기본 상태 개선 필요
  • 모델 로딩 전 CUDA 가속 설정 방법 불명확
  • 일부 HuggingFace 모델이 나열되지 않고 이유가 명시되지 않음
  • 인터페이스의 아코디언 부분 스크롤이 마우스 휠에만 반응
  • 서버 탭이 초기 디버깅에 매우 유용함
• 다양한 LLM 모델(Mistral, Llama 2, Code Llama, Orca Mini, Vicuna)을 사용할 때 발생할 수 있는 문제점(50% 환각, 존재하지 않는 API 코드 추천, 구식 StackOverflow 답변 재생산 등)에 대한 질문과 이러한 모델을 실제로 사용하는 사례 공유 요청.
• LM Studio 설치 및 실행 후 CPU 사용량이 30%까지 상승하고 노트북 팬 소음 증가를 경험함. LM Studio 프로세스를 종료하고 다시 열었을 때 백그라운드 사용량이 5%로 감소함.