▲

GN⁺: Llama.vim – LLM을 이용한 VIM용 코드/텍스트 자동완성 플러그인

(github.com/ggml-org)
4P by neo 1달전 | ★ favorite | 댓글 1개
  • VIM내에서 로컬 LLM 기반의 텍스트 자동완성 기능을 제공
  • Insert 모드에서 커서 이동 시 자동 제안
  • Ctrl+F로 수동 제안 전환 가능
  • Tab으로 제안 수락
  • Shift+Tab으로 첫 번째 줄 제안 수락
  • 최대 텍스트 생성 시간 설정 가능
  • 커서 주변의 컨텍스트 범위 설정 가능
  • 열린 파일, 편집 중인 파일, 복사된 텍스트에서 컨텍스트 조각을 사용하여 컨텍스트 링 구성
  • 저사양 하드웨어에서도 스마트 컨텍스트 재사용을 통해 매우 큰 컨텍스트 지원
  • 성능 통계 표시

설치

llama.cpp 설정

  • 플러그인은 g:llama_config.endpoint에서 실행 중인 llama.cpp 서버 인스턴스를 필요로 함
  • Mac OS : brew install llama.cpp
  • 다른 OS : 소스에서 빌드하거나 최신 바이너리 사용: llama.cpp releases

llama.cpp 설정

  • VRAM 용량에 따른 추천 설정:
    • 16GB VRAM 이상: Qwen2.5-Coder-7B-Q8_0-GGUF
    • 16GB VRAM 미만: Qwen2.5-Coder-3B-Q8_0-GGUF
    • 8GB VRAM 미만: Qwen2.5-Coder-1.5B-Q8_0-GGUF
  • 자세한 내용은 :help llama 참조

추천 LLMs

구현 세부사항

  • 플러그인은 간단하고 가벼우며 소비자급 하드웨어에서도 고품질의 성능을 제공하는 로컬 FIM 완성을 목표로 함

기타 IDEs

▲
neo 1달전  [-]
Hacker News 의견

  • 서버 구현의 기술적 세부 사항을 살펴보기를 권장하며, 이는 흥미롭고 멋진 아이디어를 포함하고 있음. 이 플러그인은 VS Code에서도 사용 가능함. 클라이언트 측 캐싱 덕분에 성능이 개선되었음.

  • 이 사용자는 오픈 소스 AI 생태계에 많은 기여를 했으며, 계속해서 소프트웨어를 개발하고 진정한 "조건 없는" 오픈 소스로 출시할 수 있도록 충분한 자금을 유치하기를 바람.

  • LLM 도구를 LSP, 컴파일러 및 기타 정적 분석 도구와 더 밀접하게 통합하면 더 많은 컨텍스트와 더 나은 출력을 제공할 수 있을 것이라고 생각함. 언어별로 LLM을 미세 조정하고 일반적인 편집기 도구와 함께 제공할 수 있다면 좋을 것임. AI 도구가 오래되고 인기 있는 언어에서 더 잘 작동하는 문제를 지적하며, 이는 언어 선택 시 중요한 요소가 될 수 있음. Gleam 전용 모델을 설치하여 LSP 및 컴파일러에서 데이터를 받아 잘못된 구문을 생성하지 않도록 할 수 있다면 좋겠다고 생각함.

  • "링 컨텍스트"가 어떻게 작동하는지 궁금해하며, 유사한 프로젝트에서 KV 캐시를 관리하는 방법에 대한 해결책을 제안함. 토큰의 트리를 유지하고, 고정 깊이 간격에서 전체 LLM 상태 스냅샷을 저장하여 버퍼가 변경될 때 몇 개의 토큰만 "재생"하도록 함. 중요한 상태 부분이 어떻게 작동하는지에 대한 수학적 특성이 있을 수 있다고 생각함.

  • 데모 비디오의 깜박이는 커서가 심장 두근거림을 유발하지만 매우 멋지다고 생각함. Linux가 M* 하드웨어에서 어떻게 작동하는지 궁금해함.

  • 이 플러그인이 VSCode 버전과 동일한지 궁금해함.

  • 소비자용 하드웨어와 양자화 개선으로 향후 10년 동안 어떤 것이 가능할지 궁금해함. 현재 24GB GPU로도 호스팅 서비스의 성능을 따라잡지 못함.

  • 터미널 코딩을 선호하며, 막히면 askds를 사용하여 터미널에서 더 깊은 분석을 수행할 수 있음.

  • 중간급 하드웨어에서 llama를 사용할 수 있는지 궁금해하며, RAM 부족으로 인해 충돌한다고 생각함. 2G VRAM과 16G 시스템 RAM으로는 충분하지 않다고 느끼며, 대부분의 Apple 제품에서는 메모리가 통합되어 작동하지만, 그렇지 않으면 많은 VRAM을 가진 비싼 Nvidia GPU가 필요하다고 생각함. 저렴한 옵션이 있는지 궁금해함.

  • 이 분야에 대해 아는 사람에게 조언을 구하며, 적당한 가격의 그래픽 카드를 구매하여 로컬 LLM을 실행할 수 있는 방법을 찾고 있음.

답변달기