▲

GN⁺: Show HN: AnythingLLM – 오픈소스, 올인원 데스크탑 AI 어시스턴트

 (github.com/Mintplex-Labs)
1P by neo 13일전 | favorite | 댓글 1개

제품 개요

AnythingLLM은 상용 LLM과 인기 있는 오픈 소스 LLM 및 벡터DB 솔루션을 사용하여 개인용 ChatGPT를 구축할 수 있는 풀스택 애플리케이션임. 로컬 및 원격에서 실행 가능하며, 제공된 문서와 지능적으로 대화할 수 있음.

  • 워크스페이스: 문서를 객체로 나누어 관리하며, 각 워크스페이스는 독립적으로 작동하여 문서의 컨텍스트를 깨끗하게 유지함.

AnythingLLM의 멋진 기능들

  • 멀티모달 지원: 상용 및 오픈 소스 LLM 모두 지원
  • 다중 사용자 인스턴스 지원 및 권한 관리: Docker 버전에서만 가능
  • 에이전트: 웹 브라우징, 코드 실행 등 다양한 작업 수행 가능
  • 커스텀 임베디드 채팅 위젯: Docker 버전에서만 가능
  • 다양한 문서 형식 지원: PDF, TXT, DOCX 등
  • 간단한 채팅 UI: 드래그 앤 드롭 기능과 명확한 인용 기능 포함
  • 클라우드 배포 준비 완료
  • 모든 인기 있는 LLM 제공자와 호환
  • 대형 문서 관리에 비용 및 시간 절약 기능 내장
  • 개발자 API 제공: 커스텀 통합 가능

지원되는 LLM, 임베더 모델, 음성 모델, 벡터 데이터베이스

  • LLM: OpenAI, Azure OpenAI, AWS Bedrock, Anthropic, Google Gemini Pro, Hugging Face, 등
  • 임베더 모델: AnythingLLM Native Embedder, OpenAI, Azure OpenAI, LocalAi, 등
  • 오디오 전사 모델: AnythingLLM Built-in, OpenAI
  • TTS (텍스트-음성 변환): Native Browser Built-in, PiperTTSLocal, OpenAI TTS, ElevenLabs
  • STT (음성-텍스트 변환): Native Browser Built-in
  • 벡터 데이터베이스: LanceDB, Astra DB, Pinecone, Chroma, Weaviate, Qdrant, Milvus, Zilliz

기술 개요

  • 프론트엔드: viteJS + React로 구축된 프론트엔드
  • 서버: NodeJS express 서버로 벡터DB 관리 및 LLM 상호작용 처리
  • 수집기: 문서를 처리하고 파싱하는 NodeJS express 서버
  • 도커: Docker 명령어 및 빌드 프로세스 정보
  • 임베드: 웹 임베드 위젯 생성 및 관리 서브모듈
  • 브라우저 확장 프로그램: 크롬 브라우저 확장 프로그램 서브모듈

자체 호스팅

Mintplex Labs와 커뮤니티는 다양한 배포 방법, 스크립트, 템플릿을 제공하여 로컬에서 AnythingLLM을 실행할 수 있도록 지원함.

  • 배포 환경: Docker, AWS, GCP, Digital Ocean, Render.com, Railway, RepoCloud, Elestio 등

개발 설정 방법

  • yarn setup: 필요한 .env 파일을 채워야 함
  • yarn dev:server: 로컬 서버 부팅
  • yarn dev:frontend: 로컬 프론트엔드 부팅
  • yarn dev:collector: 문서 수집기 실행

텔레메트리 및 개인정보 보호

Mintplex Labs Inc의 AnythingLLM은 익명 사용 정보를 수집하는 텔레메트리 기능을 포함함.

  • 목적: 사용 방식 이해, 새로운 기능 및 버그 수정 우선순위 결정, 성능 및 안정성 개선
  • 옵트아웃 방법: 서버 또는 도커 .env 설정에서 DISABLE_TELEMETRY를 "true"로 설정하거나 앱 내에서 비활성화 가능

기여 방법

  • 이슈 생성
  • PR 생성: 브랜치 이름 형식 <이슈 번호>-<짧은 이름>
  • 코어 팀의 LGTM 필요

GN⁺의 정리

  • AnythingLLM은 다양한 LLM과 벡터DB를 지원하여 개인용 ChatGPT를 구축할 수 있는 강력한 도구임.
  • 워크스페이스 기능을 통해 문서의 컨텍스트를 독립적으로 관리할 수 있어 효율적임.
  • 멀티모달 지원과 다중 사용자 인스턴스 등 다양한 기능을 제공하여 사용자 편의성을 높임.
  • 텔레메트리 기능을 통해 사용 데이터를 수집하여 제품 개선에 활용함.
  • VectorAdmin과 같은 유사한 기능을 가진 다른 제품도 추천할 만함.
▲
neo 13일전  [-]
Hacker News 의견

  • 사용자 1: 엔터프라이즈 환경에서 커스터마이징된 AnythingLLM 인스턴스를 배포하려고 시도 중임. TimC와 개발팀이 매우 뛰어나고 응답이 빠름. EntraID 통합을 기다리고 있으며, 이를 통해 대부분의 기본적인 사용 사례를 충족할 수 있을 것임. TimC와 팀에게 감사함

  • 사용자 2: 처음에는 Ollama/WebGenUI 래퍼일 줄 알았지만, 실제로는 훨씬 더 많은 기능을 지원함. LLM뿐만 아니라 임베딩 모델, 벡터 데이터베이스, TTS/STT도 지원함. 완전한 음성 챗봇을 구축하는 데 필요한 모든 것을 포함함

  • 사용자 3: 매우 좋음. "Language Learning Model"이라는 용어가 웃기다고 생각함. 작성자가 LLM의 의미를 모른 채 프로젝트를 진행한 것 같다고 농담함

  • 사용자 4: 다운로드하여 사용해보았으며, 현재까지는 매우 좋음. GPT-4o를 사용하여 규제 PDF를 읽는 데 사용해봄. 초기 피드백:

    • 인용이 약간 불확실함. 응답은 대체로 정확하지만 인용 창의 내용이 약간 혼란스러움
    • 기존 채팅 내용 내에서 텍스트 검색 기능을 추가해주길 바람. 예를 들어, 채팅 중 기린에 대해 검색하면 해당 채팅 기록으로 전환할 수 있도록 해주길 바람

  • 사용자 5: 임베드나 벡터가 무엇인지 모르는 사람으로서, 표준 사무용 PC에 설치하고 사용할 수 있는 유일한 오프라인 AI 도구임

  • 사용자 6: LLM은 미래에 웹 프레임워크처럼 무료, 오픈 소스가 될 것임. 유료 옵션도 있겠지만, 대부분의 작업에는 무료 옵션이 충분할 것임

  • 사용자 7: 어제 엔터프라이즈 수준에서 AnythingLLM을 설정해보았으며, 대부분의 기능에 매우 감명받음. 커스텀 CSS를 제대로 포함할 수 있는 옵션이 있었으면 좋겠음. 기본 인터페이스가 약간 구식으로 보임. 훌륭한 작업을 계속해주길 바람

  • 사용자 8: Linux 설치 중 오류가 발생했지만 다음 명령어로 해결됨:

    sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox

    그 외에는 매우 잘 작동함

  • 사용자 9: AnythingLLM이 LLM을 로컬 및 API를 통해 사용하는 데 있어 매우 간편함. 임베더와 벡터 스토어에 대한 다양한 선택지가 있음. 단일 설치 데스크톱 패키징이 매우 깔끔함. 다가올 새로운 기능을 기대함

  • 사용자 10: AnythingLLM 호스팅에 대한 질문. $50/월 요금이 원격 데스크톱 환경에 로그인하여 관리되는 AnythingLLM 인스턴스를 실행하는 것인지 궁금함. 모든 것이 여전히 BYOK인지, 월 요금에 "AI/토큰" 사용이 포함되는지 궁금함. 호스팅 버전에서 제공되는 GPU에 액세스할 수 있는지 궁금함. 이 서비스가 최상급 오픈 소스 모델과 결합된다면 AI의 미래가 될 것이라고 생각함. AI 개발 속도가 빠르기 때문에 단기에서 중기적으로 가능성이 높음

답변달기