Anything-LLM - 오픈소스 올인원 AI 데스크탑 어시스턴트
(github.com/Mintplex-Labs)- 상용LLM이나 오픈소스 LLM 및 벡터DB 솔루션을 사용하여 비공개 ChatGPT를 구축할 수 있는 풀스택 AI 애플리케이션
- 로컬 또는 원격에서 호스팅 가능
- 자신이 제공하는 모든 문서 및 리소스를 참조 가능한 컨텍스트로 전환
- 사용할 LLM 또는 벡터DB를 선택 가능하며, 다중 사용자 관리 및 권한도 지원
- OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
- 멀티-모달 지원(상용 & 오픈 LLM 모두)
- 자신의 웹사이트에 임베딩 가능한 커스텀 채팅 위젯 제공(도커 버전)
- 문서를 Workspaces 라는 개체로 나눠서 하나의 스레드처럼 컨테이너화 해서 동작
- 공유는 가능하지만 서로 대화하는 하지 않으므로 각 워크스페이스간 컨텍스트를 유지 가능
monorepo 안의 컴포넌트 구분
- frontend: viteJS + React로 구축된 프론트엔드
- server: NodeJS express 서버로 벡터DB 관리 및 LLM 상호작용 처리
- collector: 문서를 처리하고 파싱하는 NodeJS express 서버
- docker: Docker 명령어 및 빌드 프로세스 정보
- embed: 웹 임베드 위젯 생성 및 관리 서브모듈
- browser-extension: 크롬 브라우저 확장 프로그램 서브모듈
Hacker News 의견
- 엔터프라이즈 환경에서 커스터마이징된 AnythingLLM 인스턴스를 배포하려고 시도 중임. TimC와 개발팀이 매우 뛰어나고 응답이 빠름. EntraID 통합을 기다리고 있으며, 이를 통해 대부분의 기본적인 사용 사례를 충족할 수 있을 것임. TimC와 팀에게 감사함
- 처음에는 Ollama/WebGenUI 래퍼일 줄 알았지만, 실제로는 훨씬 더 많은 기능을 지원함. LLM뿐만 아니라 임베딩 모델, 벡터 데이터베이스, TTS/STT도 지원함. 완전한 음성 챗봇을 구축하는 데 필요한 모든 것을 포함함
- 매우 좋음. "Language Learning Model"이라는 용어가 웃기다고 생각함. 작성자가 LLM의 의미를 모른 채 프로젝트를 진행한 것 같다고 농담함
- 다운로드하여 사용해보았으며, 현재까지는 매우 좋음. GPT-4o를 사용하여 규제 PDF를 읽는 데 사용해봄. 초기 피드백:
- 인용이 약간 불확실함. 응답은 대체로 정확하지만 인용 창의 내용이 약간 혼란스러움
- 기존 채팅 내용 내에서 텍스트 검색 기능을 추가해주길 바람. 예를 들어, 채팅 중 기린에 대해 검색하면 해당 채팅 기록으로 전환할 수 있도록 해주길 바람
- 임베드나 벡터가 무엇인지 모르는 사람으로서, 표준 사무용 PC에 설치하고 사용할 수 있는 유일한 오프라인 AI 도구임
- LLM은 미래에 웹 프레임워크처럼 무료, 오픈 소스가 될 것임. 유료 옵션도 있겠지만, 대부분의 작업에는 무료 옵션이 충분할 것임
- 엔터프라이즈 수준에서 AnythingLLM을 설정해보았으며, 대부분의 기능에 매우 감명받음. 커스텀 CSS를 제대로 포함할 수 있는 옵션이 있었으면 좋겠음. 기본 인터페이스가 약간 구식으로 보임. 훌륭한 작업을 계속해주길 바람
- Linux 설치 중 오류가 발생했지만 다음 명령어로 해결됨:
그 외에는 매우 잘 작동함sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox - AnythingLLM이 LLM을 로컬 및 API를 통해 사용하는 데 있어 매우 간편함. 임베더와 벡터 스토어에 대한 다양한 선택지가 있음. 단일 설치 데스크톱 패키징이 매우 깔끔함. 다가올 새로운 기능을 기대함