# Anything-LLM - 오픈소스 올인원 AI 데스크탑 어시스턴트

> Clean Markdown view of GeekNews topic #17020. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=17020](https://news.hada.io/topic?id=17020)
- GeekNews Markdown: [https://news.hada.io/topic/17020.md](https://news.hada.io/topic/17020.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-10-01T10:21:01+09:00
- Updated: 2024-10-01T10:21:01+09:00
- Original source: [github.com/Mintplex-Labs](https://github.com/Mintplex-Labs/anything-llm)
- Points: 34
- Comments: 1

## Summary

상용LLM이나 오픈소스 LLM 및 벡터DB 솔루션을 사용하여 비공개 ChatGPT를 구축할 수 있는 오픈소스 올인원 AI 데스크탑 어시스턴트입니다. 상용 및 오픈소스 LLM과 벡터DB 솔루션을 통해 비공개 ChatGPT와 같은 도구를 구축하고, 로컬 또는 원격에서 호스팅할 수 있습니다. 멀티 모달을 지원하며, 커스텀 채팅 위젯 등 다양한 기능을 제공합니다.

## Topic Body

- 상용LLM이나 오픈소스 LLM 및 벡터DB 솔루션을 사용하여 비공개 ChatGPT를 구축할 수 있는 풀스택 AI 애플리케이션  
  - 로컬 또는 원격에서 호스팅 가능   
  - 자신이 제공하는 모든 문서 및 리소스를 참조 가능한 컨텍스트로 전환   
- 사용할 LLM 또는 벡터DB를 선택 가능하며, 다중 사용자 관리 및 권한도 지원  
  - OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..  
- 멀티-모달 지원(상용 & 오픈 LLM 모두)  
- 자신의 웹사이트에 임베딩 가능한 커스텀 채팅 위젯 제공(도커 버전)  
- 문서를 Workspaces 라는 개체로 나눠서 하나의 스레드처럼 컨테이너화 해서 동작   
  - 공유는 가능하지만 서로 대화하는 하지 않으므로 각 워크스페이스간 컨텍스트를 유지 가능   
  
### monorepo 안의 컴포넌트 구분   
  
- **frontend**: viteJS + React로 구축된 프론트엔드  
- **server**: NodeJS express 서버로 벡터DB 관리 및 LLM 상호작용 처리  
- **collector**: 문서를 처리하고 파싱하는 NodeJS express 서버  
- **docker**: Docker 명령어 및 빌드 프로세스 정보  
- **embed**: 웹 임베드 위젯 생성 및 관리 서브모듈  
- **browser-extension**: 크롬 브라우저 확장 프로그램 서브모듈

## Comments



### Comment 29561

- Author: xguru
- Created: 2024-10-01T10:22:02+09:00
- Points: 1

#### [Hacker News 의견](https://news.ycombinator.com/item?id=41457633)   
- 엔터프라이즈 환경에서 커스터마이징된 AnythingLLM 인스턴스를 배포하려고 시도 중임. TimC와 개발팀이 매우 뛰어나고 응답이 빠름. EntraID 통합을 기다리고 있으며, 이를 통해 대부분의 기본적인 사용 사례를 충족할 수 있을 것임. TimC와 팀에게 감사함  
- 처음에는 Ollama/WebGenUI 래퍼일 줄 알았지만, 실제로는 훨씬 더 많은 기능을 지원함. LLM뿐만 아니라 임베딩 모델, 벡터 데이터베이스, TTS/STT도 지원함. 완전한 음성 챗봇을 구축하는 데 필요한 모든 것을 포함함  
- 매우 좋음. "Language Learning Model"이라는 용어가 웃기다고 생각함. 작성자가 LLM의 의미를 모른 채 프로젝트를 진행한 것 같다고 농담함  
- 다운로드하여 사용해보았으며, 현재까지는 매우 좋음. GPT-4o를 사용하여 규제 PDF를 읽는 데 사용해봄. 초기 피드백:  
  - 인용이 약간 불확실함. 응답은 대체로 정확하지만 인용 창의 내용이 약간 혼란스러움  
  - 기존 채팅 내용 내에서 텍스트 검색 기능을 추가해주길 바람. 예를 들어, 채팅 중 기린에 대해 검색하면 해당 채팅 기록으로 전환할 수 있도록 해주길 바람  
- 임베드나 벡터가 무엇인지 모르는 사람으로서, 표준 사무용 PC에 설치하고 사용할 수 있는 유일한 오프라인 AI 도구임  
- LLM은 미래에 웹 프레임워크처럼 무료, 오픈 소스가 될 것임. 유료 옵션도 있겠지만, 대부분의 작업에는 무료 옵션이 충분할 것임  
- 엔터프라이즈 수준에서 AnythingLLM을 설정해보았으며, 대부분의 기능에 매우 감명받음. 커스텀 CSS를 제대로 포함할 수 있는 옵션이 있었으면 좋겠음. 기본 인터페이스가 약간 구식으로 보임. 훌륭한 작업을 계속해주길 바람  
- Linux 설치 중 오류가 발생했지만 다음 명령어로 해결됨:  
  ```bash  
  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox  
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox  
  ```  
  그 외에는 매우 잘 작동함  
- AnythingLLM이 LLM을 로컬 및 API를 통해 사용하는 데 있어 매우 간편함. 임베더와 벡터 스토어에 대한 다양한 선택지가 있음. 단일 설치 데스크톱 패키징이 매우 깔끔함. 다가올 새로운 기능을 기대함