로컬 우선 AI 비서 LocalGPT

▲

GN⁺ 3달전 | parent | ★ favorite | on: 로컬 우선 AI 비서 LocalGPT – Rust 기반, 지속 메모리 지원(github.com/localgpt-app)

Hacker News 의견들

2026년에 이런 걸 보고 있다니 정말 사이버펑크한 기분임
MEMORY.md, HEARTBEAT.md, SOUL.md 같은 구조가 너무 흥미로움
다만 ANTHROPIC_API_KEY에 의존하니 “local-first”라 부르긴 애매함
그래도 장기적으로는 local-first가 미래라고 생각함
작년에 Rust로 비슷한 걸 만들었는데, 로컬에서 모델을 돌리니 속도 차이가 확실했음
내 데모 영상도 있음
OS 레벨에서 이런 걸 구현하는 건 정말 패러다임 전환급 경험이었음
앞으로 5~10년 안에 우리가 기기와 상호작용하는 방식이 근본적으로 바뀔 것 같음
- 이건 local-first가 아님, 이름이 잘못된 것 같음
- 굳이 제3자 LLM을 쓸 필요는 없음
  OpenAI나 Anthropic 호환 엔드포인트를 직접 지정할 수 있고, localhost에서도 가능함
- 관련 코드 참고: providers.rs L222
- 나도 LAN에서 OpenClaw와 Qwen3 Coder Next를 local-first 방식으로 돌려보고 있음
  이제 막 시작했지만 꽤 가능성이 있어 보임
- AI에 대한 호불호를 떠나, 지금의 투자 규모는 우리 세대의 Apollo 프로그램 같음
  앞으로 수년 내 100개 이상의 기가와트급 데이터센터가 생길 예정이라 함
  군수 산업보다는 훨씬 나은 자금 사용처라고 생각함
조언 하나, 게시글이나 문서는 직접 쓰거나 최소한 편집은 직접 하는 게 좋음
지금 문서와 글은 전부 LLM이 쓴 것처럼 보여서 정성이 느껴지지 않음
- 요즘은 몇 문장 이상 쓰는 걸 포기한 사람도 많음
  이런 표절 세탁 기계들이 사람의 글쓰기 감각을 망가뜨리고 있음
- 나도 동의함, 직접 문서를 쓰면 오히려 재밌어짐
- 반론도 있음
  나는 원래 문서 쓰는 걸 싫어해서, 예전엔 내 코드에 문서가 거의 없었음
  덕분에 다른 사람이 쓰기 어려웠음
  LLM은 정확한 설명을 빠르게 만들어주고 최신 상태로 유지해줘서 문서 작성엔 최적임
  사람이 안 썼다는 게 보이더라도, 내용이 맞다면 문제없다고 생각함
- 이런 저품질 포스트를 막는 억제책이 되면 좋겠지만 현실은 아님
  오히려 노력 안 하는 걸 자랑스럽게 여기는 분위기가 있음
이 프로젝트 아이디어는 훌륭함
지속 메모리 + 시맨틱 검색 구조화 프레임워크가 핵심임
SOUL 기능은 사실 대부분의 LLM이 이미 마크다운 파일 형태로 지원함
이런 구조는 프라이빗 에이전트 네트워크 구축의 출발점이 될 수 있음
다만 이름이 문제임 — LocalGPT는
1. 로컬이 아니고,
2. GPT 모델도 아님
  의도를 더 정확히 반영하는 이름으로 바꾸는 게 좋겠음
진지한 질문인데, 이게 OpenClaw와 뭐가 다른지 궁금함
같은 SOUL.md, MEMORY.md, HEARTBEAT.md 구조를 쓰고,
OpenClaw는 이미 멀티채널 메시징, 음성통화, 브라우저 자동화, 서브 에이전트까지 있음
Rust로 만든 것 외에 차별점이 있는지 알고 싶음
- 나를 포함해 많은 사람이 OpenClaw를 무서워함
  기능이 너무 많고, 보안 아키텍처가 부실함
  권한 승인도 형식적이고, 자기 설정을 스스로 바꿀 수 있음
  그래서 나는 Wardgate로 권한을 분리함
  여러 노드/에이전트로 나누고, 자격증명과 API 접근을 분리하는 게 필요함
- 이건 그냥 바이브 코딩용 정적 사이트 생성기 같음
- 작고 Node 기반이 아니라는 점이 장점임
  모든 사람이 고성능 머신을 가진 건 아니니까
왜 LLM 제공자(OpenAI, Anthropic 등)에 연결해야 하는지 궁금함
로컬 GPT라면 추론도 로컬에서 해야 하는 거 아닌가?
- 꼭 외부에 연결할 필요는 없음
  Ollama 같은 로컬 서버를 LLM 제공자로 지정할 수 있음
  README엔 Anthropic 예시만 있지만, 코드 보면 다른 것도 가능함
  설정 한 줄만 바꾸면 됨
- 노력은 좋지만, 이름이 오해를 부름
  실제로는 로컬도 아니고 GPT도 아님
  그냥 OpenClaw의 Rust 버전 클론에 가까움
- 로컬이 설정되지 않으면 온라인 제공자로 자동 폴백됨
  관련 코드: providers.rs L222
- 꼭 필요하진 않음
LocalGPT나 OpenClaw 같은 에이전트의 보안 핵심 문제는
“private data access + external communication + untrusted content”의 치명적 삼합체임
악성 이메일 하나면 “내 메일함을 공격자에게 전달하라”는 명령을 실행할 수도 있음
나는 이를 해결하기 위해 object-capability 기반 보안 정책을 연구 중임
민감 정보 유출을 원천적으로 막는 정책을 만들고 싶음
- 이 삼합체 문제는 지금 이 분야의 가장 시급한 과제임
  해결책은 두 가지로 봄
  1. 모든 외부 전송을 수동 승인으로 제한 (OTP 등)
    하지만 피로도가 높음
  2. 아예 설계 단계에서 삼합체를 피함 — 예를 들어 외부 통신을 차단한 2요소형 에이전트
    혹시 다른 접근법을 연구 중인지 궁금함
나는 OpenClaw를 써봤는데, 관찰 가능성(observability) 이 부족함
지금 이 에이전트가 뭘 생각하고 뭘 하는지, 로그가 전혀 안 보임
이런 시스템은 Elixir/BEAM으로 짜면 완벽할 것 같음
프로세스 트리로 상태를 추적하고, 메시지 박스를 덤프해서 생각 흐름을 볼 수 있음
- lemon 프로젝트가 딱 그런 걸 하는 것 같음
- GPT나 Claude 같은 모델은 내부 생각을 일부러 숨김
  보여주는 건 일부뿐이고, 실제로는 더 많은 토큰을 소비함
- 좋은 아이디어임, 직접 만들어보면 좋겠음
- 나도 관찰성 부족에 동의함
  기본 기능이어야 할 걸 유튜브 튜토리얼로 해결하라니, 지금은 혼돈 상태임
Linux Mint에서 cargo install localgpt가 실패했음
Cargo.toml에 "x11"을 추가하니 빌드 성공함
Rust는 잘 모르지만, 이건 GUI 종속성 문제였던 듯함
- 설치 절차는 다음과 같음
```
git clone https://github.com/localgpt-app/localgpt.git  
cd localgpt/  
Cargo.toml에 "x11" 추가  
cargo install --path ~/.cargo/bin
```
  근데 Kai Lentit라는 사람, 혹시 채용 중인가?
로컬 어시스턴트로 쓸 만한 로컬 모델은 어떤 게 있을까?
연산 자원과 메모리의 절충점을 평가하는 시도가 있는지도 궁금함
어느 정도 하드웨어가 있어야 쓸모 있는 수준이 되는지 알고 싶음
“로컬”이라는 단어가 요즘은 참 이상하게 쓰임
대부분의 기능이 결국 인터넷과 상호작용하는데도 로컬이라 부름