screenpipe - 데스크탑의 모든 데이터를 가져오는 API
(github.com/mediar-ai)- 사용자의 데스크탑 컨텍스트와 활동을 이해하고 향상 시키는 AI 에이전트를 쉽게 개발 가능
- 데스크탑의 스크린, 보이스, 키보드, 마우스, 카메라를 모두 녹화
- 100% 로컬에서 실행되며, 크로스플랫폼, 24/7 모든 활동을 기록
- 화면에서 텍스트 추출, 오디오 Transcribe, 사용자 액션을 모두 SQLite에 저장
- 임베딩, RAG 파이프라인, Ollama를 이용한 로컬 LLM, OpenAI/Anthropic 프록시 제공
- 샌드박싱된 JS 플러그인 시스템 제공
Anthropic의 Computer-Use API 이후로 이런 시도들이 많아지고 있는걸 보니 다행스럽기도 하고 다른 분들처럼 우려스럽기도 하네요 ㅎㅎ (전반적으로는 발전하는 과정이라고 생각합니다)