9P by xguru 20시간전 | ★ favorite | 댓글과 토론
  • 사용자의 파일, 폴더, 웹사이트를 기반으로 정보를 제공하며 완전 오프라인에서도 동작
  • 설치형 모델 추론 엔진이 내장되어 있으며, 필요 시 OpenAI 호환 API 키를 연결하여 외부 모델도 활용 가능
  • LLM이 문맥 정보를 기반으로 보다 정확한 답변을 제공할 수 있도록 설계
  • llama.cpp 기반

주요 기능

  • 로컬 우선 챗봇

    • 모든 대화는 오프라인에서 이루어짐, 데이터 유출 우려 없음
    • 별도 설치 없이 파일, 폴더, 웹사이트에서 직접 정보 검색
    • GPT 프롬프트나 설정 지식이 전혀 없어도 사용 가능
    • 내장 추론 엔진으로 Apple Silicon에서 빠르게 실행됨
  • 전문가 기반 문맥 관리 (Expert System)

    • 주제별로 전문가(Expert) 생성 가능 (Computer Science, History 등)
    • 각 전문가에 무제한 자료 등록 가능 (RAG 기반)
    • 드래그앤드롭으로 쉽게 문서 추가
    • 필요 시 웹 검색도 포함하여 최신 정보 반영 가능
  • 다양한 모델 지원

    • Alibaba의 QwQ-32B, DeepSeek-R1 등 다양한 로컬 추론 모델 사용 가능
    • OpenAI 호환 API 키 입력 시 외부 모델 호출 가능
  • 코드 인터프리터 내장

    • 모델이 작성한 코드를 직접 실행하여 결과를 반영
    • 수학, 논리 기반 질문에 정확도 향상
  • Canvas

    • 웹사이트, 코드, 텍스트를 시각적으로 생성 및 편집 가능
    • 텍스트 선택 후 LLM에게 선택적 편집 요청 가능
  • 이미지 생성

    • 텍스트 프롬프트를 통해 자동 이미지 생성
    • 별도 모드 전환 없이 프롬프트만으로 자동 인식
    • macOS 15.2 이상에서 CoreML 기반으로 동작
  • 인라인 쓰기 도우미

    • Command + Control + I로 어느 앱에서나 인라인 지원 가능
    • Microsoft Word에서 과제 질문 입력 후 자동 답변 가능
  • 고급 Markdown 렌더링

    • LaTeX 수식 렌더링 지원
    • 데이터 시각화: 표 기반 자동 그래프 생성 (바 차트, 라인 차트, 파이 차트 등)
    • 코드 하이라이팅, 코드 복사/내보내기 지원
  • Toolbox 도구 모음

    • Detector: AI 생성 여부 판별 및 재작성 가이드 제공
    • Diagrammer: 프롬프트로 복잡한 관계 다이어그램 생성
    • Slide Studio: 프롬프트 한 줄로 슬라이드 제작, PDF/PowerPoint로 내보내기 가능
  • 성능 및 추론 최적화

    • llama.cpp 기반 추론으로 Apple Silicon에서 매우 빠른 속도
    • Speculative decoding으로 속도 추가 향상 가능
    • 맥북에서 배터리 수명 연장 및 연산 분산 기능 제공

설치 및 요구사항

  • Mac + Apple Silicon (M1 이상)
  • RAM 8GB 이상
  • Releases 페이지에서 .dmg 다운로드 후 실행

개발 목표

  • 누구나 쉽게 사용할 수 있는 개인용 로컬 AI 도우미
  • 인터넷 연결 없이도 동작하는 완전한 오프라인 시스템
  • 설정 없이 폴더, 파일, 웹사이트를 즉시 인식
  • 프라이버시 보호, 대화 내용 추적 없음
  • 오픈소스 프로젝트로 투명성과 확장성 확보