안녕하세요. 검색과 AI Memory Infrastructure를 개발하는 팀 cognica입니다.

팀 소개를 간단히 드리면, cognica에서 제시한 BB25(Bayesian BM25) 기반 확률적 하이브리드 검색(probabilistic hybrid search) 작업이 최근 Apache Lucene 10.5.0 코어에 공식 포함(BayesianScoreQuery, LogOddsFusionQuery)되었습니다.

저희는 이 검색 및 메모리 인프라 기술을 실제 사용자가 체감할 수 있는 프로덕트로 옮기는 작업을 하고 있으며, 그 첫 결과물인 macOS용 AI 앱 Maek을 소개하고 피드백을 받고자 합니다.

다운로드 및 웹사이트: https://maek.cognica.io/?utm_source=geeknews&utm_medium=community&…

1. 해결하려는 문제: "컨텍스트 윈도우만 늘리면 해결될까?"

AI 챗을 쓰다 보면 프로젝트 배경, 과거의 결정 사항, 자주 참고하는 문서 등 똑같은 맥락을 매 대화마다 반복해서 설명해야 하는 번거로움이 있습니다.

이를 해결하기 위해 단순히 "이전 대화 텍스트를 몽땅 프롬프트에 밀어 넣는 방식"은 명확한 한계가 있습니다.

  • Context Window 낭비 및 비용 증가

  • 관련 없는 오래된 내용이 섞여 발생하는 Hate/Noise 증가

  • 정작 중요한 과거 맥락이 유실되는 현상

Maek은 질문이 들어올 때마다 "지금 질문에 필요한 기억을 어떻게 다시 최적의 형태로 구성(Reconstruct)할 것인가?"에 집중합니다.

2. 핵심 아키텍처: 분리된 데이터와 Evidence 기반 Retrieval

Maek은 대화와 문서를 로컬 저장소에 저장하고, 새 질문이 들어올 때마다 아래의 신호들을 조합해 컨텍스트를 재구성합니다.

  • Messages : 일반 채팅 기록이자 키워드/벡터 검색의 대상입니다.

  • Document Chunks : 파일을 한 번 읽고 버리는 프롬프트 일회용품이 아니라, 로컬에 작은 청크로 나눠 저장하고 필요할 때마다 검색 및 답변의 근거로 인용(Citation)합니다.

  • Graph : 대화에서 사람, 조직, 사건, 결정, 약속 등을 추출해 관계(Connection) 형태로 정리합니다. 유저가 정확한 키워드를 기억하지 못해도 연결된 맥락으로 찾아낼 수 있습니다.

  • Conversation State : 현재 상황, 오픈 스레드, 인물 프로필 등을 압축한 상황판입니다. (단, 사용자의 최신 메시지와 충돌할 경우 사용자 메시지가 우선하는 'Memory Hint' 역할입니다.)

  • Evidence 기반의 하이브리드 조합: BM25, Vector Similarity, Graph, Recency는 서로 스케일이 달라 단순히 점수를 더하면 한쪽 신호가 과하게 지배합니다. 저희는 Lucene 코어에 BB25를 기여하며 쌓은 노하우를 바탕으로, 이 신호들을 이번 질문에 필요한 '증거(Evidence)'로 보고 정교하게 조합합니다.

3. 주요 특징: Inspectability와 Local-First

  • 답변의 근거를 시각화: AI가 "기억하고 답변했다"고 주장하는 것을 넘어, 해당 답변을 만들 때 어떤 메시지, 어떤 문서 청크, 어떤 Graph Hit, 어떤 State 정보가 컨텍스트에 포함되었는지(Reconstruction 정보)를 사용자가 직접 확인할 수 있습니다. "왜 기억했는지", "왜 못 찾았는지" 디버깅이 가능해야 AI를 신뢰하고 교정할 수 있기 때문입니다.

  • ChatGPT Memory와의 차이점: ChatGPT Memory가 서비스 종속적인 개인화 메모리 기능이라면, Maek은 사용자의 자산(대화, 문서, 그래프, 상태)을 로컬 작업공간(Workspace)에 쌓아두고 매 턴 컨텍스트를 재구성하는 독립적인 도구입니다.

  • 데이터 흐름의 투명성: 로컬 모델을 사용할 때는 추론까지 완전 오프라인으로 유지되지만, OpenAI/Claude 같은 클라우드 모델을 연동할 경우 현재 입력과 검색된 로컬 컨텍스트가 해당 API로 전송됩니다. 이 데이터 흐름은 UI와 문서에서 명확하게 구분하여 안심하고 쓰실 수 있게 했습니다.

현재 초기 버전이며, Apple Silicon Mac 환경을 중심으로 테스트를 진행하고 있는데요, 아래 관점에서 의견을 주시면 큰 도움이 되겠습니다.

  • 개념의 이해도: Maek이 단순 챗 UI가 아니라 'AI Memory Workspace'라는 접근으로 설명되는지

  • 접근법의 타당성: 매 턴 컨텍스트를 동적으로 재구성하는 방식이 기술적으로 납득이 가시는지

  • ChatGPT Memory와의 차별성: 기존 서비스들의 메모리 기능과 비교했을 때 차이점이 명확히 다가오는지

  • 투명성: 로컬-클라우드 모델 사용 시 데이터 흐름과 보안 관련 설명이 명확한지

  • UX/첫 인상: macOS 앱으로서의 설치 및 첫 실행 경험이 자연스러운지

링크: https://maek.cognica.io/?utm_source=geeknews&utm_medium=community&…

날카로운 피드백 부탁드립니다. 감사합니다.

댓글과 토론