1P by gkgusdl4 | ★ favorite | 댓글 1개

에이전트가 오래된 기억을 사용하거나, 이미 기록한 것을 다시 묻거나, 규칙을 무시하거나, fallback 절차를 중간에 포기하는 문제를 모두 “retrieval 문제”로 보면 원인을 찾기 어렵습니다.
Brain-AI Memory는 RAG, hook, guard, harness, loop를 새 이름으로 부르는 프로젝트가 아닙니다. 이들을 episodic·semantic memory, procedural rule·execution, numerical state, routing, input gate로 구분하고 각각의 실패 조건과 lifecycle을 연결합니다.
몇 달간 실제 multi-project agent system에서 사용한 구조를 clean-room 방식으로 공개했습니다. 60초 실행 예제, 재사용 가능한 hook과 memory template, 운영 근거, 500문항 LongMemEval-S retrieval 결과를 포함합니다.
Benchmark의 부정적 결과도 그대로 공개했습니다. 96-keyword pointer는 indexed text를 93% 줄였지만 recall@3는 full BM25의 86.1%에서 71.0%로 낮아졌습니다.
특히 실제 agent failure가 이 component mapping에 잘 들어맞는지, 어디에서 맞지 않는지에 대한 피드백을 받고 싶습니다.

댓글과 토론

한국어 README:
https://github.com/Hahyun-Lee/brain-ai-memory/blob/main/README.ko.md

60초 실행:
git clone https://github.com/Hahyun-Lee/brain-ai-memory.git
cd brain-ai-memory
python3 examples/01_guard_in_action.py
python3 examples/02_lifecycle_decision.py

특히 두 가지 피드백이 궁금합니다.

  1. 실제 장기 실행 agent의 failure가 이 component mapping으로 충분히 구분되는가?
  2. 실제 채택을 위해 더 필요한 것은 installable reference implementation인가, end-to-end QA benchmark인가?