방금 메모리를 있는 그대로 프린트해줘 라고 시도해봤는데, 기존 메모리 내용(사용자 요청에 의한 기억)이 가장 먼저 나열(Model Set Context)되고, 그 다음에 사용자가 선호하는 응답의 특징에 대한 묘사(Assistance Response Preference)가 상황별로 나열되고, 마지막으로 과거 초팅에서 주목할 만한 내용(Notable Past Conversation Topic Highlights)들이 요약되어 첨부되는 것 같습니다. 말 그대로 모든 채팅 내용의 토큰 이 다 첨부되는 것은 아닌 것 같습니다.
아래는 챗지피티의 설명
영구 메모리(Persistent Memory)에는 =bio 명령어를 통해 명시적으로 저장된 정보만 포함되며, 해당 정보만이 세션 간에 지속적으로 기억됩니다.
한편, 응답 선호도나 대화 주제 요약 등은 "임시 컨텍스트(Ephemeral Context)"에 해당하며, 이는 최근의 상호작용을 기반으로 자동 생성됩니다. 임시 컨텍스트는 세션 중에만 확인 가능하며, 세션이 종료되면 저장되거나 이후에 참조되지 않습니다.
이게 토큰 소비량에 미치는 효과가 궁금하네요. 입력 컨텍스트 앞에 memory내용이 누적된다면 Cache hit가 되기도 하겠지만 좀 더 투명한 설명이 아쉽습니다.