# Google Titans 아키텍처, AI의 장기 기억 형성 지원 > Clean Markdown view of GeekNews topic #24905. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=24905](https://news.hada.io/topic?id=24905) - GeekNews Markdown: [https://news.hada.io/topic/24905.md](https://news.hada.io/topic/24905.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2025-12-08T09:47:50+09:00 - Updated: 2025-12-08T09:47:50+09:00 - Original source: [research.google](https://research.google/blog/titans-miras-helping-ai-have-long-term-memory/) - Points: 9 - Comments: 1 ## Summary **Titans 아키텍처와 MIRAS 프레임워크**는 AI가 실행 중에도 메모리를 갱신하며 방대한 문맥을 처리하도록 설계된 새로운 세대의 시퀀스 모델입니다. Titans는 입력의 ‘놀라움’을 기준으로 정보를 장기 기억에 선택적으로 저장해 RNN의 효율성과 Transformer의 표현력을 결합합니다. MIRAS는 이를 이론적으로 일반화해 메모리 구조·편향·망각 과정을 통합적으로 설명하며, **주의(attention) 없이도 긴 문맥 이해**를 가능하게 하는 설계 원리를 제시합니다. ## Topic Body - **Titans 아키텍처와 MIRAS 프레임워크**는 AI 모델이 실행 중에도 핵심 메모리를 갱신하며 방대한 문맥을 빠르게 처리하도록 설계됨 - **Titans**는 RNN의 속도와 Transformer의 정확도를 결합해, 입력 중 ‘놀라움(surprise)’이 큰 정보를 장기 기억에 선택적으로 저장 - **MIRAS**는 다양한 시퀀스 모델을 통합적으로 해석하는 이론적 설계도로, 메모리 구조·편향·망각·최적화 과정을 체계화 - 실험 결과, Titans와 MIRAS 변형 모델(YAAD, MONETA, MEMORA)은 **Transformer++·Mamba-2** 등 최신 모델보다 긴 문맥 처리와 효율성에서 우수한 성능을 보임 - 이 연구는 **RNN의 효율성과 Transformer의 표현력**을 결합한 새로운 세대의 장기 문맥 AI 모델로의 전환을 보여줌 --- ### Titans와 MIRAS 개요 - **Titans 아키텍처와 MIRAS 프레임워크**는 AI가 실행 중 실시간으로 메모리를 갱신하며 대규모 문맥을 처리하도록 설계 - 기존 Transformer의 주의(attention) 메커니즘은 시퀀스 길이에 따라 계산 비용이 급증 - Titans와 MIRAS는 이러한 한계를 극복해 **장기 문맥 이해와 실시간 적응**을 가능하게 함 - **Titans**는 구체적 모델 구조, **MIRAS**는 이를 일반화한 이론적 청사진 역할 - 두 시스템은 **테스트 시점 기억(test-time memorization)** 개념을 발전시켜, 재학습 없이 실행 중 새로운 정보를 통합 ### Titans: 실시간 문맥 학습 - Titans는 **단기 기억(주의 메커니즘)** 과 **장기 기억(신경망 기반 모듈)** 을 분리해 인간의 기억 구조를 모방 - 장기 기억 모듈은 **다층 퍼셉트론(MLP)** 형태로, 고정 벡터 대신 심층 신경망을 사용해 더 풍부한 정보 요약 가능 - 핵심 개념은 **‘놀라움 지표(surprise metric)’** - 입력이 기존 기억과 크게 다를수록 높은 놀라움으로 간주되어 장기 기억에 저장 - 예: 예상된 단어(‘cat’)는 낮은 놀라움, 예상 밖 입력(‘banana peel’)은 높은 놀라움으로 처리 - Titans는 **모멘텀(momentum)** 과 **망각(weight decay)** 메커니즘을 결합 - 모멘텀은 최근 맥락의 연속성을 반영해 관련 정보도 함께 저장 - 망각은 불필요한 정보를 제거해 메모리 용량을 효율적으로 유지 ### MIRAS: 시퀀스 모델의 통합적 관점 - MIRAS는 모든 시퀀스 모델을 **연상 기억(associative memory)** 시스템으로 해석 - 다양한 모델이 결국 ‘새 정보와 기존 기억을 효율적으로 결합’하는 동일 문제를 해결한다고 정의 - MIRAS는 네 가지 설계 요소로 모델을 정의 - **메모리 구조**: 정보 저장 형태 (벡터, 행렬, MLP 등) - **주의 편향**: 모델이 어떤 정보를 우선시하는지 결정 - **보존 게이트(retention gate)** : 망각을 조절하는 정규화 방식 - **메모리 알고리듬**: 메모리 갱신 최적화 방법 - 기존 모델이 **평균제곱오차(MSE)** 나 **내적 유사도**에 의존하는 한계를 넘어, **비유클리드(non-Euclidean)** 목적함수와 정규화를 탐색 ### MIRAS 기반 모델들 - **YAAD**: Huber loss를 사용해 입력 오류나 이상치에 덜 민감한 구조 - **MONETA**: 일반화된 노름(generalized norms)을 적용해 안정적 장기 기억 유지 - **MEMORA**: 메모리를 확률 지도처럼 제약해 균형 잡힌 정보 통합 보장 - 세 모델 모두 **주의(attention) 없이도** 강력한 장기 기억 성능을 달성 ### 실험 결과 및 성능 - Titans와 MIRAS 변형 모델은 **Transformer++** , **Mamba-2**, **Gated DeltaNet** 등 최신 구조와 비교 평가 - **언어 모델링(C4, WikiText)** 과 **제로샷 추론(HellaSwag, PIQA)** 에서 더 높은 정확도와 낮은 perplexity 달성 - **유전체(DNA) 모델링**과 **시계열 예측**에서도 일반화 성능 입증 - **기억 깊이(Depth)** 가 성능에 결정적 영향 - 동일 크기의 메모리라도 깊은 구조일수록 낮은 perplexity와 더 나은 확장성 확보 - **효율성** 측면에서, Titans는 병렬 학습과 선형 추론 속도를 유지하며 기존 모델보다 빠른 처리 가능 - **BABILong 벤치마크**에서 GPT-4보다 적은 파라미터로도 긴 문맥 추론에서 우수한 성능 - 최대 **200만 토큰 이상**의 문맥 창을 효과적으로 처리 ### 결론 - Titans와 MIRAS는 **고정 크기 순환 상태의 한계를 극복**하고, 데이터 입력 중 실시간으로 학습하는 새로운 메모리 구조 제시 - MIRAS는 **온라인 최적화·연상 기억·아키텍처 설계**를 통합하는 강력한 이론적 틀 제공 - **비유클리드적 설계 공간**을 통해 RNN의 효율성과 Transformer의 표현력을 결합한 **장기 문맥 AI 모델 시대**를 여는 기반 마련 ## Comments ### Comment 47368 - Author: neo - Created: 2025-12-08T09:47:50+09:00 - Points: 1 ###### [Hacker News 의견](https://news.ycombinator.com/item?id=46181231) - **Titans: Learning to Memorize at Test Time** 논문을 소개함 원문은 [arXiv 링크](https://arxiv.org/abs/2501.00663)에 있음 - Google이 이런 수준으로 **AI 연구를 공개**하는 다른 회사가 있을까 궁금함 관련 논문은 [첫 번째](https://arxiv.org/abs/2501.00663), [두 번째](https://arxiv.org/pdf/2504.13173) 링크에서 볼 수 있음. Google이 이런 투명성으로 많은 **신뢰**를 받을 만하다고 생각함 - DeepSeek 같은 중국 기업들도 활발히 연구를 공개하고 실제로 **오픈 모델**을 통해 검증함 미국 대형 연구소의 논문은 실용 성능과 괴리된 경우가 많음. DeepSeek의 예시로 [이 논문](https://arxiv.org/abs/2405.04434)과 [이 논문](https://arxiv.org/abs/2502.11089)을 언급함 - 논문 공개는 좋지만, 11개월이 지난 지금도 Titans 아키텍처의 **모델 코드나 가중치**를 다운로드할 수 없음 Meta의 Llama, Qwen, DeepSeek이 훨씬 앞서 있음. 현재 가능한 건 [비공식 구현체](https://github.com/lucidrains/titans-pytorch)뿐임 - Bytedance도 매우 적극적으로 논문을 내고 있음 최근 인상 깊었던 건 **lumine** 프로젝트였고, [논문 링크](https://arxiv.org/abs/2511.08892)와 [공식 연구 페이지](https://seed.bytedance.com/en/research)를 공유함 - Meta 역시 연구를 **공개적으로 공유**하고 있으며, 최근에는 중국 기업들도 비슷한 흐름을 보임 - 생태계의 80%는 이미 여러 기업과 개인이 공개한 연구 위에 세워져 있음 Google만 특별히 더 많은 공로를 인정받을 이유는 없다고 생각함 - “마침내 우리는 ‘Torment Nexus’를 만들었다”는 농담을 던짐 Eclipse Phase 세계관에서 TITAN이 인류를 파괴한 **AI 네트워크**였다는 점을 언급함 - Titans 아키텍처의 핵심은 **내부 오류 신호(gradient)** 를 통해 놀라움과 중요도를 판단하고, 그에 따라 장기 기억을 업데이트하는 것임 이런 구조라면 **무작위 노이즈 입력**으로 모델을 교란시킬 수 있지 않을까 궁금함 - Titans의 작동 원리를 단순화한 해석임 모델은 추론 중에도 학습하며, 훈련 단계에서는 ‘무엇을 학습할지’를 학습함 무의미한 입력은 **낮은 surprise 임베딩**을 부여받아 학습에 거의 반영되지 않음 - 사실 어떤 AI든 **무작위 입력**으로 반응을 깨뜨릴 수 있음 - 아마 연구진도 그 문제를 처음부터 인지했을 것이고, 표면적인 설명에서만 그런 오해가 생긴 것 같음 - 인간의 **감정 시스템(변연계)** 처럼, AI도 감정 기반의 기억 메커니즘이 필요하다고 생각함 인간은 새로움보다 감정적 강도에 따라 기억함. AI도 ‘무엇을 원한다’는 내적 상태가 있어야 함 - 인간이 **세뇌 환경**에 갇히면 잘못된 정보를 반복하게 되는 것처럼, AI도 입력 스트림이 제한되면 비슷한 현상이 생길 수 있음 하지만 코드베이스 개발처럼 맥락이 유지되는 환경에서는, 과거의 **설계 결정과 토론 내용**을 기억해 더 나은 판단을 내릴 수 있을 것임 - Titans 논문을 처음 읽었을 때 “이건 큰 진전이 될 것”이라고 느꼈음 AI 업계 종사자는 아니지만 오랫동안 **인간형 사고 AI**를 고민해왔음 LLM은 그 기준에 한참 못 미쳤지만 Titans는 그 방향으로 한 걸음 나아간 듯함 블로그에 이런 생각을 정리하고 싶지만, 알려진 인물이 아니라 관심을 받을지 확신이 없음 그래도 Titans의 실제 구현이 나오면 모두 놀라게 될 것 같음 - 블로그에 꾸준히 글을 올리면 결국 **알려진 인물**이 될 수 있음 - 요즘 AI 글들은 세부 기술에만 매몰되는 경향이 있음 큰 그림을 짚어주는 글이 오히려 **유용한 통찰**을 줄 수 있음 - 이 글을 HN에 공유해 **피드백**을 받아보는 건 어떨지 제안함 - Titans에 대해 이미 [블로그 글](https://paxamans.github.io/blog/titans/)을 쓴 적이 있음 - 하지만 아직 **사전 학습된 모델**은 존재하지 않음 Google의 주장 외에는 검증된 구현이 없고, 후속 연구도 거의 없는 상태임 - Titans 구조가 **프롬프트 인젝션**에 더 취약하거나 덜 취약할지 궁금함 실시간 학습이 방어력을 높일 수도 있지만, 반대로 악성 입력이 더 깊게 남을 수도 있음 - Transformer의 **attention 메커니즘** 설명을 읽으며, Cursor 같은 IDE가 어떻게 **메모리를 관리**하는지 궁금했음 코드베이스와 맥락을 점점 더 잘 이해하는 것 같음 - 하지만 이 논문은 그런 IDE 메모리 관리와는 관련이 없음 단순히 Transformer의 **컨텍스트 윈도우** 작동 방식을 설명하는 부분임 - Titans를 **LoRA**처럼 계속 적응시키는 구조로 상상해도 될지 물음 만약 그렇다면 LoRA를 메인 모델에 다시 병합하는 단계가 있을까? 그게 마치 **수면 과정** 같다고 표현함 - LoRA는 보통 외부에서 덧붙이는 **저차원 어댑터**이므로 Titans와는 다름 Titans에는 그런 저차원 구조가 없음 - 이론적으로 LoRA를 사용할 수도 있지만 **용량 한계** 때문에 완전한 대체는 어려움 대신 입력 청크를 처리하면서 **MLP 전체를 학습**하는 방식임 - 놀라움 기반의 학습이 모델을 사용자 프롬프트에 더 **정밀하게 정렬(alignment)** 시키는 효과가 있을지 궁금함