MemT-1.0은 메모리를 모델 계산에 내장해 장기 상호작용 성능을 높인다

무엇인가

MemT-1.0은 기초 모델이 대화와 에이전트 실행에서 쌓이는 정보를 외부 컨텍스트나 검색 인덱스가 아니라 모델 계산 안의 메모리 상태로 계속 축적·활용하게 만드는 메모리 파운데이션 모델 아키텍처다. 기존 긴 컨텍스트는 KV 캐시가 이력에 비례해 커지고, RAG는 검색된 텍스트를 매번 프롬프트에 넣어야 한다. 논문은 메모리를 모델의 네이티브 능력으로 내장해 이런 외부 의존을 줄이고, 상호작용이 길어져도 일정한 크기의 상태로 경험을 이어가는 것을 목표로 한다.

어떻게 동작하나

구조는 Metis의 동적 로컬 메모리와 학습 가능한 하이퍼 메모리를 계승한다. 각 선택된 Transformer 블록에 병렬 메모리 어텐션을 붙여 기존 어텐션 출력에 메모리 어텐션 출력을 더한다. 로컬 메모리는 상호작용 중 정보를 저장하는 동적 상태이고, 하이퍼 메모리는 메모리 쿼리·키·값 투영과 삭제·쓰기·망각 게이트, 출력 게이트를 학습해 메모리 저장·활용 능력을 데이터로 익히는 파라미터다. Metis의 토큰 선택을 Gated DeltaNet-2 기반의 안정적인 토큰 단위 업데이트로 바꿔, 각 턴의 토큰마다 메모리 상태를 갱신한다.

무엇과 다른가

메모리 용량을 키우기 위해 Mixture-of-Storage를 도입한다. 하나의 네이티브 메모리 블록을 E개의 메모리 전문가로 확장하되, 일반적인 희소 MoE처럼 일부만 활성화하지 않고 모든 전문가가 계산에 참여하는 dense routing을 쓴다. 활용 라우터와 저장 라우터가 학습 가능한 전문가 주소 행렬을 공유하고, 라우팅 확률이 어느 전문가에서 읽고 쓸지를 결정한다. 공개된 모델군은 MemT-1.0-Nano가 총 36B 파라미터(활성 3B, 동적 메모리 10M), MemT-1.0-Flash가 총 288B 파라미터(활성 17B, 동적 메모리 336M)다.

어떻게 쓰나

학습은 백본 준비 후 continued pre-training과 post-training의 2단계로 진행되며, 총 34B 토큰 규모의 데이터를 쓴다. Nano의 백본은 Qwen3.6-35B-A3B이고, Flash는 DeepSeek-V4-Flash를 먼저 post-training한 뒤 메모리를 붙인다. 백본 준비 단계에서는 일반 능력, 에이전트 코딩, 에이전트 워킹 트랙에서 반복 시도와 개입 기반 귀인으로 데이터를 합성하고, 최종 혼합은 126.5K 궤적(2.4B 토큰, 손실 반영 1.1B)으로 구성된다. 이 준비된 백본을 동결한 뒤 메모리 블록을 학습하며, 분산 인프라는 독립 궤적 간 메모리 격리를 유지하고 고정 메모리 설정에서는 상호작용이 쌓여도 영속 상태 크기가 일정하다.

전제와 한계

평가는 11개 메모리 벤치마크와 일반 능력 벤치마크에서 이뤄진다. 논문은 MemT-1.0이 평균적으로 parametric memory 베이스라인을 앞서고 retrieval-augmented 방법과 경쟁력 있으면서, 노이즈 설정에서도 백본의 일반 능력을 상당 부분 보존한다고 보고한다. 128K 토큰 이력에서 Nano는 전체 컨텍스트 KV 캐시 대비 약 1.86배 end-to-end 추론 속도 향상과 66배의 영속 저장 공간 절감을 보인다. 다만 11개 메모리 벤치마크의 개별 점수는 본문에 수치로 제시되지 않았다.

에이전트 코딩에서는 과거 성공 궤적에서 절차적 경험을 추출해 네이티브 메모리에 저장하고, 실행 중 브레이크포인트에서 읽어 다음 행동을 안내한다. Scale-SWE의 성공 코딩 궤적 41,057개에서 1,040개의 재사용 경험을 만들고, 18,820개 원본 궤적과 199,500개 브레이크포인트-경험 개입 변형을 평가해 45,481개 성공 연속을 얻은 뒤 품질 필터링으로 42,403개 학습 샘플을 구성한다. SWE-bench Verified 500개 과제에서 Before Execution 설정의 평균 성공률은 69.33%로 경험 없음 66.07%, 텍스트 경험 68.87%를 앞섰고, pass^3는 54.00%에서 61.60%로 올라 텍스트 경험과 같아졌다. Harness-Triggered 설정은 평균 69.73%, pass^3 62.80%로 경험 없음보다 8.80%포인트, 고정 rank-1 텍스트 경험보다 1.00%포인트 높다. SWE-bench Multilingual 300개 과제(9개 언어)에서는 Before Execution 평균 62.89% 대 경험 없음 60.00%, pass^3 53.67% 대 45.33%였고, Harness-Triggered는 63.56%로 고정 rank-1 텍스트 경험 63.00%를 넘었다. 논문은 pass^3의 반복 실행 신뢰도 개선이 두드러지지만 pass@3는 일관되게 오르지 않았다고 밝힌다.

개발자에게 이 논문은 긴 대화 이력이나 에이전트 실행 로그를 매번 프롬프트에 넣지 않고, 모델 내부의 고정 크기 메모리 상태로 재사용하는 설계를 검토할 근거를 준다. 특히 128K 이력에서 KV 캐시 대비 저장·추론 비용 이점을 주장하므로, 장기 세션을 유지하는 코딩 에이전트나 반복 실행이 많은 워크플로에서 비용 구조를 실험해 볼 만하다. 다만 메모리 상태가 고정 크기라 정밀 회상이 필요한 작업에는 부적합할 수 있고, 경험 품질과 검색·주입 시점에 성능이 좌우된다는 점을 먼저 확인해야 한다.

저자들이 밝힌 한계는 명확하다. 고정 크기 메모리는 이력 길이에 대해 O(1) 상태를 유지하므로, 저장 표현이 O(N)으로 커지는 방식보다 상세한 과거 정보를 보존하는 능력이 제한되고 오래된 세부와 최근 정보 사이의 트레이드오프가 생긴다. 또한 현재 프레임워크는 외부에서 구축한 경험에 의존해 경험 품질과 검색에 성능이 좌우되며, 경험 저장 자체가 계산을 추가하므로 텍스트 컨텍스트를 줄인다고 전체 실행 비용이 반드시 낮아지는 것은 아니다. 로컬 메모리에 쌓인 경험을 하이퍼 메모리 파라미터로 통합하는 문제와 자율적 지속 학습으로 확장하는 것은 열린 과제로 남아 있다.