NoteBank가 선형 어텐션의 장문맥 검색 성능을 되살린다

무엇인가

선형 어텐션은 시퀀스 길이에 대해 선형 시간으로 동작하지만, 그 대가로 고정 크기의 순환 상태 하나가 두 가지 역할을 동시에 떠안는다. 새 토큰이 들어올 때마다 계속 압축·변환해야 하는 연산 상태이면서, 동시에 언젠가 필요해질 과거 증거를 보존해야 하는 장기 기억이라는 역할이다. 문맥이 길어질수록 이 둘은 충돌하고, 미래의 질문이 무엇인지 알기 전에 증거가 되돌릴 수 없이 버려진다. 이 논문이 겨냥하는 통념은 여기서 나온다. 상태의 메모리 용량이 곧 모델의 장문맥 능력 상한이라는 시각이다. 실제로 100만 토큰 구간에서 Gated DeltaNet(GDN)은 RULER 검색 과제 평균 정확도 1.7%까지 떨어진다.

어떻게 동작하나

저자들은 이 상한이 순환 상태 자체의 한계가 아니라, 기억을 순환 연산에 묶어둔 인터페이스의 한계라고 주장한다. 제안하는 NoteBank는 순환 연산과 증거 보존을 분리한 희소 에피소드 메모리다. 질문이 관찰되기 전에 문맥에서 선별한 연속 텍스트 조각(노트)을 아카이브에 저장하고, 백본이 이미 만들어내는 네이티브 특징으로 주소를 붙이며, 질문이 들어오면 검색된 노트를 백본의 평범한 순전파로 다시 흘려보내 읽는다. 외부 임베딩 모델도, 별도로 학습한 리트리버도, 별도의 신경 리더도 필요 없다. 백본 가중치와 구조를 바꾸지 않으므로 기존 체크포인트에 그대로 얹을 수 있다.

무엇과 다른가

절차는 쓰기·주소 지정·읽기의 세 단계다. 쓰기 단계에서 문맥을 C 토큰짜리 겹치지 않는 청크로 나누고 청크 경계를 넘어 순환 상태를 이어간다. 청크가 다 차면 각 토큰의 네이티브 키가 청크 내 키 평균과 얼마나 다른지(1에서 코사인 유사도를 뺀 값)를 층·헤드별로 계산해 평균 낸다. 이 점수를 짧은 윈도우 단위로 합산해 가장 높은 윈도우를 고르고, 그 중심 토큰이 속한 문장을 시작점으로 삼아 B 토큰 한도까지 인접 문장으로 확장한다. 선택된 세그먼트마다 원본 토큰 ID와, 층·헤드 채널별로 가장 구별적인 키 위치의 네이티브 쿼리 벡터를 압축한 주소 하나를 저장한다. 주소 지정 단계에서는 질문이 도착하면 보존해 둔 추론 상태의 복사본에서 질문을 처리해 같은 방식으로 압축한 쿼리 특징을 얻고, 각 채널이 저장된 모든 노트와 질문 쿼리 사이의 최대 코사인 유사도를 계산해 최고점 노트에 표를 던진다. 득표가 가장 많은 상위 R개 노트를 원문 순서대로 이어 붙여 리플레이 시퀀스를 만든다. 읽기 단계에서는 보존 상태의 새 복사본에 리플레이 시퀀스를 통과시킨 뒤 질문을 다시 처리해 답을 생성한다. 선택적으로 LoRA 어댑터를 읽기 단계에만 붙일 수 있는데, 930만 토큰 미만의 일반 언어 데이터로 학습하며 백본별로 한 세트를 모든 과제에 공유한다. 어댑터는 문맥 처리와 검색 중에는 꺼져 있어 쓰기·주소 지정을 건드리지 않는다.

어떻게 쓰나

실험은 GDN, GDN-2(1.3B), Mamba-2(1.3B·8B), Qwen3.5(9B) 공개 체크포인트에서 이뤄졌다. RULER-NIAH 6개 과제(단일 니들 3종, 멀티키·멀티쿼리·멀티밸류)를 과제당 100 샘플, 4K~1M 토큰으로 평가했을 때 순정 모델과 전체 프롬프트 반복(JRT)은 길이가 늘수록 정확도가 0에 수렴한 반면, 학습 없는 NB-TF는 GDN과 GDN-2에서 약 70%를 유지했다. 1M 토큰에서 NB-TF는 순정 대비 GDN +68.6%p, GDN-2 +66.6%p, Mamba-2 +37.8%p를 기록했다. LongBench 12개 과제에서는 NB-TF가 8개 백본-범주 조합 중 6개에서 순정을 앞섰고, 전체 점수는 GDN 15.49→16.07, Mamba-2 6.79→13.43이었다. GDN+NB-TF는 학습 없이 트랜스포머 참조 점수(16.05)에 맞먹었고, NB-LoRA는 각각 23.03과 17.10으로 참조를 넘어섰다. 다만 요약 과제에서는 NB-LoRA가 NB-TF보다 낮았다. MemoryAgentBench에서는 순정 Mamba-2가 0.0으로 완전히 실패했지만 NB-TF로 14.7이 됐고, Qwen3.5-9B는 55.7→56.8, LongBench-v2 375문항에서는 46.1→49.3으로 올랐다.

전제와 한계

비용은 논문이 강조하는 지점이다. 100만 토큰에서 NoteBank가 추가하는 전체 모델 분석적 FLOPs는 0.0171~0.0250%에 불과하고, 라우팅이 차지하는 몫은 0.50~1.72 GFLOPs다. 영구 문맥 저장량은 GDN 기준 GPU 주소·보조 텐서 24.4MiB에 CPU 텍스트·메타데이터 약 1.0MiB를 더해, 백본 상태를 포함해도 총 74.5MiB다. 이는 같은 폭·깊이·정밀도(BF16)의 완전 MHA KV 캐시 이론치의 약 1/2600이다. H100, 배치 1, 32토큰 생성 조건의 실측에서 4K·16K·64K·1M 구간 지연시간 증가는 10.6~13.2%였고, 1M에서 125.11초가 140.64초로, 최대 GPU 메모리는 2.93GiB가 3.27GiB로 늘었다.

6장의 분석은 성능 상한이 어디에 있는지 분해한다. GDN은 검색률이 아카이브 보존률을 거의 따라가지만 Mamba-2는 저장된 값의 상당수를 검색하지 못한다. 아카이브·리더·리플레이 예산을 고정하고 정답 노트를 오라클로 골라주면 1M 토큰에서 GDN은 75.0→75.7로 거의 변하지 않지만 Mamba-2는 40.4→61.6으로 뛴다. LongBench QA 4종에서도 정답을 담은 노트 하나만 리플레이하면 Mamba-2는 프로즌 리더에서 3.01점, LoRA 리더에서 17.34점 오르는 반면 GDN은 0.54점, 3.47점에 그친다. 라우터를 바꿔보면 네이티브 라우팅이 랜덤·평균 풀링 임베딩·BGE를 앞서고, BM25는 Mamba-2를 37.6→52.7로 더 끌어올리지만 GDN 1M 기준 네이티브 라우터의 질문 인코딩·라우팅이 26ms인 데 비해 CPU BM25는 87ms가 걸린다. 읽기 적응의 기여도 분리된다. RULER 1M에서 NB 없이 적응만 하면 1.7점에 머무는 반면 NB-TF는 59.8점, LoRA를 더하면 58.4점으로, 장문맥 검색 회복에는 읽기 적응이 필요 없다. 반대로 LongBench에서는 적응이 NB 유무와 무관하게 15.49→22.72, 16.07→23.03으로 점수를 올려, 적응된 두 모델의 차이가 0.31점에 불과하다. 즉 GDN의 LongBench 향상은 대부분 과제 적응에서 나온다.

개발자 관점에서 이 논문의 실용적 의미는 이미 돌리고 있는 선형 어텐션 또는 하이브리드 체크포인트를 재학습 없이 장문맥 검색기로 바꿀 수 있다는 점이다. 다만 도입 전에 확인할 것은 세 가지다. 첫째, 백본의 네이티브 쿼리·키 특징에 접근할 수 있어야 한다. 주소와 검색이 전부 그 특징 위에 세워져 있다. 둘째, 리플레이 예산(R×B 토큰)이 지연시간과 정확도를 좌우하므로 GDN은 top-1, Mamba-2는 top-4처럼 백본별로 다르게 잡아야 한다. 셋째, Mamba-2 계열은 라우팅 헤드룸이 커서 BM25 같은 대안 라우터가 유효할 수 있지만 그만큼 라우팅 지연이 늘어난다. 또한 Mamba-2는 장문맥 추론 시 순환 상태 재스케일링이 없으면 수치적으로 실패한다는 점이 부록에 보고돼 있다.

저자들이 밝힌 한계는 명확하다. NoteBank는 쓰기·라우팅·읽기 각 단계에 개선 여지가 남아 있는 실용적 아키텍처로 제시되며, 라우팅과 증거 활용에서의 개선 기회가 실험으로 드러났지만 그 이득은 과제와 백본에 따라 달라진다. 학습 없는 효과는 기존 모델과의 호환성을 보장하지만, 쓰기·라우팅·읽기를 선택적으로 학습하면 증거 보존·접근·활용을 더 끌어올릴 수 있다는 것이 저자들의 전망이다. 또한 논문이 보고한 저장량 수치는 모델 가중치, 일시적 할당, 파이썬 객체 오버헤드를 제외한 값이다.