DAMI는 게이트 선형 어텐션의 장문 검색을 초기화로 개선한다

무엇인가

게이트 선형 어텐션과 선형 순환 모델은 시퀀스 길이에 선형으로 비용이 늘지만, 고정 크기 상태에 과거를 압축하기 때문에 장문 검색에서 약해질 수 있다. 이 논문은 상태 감쇠를 결정하는 게이트 파라미터 A_log와 dt_bias의 초기화에 주목한다. 통제된 Gated DeltaNet 실험에서 학습 후에도 두 파라미터가 초기값과 높은 상관을 보였다. 피어슨 상관은 Random이 A_log/dt_bias 각각 0.926/0.939, PoST가 0.989/0.949, DAMI가 0.985/0.871이었다. 저자들은 이 지속성 때문에 학습 전 초기화가 기억 거동을 좌우한다고 본다.

어떻게 동작하나

DAMI는 두 축을 동시에 설정한다. 첫째, 헤드별로 1~4096 토큰 범위의 기하급수적 시간 스케일을 배치한다. 감쇠율 λ_h를 λ_min(λ_max/λ_min)^(h/(H-1))로 두고 τ_h=1/λ_h를 목표로 삼는다. 이는 텍스트의 대략적 멱법칙 의존성을 지수 함수 혼합으로 근사하려는 동기에서 나온다. 둘째, 층별 입력 민감도를 낮음-높음-낮음 프로파일로 배치한다. 민감도는 E[σ(z+dt_bias)]로 정의되며, dt_bias가 Softplus의 동작점을 옮겨 입력 활성화에 대한 반응을 바꾼다는 점을 이용한다. GDN 계열에서는 대략 0.25-0.75-0.25 수준의 민감도 프로파일을 목표로 한다.

무엇과 다른가

구체적 절차는 LSUV처럼 층을 얕은 곳부터 깊은 곳까지 순차적으로 보정한다. 각 층에서 그래디언트 없이 투영 활성화 Z를 모은 뒤, 이분법으로 평균 σ(z+dt_bias)가 목표 민감도와 같아지는 dt_bias를 찾는다. 이어서 A_log=-log τ_h - log E[softplus(z+dt_bias)]로 목표 시간 스케일을 맞춘다. 두 번째 항이 dt_bias가 평균 감쇠에 미치는 영향을 보상해 두 축을 조정한다. 보정된 출력은 다음 층으로 전달되고, 출력 투영은 원래 초기화를 유지한 채 학습된다. 이 과정은 학습 가능한 파라미터를 추가하지 않는다. KDA/GDN2는 채널별 dt_bias를 작은 중심 섭동으로 맞추고, Mamba-2는 헤드별 기하 스펙트럼과 깊이별 정적 Softplus 편향 스케일링을, RWKV-7은 시그모이드 평균 반응과 헤드별 시간 스케일을 맞추는 방식으로 확장된다. 세 확장은 160개의 고정된 헤드-층 스케일을 쓰고 상태 업데이트 연산자는 바꾸지 않는다.

어떻게 쓰나

실험은 약 100M 파라미터의 GDN, KDA, GDN2, Mamba-2, RWKV-7을 5B 토큰, 최대 4,096 토큰 문맥으로 학습해 비교한다. 베이스라인은 Random 초기화와 PoST 스타일 스펙트럼 초기화다. PoST 조건은 Random의 dt_bias를 유지하고 위치 적응 스케일링을 제외했으며, GDN 계열과 Mamba-2의 스펙트럼은 0~8.318 범위다. 검색 평가는 RULER 스타일 NIAH 고정 부분집합으로, NIAH-1/2의 1K·2K·4K·8K와 MK-NIAH의 1K·2K·4K, 총 11개 설정에서 500개 샘플씩 답 포함 정확도를 평균했다. 일반 성능은 WikiText, WinoGrande, ARC-Easy/Challenge, OpenBookQA, Social IQa로, 실세계 검색은 2K 길이의 6개 BASED/GDN 과제로 평가했다.

전제와 한계

주요 결과로 DAMI는 Random 대비 평균 검색 정확도를 GDN 13.95%p, KDA 16.71%p, GDN2 13.44%p, Mamba-2 14.47%p, RWKV-7 5.29%p 높였다. PoST 스타일 대비로는 각각 10.87, 9.42, 10.24, 10.69, 8.47%p 높다. 다섯 아키텍처 모두에서 최고 평균을 냈고, 동률을 포함해 55개 과제-길이 비교 중 42개에서 최고였다. 학습 문맥의 두 배인 8K에서 GDN, KDA, GDN2, Mamba-2의 NIAH-1이 개선됐고, RWKV-7의 이득은 1K/2K의 NIAH-1과 MK-NIAH에 집중됐다. 언어 모델링과 상식 추론은 대체로 비슷했으며 DAMI가 동률 포함 30개 중 17개 비교에서 앞섰다. Mamba-2와 RWKV-7은 WinoGrande가 Random 대비 각각 1.82%p, 0.79%p 올랐고 Social IQa는 각 아키텍처 내 최고였다. 2K 실세계 검색 6과제도 대체로 비슷했는데, Mamba-2+DAMI는 SQuAD, FDA, DROP에서 앞서 평균을 3.89에서 4.28로 올렸고 RWKV-7 평균은 방식별로 5.67~6.42였다.

절제 실험은 두 축을 함께 초기화해야 한다는 주장을 뒷받침한다. GDN에서 전체 DAMI의 Overall 정확도는 44.36으로 Random 30.42보다 높았고, A_log만 또는 dt_bias만 Random으로 되돌린 변형은 22.80과 26.33이었다. A_log를 무작위화하면 NIAH-2 정확도가 2.40까지 떨어졌다. 시간 스케일을 1~2048 또는 1~1024로 제한하면 Overall이 29.07, 23.13으로 내려갔고, 선형 간격은 NIAH-1이 62.40으로 DAMI의 64.35에 가까웠지만 NIAH-2는 5.65에 그쳤다. 민감도 프로파일 비교에서는 DAMI가 44.36으로 상승형·하강형·고-저-고형의 26.85~32.85를 앞섰다. 민감도를 ±0.2 옮기거나 피크를 4/13층으로 바꾸면 Overall이 24.31~33.31 범위였다. 거리별 사례 연구에서도 DAMI는 1K·2K·4K에서 먼 거리 구간의 평균 정확도를 더 높게 유지했다.

개발자에게 이 방법은 선형 어텐션 기반 장문 검색, RAG, 에이전트 메모리 모델을 학습할 때 구조 변경 없이 적용할 수 있는 초기화 기법이다. 추론 절차와 상태 업데이트 연산자를 바꾸지 않고 학습 가능한 파라미터도 늘리지 않는다는 점이 실무적 장점이다. 다만 효과가 모델의 실제 활성화 분포와 아키텍처별 dt_bias 파라미터화에 의존하므로, 대상 모델의 구현을 확인하고 대표 입력으로 보정용 활성화 샘플을 확보해야 한다. 또한 이 논문의 이득은 주로 RULER류 검색에서 확인됐고 일반 언어 모델링·상식 성능은 대체로 비슷한 수준이었다. 100M 파라미터, 5B 토큰, 4K 학습 문맥이라는 조건도 함께 봐야 한다.

저자들이 밝힌 한계는 감쇠 쪽 초기화에 국한된다는 점이다. DAMI는 기존 순환 아키텍처의 네이티브 쓰기 파라미터화와 상태 업데이트 규칙 안에서 기억 시간 스케일과 입력 민감도를 조정한다. 새 정보를 상태에 넣는 쓰기 쪽은 다루지 않으며, 향후 감쇠 쪽과 쓰기 쪽 초기화를 함께 연구해 새 정보 흡수와 유용한 과거 유지의 균형을 밝혀야 한다고 적는다.