장문맥 하이브리드 모델의 성능은 위치 편향 배합이 결정한다

무엇인가

대형 언어모델 구조 설계가 풀 소프트맥스 어텐션만 쓰던 방식에서 여러 어텐션 모듈을 레이어나 헤드 단위로 섞는 하이브리드 모델로 이동하고 있다. 이 논문은 그 이동을 "왜 하이브리드가 작동하는가, 어떻게 더 잘 설계하는가"라는 질문으로 붙잡는다. 시리즈의 Part 1.1로, 풀 어텐션과 슬라이딩 윈도 어텐션(SWA), 그리고 게이트가 있는 선형 어텐션(LA) 계열인 GLA·GDN의 결합을 다룬다. 두 축을 나눠 본다. 하나는 사전학습 길이를 넘어 학습 없이 일반화하는 길이 외삽(length extrapolation), 다른 하나는 긴 문맥 지속 사전학습으로 문맥 길이를 늘리는 컨텍스트 확장(context extension)이다.

어떻게 동작하나

논문의 핵심 재구성은 "하이브리드 어텐션"을 "하이브리드 위치"로 다시 읽는 것이다. RoPE를 쓰지 않는 NoPE 풀 어텐션과 RoPE 어텐션을 섞기만 해도 학습 없이 유효한 길이 외삽이 나온다는 관찰에서 출발한다. 선형 어텐션의 게이트는 데이터 의존적 위치 편향으로 볼 수 있으므로, 결국 모델 안에서 중요한 변수는 NoPE와 위치 편향 어텐션(RoPE 어텐션, GLA·GDN)의 배합비다. 저자들은 이를 조수(Tidal) 효과라 부른다. 소수의 적중률 높은 NoPE 어텐션이 거친 전역 집계를 맡고, 다수의 저엔트로피 위치 편향 어텐션이 잡음을 줄이는 구도가 효과적이라는 것이다. 근거로 1:1 NoPE 헤드 하이브리드에 가우시안 잡음을 주입한 실험을 든다. 직관과 달리 NoPE 헤드가 아니라 RoPE·SWA·GLA·GDN 헤드에 잡음을 넣을 때 RULER·BABILong 성능이 더 크게 무너졌다. 엔트로피-적중률 산점도에서도 NoPE는 적중률이 높고 엔트로피가 큰 영역을, RoPE·GLA·GDN은 저엔트로피 응집 영역을 차지하며, 그 경계는 하이브리드 비율에 따라 움직인다.

무엇과 다른가

두 번째 축은 현상 관찰이다. SWA 하이브리드는 길이 외삽에서 가장 강하지만, 32k 장문맥 지속 사전학습을 거치면 LA 하이브리드에 역전당한다. 저자들은 이를 컨텍스트 확장의 시소(Seesaw) 효과라 부르고, 레이어 단위 하이브리드에서 더 두드러진다고 보고한다. 원인으로 짧은 문맥 학습 함정(Short-Context Learning Trap), 짧은 윈도 피로(Short-Window Weariness), 긴 윈도 게으름(Long-Window Laziness)을 지목한다. 반대로 LA 하이브리드는 학습 문맥 안에서는 더 잘 맞추지만 그 밖으로 나가면 약해진다. 공짜 점심 없음(No-Free-Lunch) 효과다. SWA 쪽 처방은 윈도를 키우고 LongCE 손실을 적용하는 것이다.

어떻게 쓰나

LA 하이브리드의 외삽 약점을 풀기 위해 제안하는 것이 Sliding-Window Linear Attention(SWLA)이다. 선형 어텐션의 순환 구조와 충돌해 보이지만 구현은 가능하다. FLA 커널을 고치지 않고, 슬라이딩 윈도 퍼플렉시티 평가와 유사한 근사를 쓴다. 윈도 4096, 스트라이드 1024로 두고 [0,4095], [1024,5119], [2048,6143] … 청크를 병렬 계산한 뒤 [0,4095], [4096,5119], [5120,6143] … 위치의 출력만 뽑아 이어 붙인다. 특정 LA 변형의 내부 구현에 의존하지 않는다. 논리는 GLA에서 q_t와 k_s의 상호작용에 곱해지는 ∏Diag(α_i) 항의 개수를 윈도 크기로 묶으면 상대 위치 신호도 학습 길이 안에 제한된다는 것이다. 여기에 NoPE 어텐션의 로그 스케일 보정을 더하면, LA 하이브리드에서 단독으로는 효과가 제한적이던 보정이 훨씬 강하게 작동한다. 저자들은 이를 하이브리드 위치 외삽의 마태(Matthew) 효과, 줄여서 EME라 부른다.

전제와 한계

실험 규모와 수치를 보면, 4k 짧은 문맥 사전학습 50B 토큰, 32k 장문맥 지속 사전학습 5B 토큰을 376M·776M·1B 모델에서 수행하고 핵심 결론은 3B 모델로도 검증한다. SWA 윈도는 GPT-OSS와 Mimo-v2.5를 따라 128, 회전 베이스는 10000, GDN이 GQA를 지원하지 않아 MHA만 쓴다. 평가는 PG19 퍼플렉시티와 LongPPL, 검색은 RULER, 상태 추적은 BABILong이다. 기본 하이브리드 비율은 3:1이고, 3:1·1:1·1:3 비율 소거 실험에서 대부분 3:1이 학습 길이 안팎 모두 가장 좋았으며 NoPE를 늘리면 외삽이 오히려 약해졌다. SWLA와 EME를 적용한 GLA-NoPE·GDN-NoPE는 4k 학습에서 64k 추론까지 16배 무학습 외삽을 달성하면서 NIAH-SK1 정확도 100%를 유지했다(776M 결과는 Table 1). RoPE-NoPE 하이브리드에서는 EME가 기존 Dynamic NTK 보간법보다 우수했다. 효율 비교에서는 추론 TTFT·TPOT, 최대 GPU 메모리·캐시 크기, 8대 H200에서의 학습 처리량(TGS)을 4k·32k에서 측정했고, 모델과 문맥이 커질수록 하이브리드의 이점이 커졌다. 다만 헤드 단위 SWA 하이브리드는 QKV를 분할하지 않고 이어 붙이기 때문에 최대 추론 메모리가 풀 어텐션과 같고 학습 처리량은 LA 하이브리드보다 낮다.

개발자 관점에서 이 논문은 두 가지 결정을 분리해서 보라고 요구한다. 학습 없이 긴 입력을 밀어 넣어야 하는 서빙이라면 위치 편향 어텐션(RoPE든 게이트 선형 어텐션이든)에 국소 윈도를 걸고 NoPE 계열에 전역 집계를 몰아주는 쪽이 유리하다. 반대로 긴 문맥 지속 사전학습으로 컨텍스트를 늘리는 계획이라면, 외삽에서 가장 좋았던 SWA 하이브리드가 확장 후에는 뒤처질 수 있으므로 윈도 크기를 키우는 옵션을 미리 잡아둬야 한다. 하이브리드 비율(기본 3:1), 윈도 크기, 레이어 단위인지 헤드 단위인지가 결과를 바꾸는 변수이며, 사용하는 선형 어텐션 변형이 SWLA식 청크 근사를 받아들일 수 있는지도 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 검증 범위는 사전학습 단계의 컨텍스트 확장과 길이 외삽에 한정되며, 후속 학습(post-training)과 멀티모달, 특히 비전-언어 모델로 확장하는 일은 남아 있다. 구조 범위도 RoPE/NoPE, SWA, LA 하이브리드에 머물러 희소 어텐션·압축 어텐션 하이브리드는 다루지 않는다. 메커니즘 범위 역시 싱크 편향, 부분 RoPE, 게이트 어텐션 변형, 숏 컨볼루션 제거 같은 설계 선택의 일부만 탐침했다. 부록 A.3에는 SWA 하이브리드의 회전 베이스 선택, LA 하이브리드 간 성능 차이처럼 결론이 아직 확정적이지 않은 논의도 포함되어 있다.