TTR-Compressor는 토큰 묶음을 입력별 회귀 문제로 풀어 압축한다
Rethinking Sequence Compression with Test-time Regression
무엇인가
이 논문은 긴 문맥 언어모델과 멀티모달 모델에서 토큰 시퀀스를 하나의 요약 벡터로 압축하는 문제를 다룬다. 블록 단위 희소 어텐션은 각 토큰 블록을 요약해 질의와의 관련성을 점수화하고, 멀티모달 모델은 인접 시각 특징을 병합해 언어 백본에 넣는다. 저자들은 이 압축기가 정보 병목이며 한 번 버린 정보는 하류에서 복구할 수 없다고 강조한다. 기존의 평균 풀링, 연결 후 학습 투영, 어텐션 가중 풀링은 토큰 간 관계를 반영하지 않은 가중치로 집계하므로 중복 토큰은 서로 강화되고 구별되는 정보는 희석된다고 비판한다.
어떻게 동작하나
제안 방법 TTR-Compressor는 압축을 입력별 릿지 회귀로 재정의한다. 각 토큰 x_t에 대해 키 k_t=x_t/||x_t||_2와 스칼라 타깃 v_t=a^T x_t를 만들고, 토큰 기여도는 모두 1로 둔 뒤 h* = argmin 1/2 Σ (k_t^T h - v_t)^2 + 1/2 h^T D h를 푼다. D=diag(softplus(ρ))는 학습되는 대각 정규화다. 닫힌 해는 h*=(K^T K+D)^{-1}K^T v다. 바깥 루프에서는 과제 손실로 a와 ρ를 역전파 학습해 어떤 회귀 문제가 유용한지 정하고, 안쪽 루프에서는 각 입력마다 닫힌 해를 계산한다. 키는 정규화하지만 타깃은 원래 크기를 유지하는 비대칭 정규화를 쓰는데, 타깃까지 정규화하면 해가 입력과 무관한 고정 벡터 a로 붕괴하기 때문이다. 선택적으로 1D/2D 합성곱으로 타깃에 주변 문맥을 넣을 수 있다.
무엇과 다른가
효율을 위해 T<d인 경우 쌍대형을 쓴다. K~=K D^{-1/2}로 두고 TTR(X)=D^{-1/2}K~^T(I_T+K~K~^T)^{-1}v를 계산하며, T×T 행렬의 촐레스키 분해로 푼다. 비용은 O(T^2 d+T^3)로 직접 d×d 시스템을 푸는 O(Td^2+d^3)보다 짧은 고차원 특징 구간에 유리하다. 여기서 test-time은 모델 가중치를 테스트 때 경사로 바꾸는 것이 아니라 입력별 회귀 계수를 닫힌 해로 다시 푸는 것을 뜻한다. 핵심은 K K^T 그람 행렬이 토큰 간 이차 상관을 담는다는 점이다. α=(G+λI)^{-1}v로 두면 h*=K^T α가 되고, 유효 가중치 α는 타깃과 모든 토큰 쌍의 상관에 의해 동시에 결정된다. 그래서 중복 증거는 단순 합산이 아니라 체감되고, 강하게 상관된 토큰이 설명하지 못하는 정보는 상대적으로 더 큰 영향을 유지할 수 있다. 학습된 D는 어떤 특징 차원을 토큰 유사도 계산에서 더 중요하게 볼지 조정한다. 추론 시 학습 파라미터는 고정되고 h*만 입력마다 다시 계산하며 반복 경사 최적화는 없다. 압축기당 학습 파라미터는 2d개다.
어떻게 쓰나
블록 단위 희소 어텐션 실험에서는 HiLS-Attention을 베이스로 두고 압축기만 바꾼다. 345M 파라미터 언어모델을 FineWeb에서 8K 문맥, 3만 스텝, 전역 배치 128개, 약 300억 토큰, AdamW 학습률 3e-4로 학습한다. 64토큰 블록, 질의당 최대 32개 원거리 블록, 512토큰 로컬 윈도를 쓴다. 비교 대상은 평균 풀링, 연결 후 투영, 원 HiLS의 어텐션 가중 풀링, TTR-Compressor이며 전체 어텐션과 슬라이딩 윈도가 참조로 붙는다. RULER의 S-NIAH와 MK-NIAH를 4K부터 32K까지 평가했을 때 TTR-Compressor는 모든 베이스라인을 큰 폭으로 앞서고 16K, 32K 외삽에서도 우위가 유지된다. 합성곱 변형은 가장 강한 베이스라인보다 12.24점 높다. Table 2의 일반 벤치마크는 문맥이 짧아 희소 어텐션이 활성화되지 않아 사전학습 중 얻은 상식 추론만 반영하며, TTR-Compressor는 전체 어텐션과 대등한 성능을 보인다고 본문은 말한다. 본문에는 Table 2의 세부 수치가 제시되지 않았다.
전제와 한계
시각 토큰 병합에서는 Qwen3-VL의 ViT와 Qwen3-4B-Instruct를 쓴다. 1단계는 LLaVA-558K에서 병합 모듈만 1에폭, 학습률 1e-3으로 학습하고, 2단계는 이미지·다중 이미지·비디오를 섞은 130만 지시 샘플에서 병합 모듈과 언어 백본을 함께 1에폭, 학습률 2e-5로 학습한다. 평가는 일반 VQA, 지식 집약 추론, 텍스트·차트 이해, 공간 추론 벤치마크로 구성된다. TTR-Compressor는 2×2 또는 3×3 공간 그룹마다 회귀 하나를 풀어 4개 또는 9개 시각 특징을 한 벡터로 압축한 뒤 2층 MLP로 언어 모델 차원에 맞춘다. 2×2 병합에서 평균은 MLP 병합기의 54.93에서 TTR 55.92, 합성곱 변형 56.03으로 오른다. 3×3 병합에서는 합성곱 변형이 OCRBench 4.10점, InfoVQA 4.54점, ChartQA 3.56점, 평균 2.58점 앞선다. 3×3 TTR 합성곱 변형의 평균 54.85는 2×2 MLP의 54.93에 근접하면서 시각 토큰을 절반 이하로 쓴다. 논문은 이를 55.6% 적은 토큰으로 동등 성능을 낸다고 표현한다.
효율 분석에서 T≪d인 T∈{4,9,64}, d≥1024 영역을 겨냥하면 O(d^2) 오버헤드를 피하고 2d 파라미터로 데이터 의존적 표현력을 낸다고 정리한다. 실제 학습 시간은 블록 희소 어텐션 8×H100에서 평균 풀링이 가장 빠르지만 표현력이 제한적이고 나머지 압축기들은 비슷하다. 시각 토큰 병합 2×8×H100에서는 TTR이 MLP와 대등하며, 2×2에서는 약간 느리지만 3×3에서는 MLP보다 빠르다. 절제 실험에서 키 정규화를 빼면 검색 성능이 붕괴한다. 원시 키를 쓰면 v_t=a^T x_t가 k_t^T a와 같아져 고정 벡터 a가 자명한 정확해가 되고, 큰 노름의 이상치 토큰이 그람 행렬을 지배해 의미 유사도 대신 크기를 반영하게 되기 때문이다. 고정 정규화 계수는 모두 베이스라인을 앞서며 λ=1e-2 근처가 좋고 λ=1e-4에서 0.4364, λ=1에서 0.4238로 떨어진다. 학습 스칼라는 0.4971, 채널별 학습 대각 D가 가장 좋다.
개발자에게 이 방법은 블록 희소 어텐션의 검색 키나 멀티모달 시각 토큰 병합기처럼 압축기가 병목인 자리에 끼워 넣는 연산자로 의미가 있다. 특히 중복이 많은 블록이나 배경 패치에서 세부 정보를 덜 잃으면서 높은 압축률을 노릴 때, 평균·투영·어텐션 풀링 대신 입력별 이차 상관을 반영하는 닫힌 해를 쓸 수 있다. 도입 전에는 압축 구간이 특징 차원보다 짧은지, 블록 간 의존성이 없는 독립 압축 구조인지, 키 정규화와 학습 대각 정규화가 들어가는지, 합성곱 타깃이 필요한지 확인해야 한다. 추론 비용은 블록마다 T×T 촐레스키 분해가 추가되는 구조이며, 학습은 a와 ρ를 과제 손실로 끝까지 학습해야 한다.
원문은 별도의 한계 절을 두지 않는다. 대신 방법과 실험에서 전제가 드러난다. 압축이 작고 서로 겹치지 않는 블록에서 독립적으로 이뤄져 블록 간 의존성이 없다는 전제, 효율 주장이 T≪d인 짧은 압축 구간에 한정된다는 점, 블록 희소 어텐션의 Table 2 평가는 문맥이 짧아 희소 어텐션을 활성화하지 못한다는 점이 있다. 시각 실험은 Qwen3-VL ViT와 Qwen3-4B-Instruct, 2×2·3×3 병합 설정에 한정된다. 또한 외부 레이블 없이 타깃을 만들지만 최종 성능은 과제 손실로 a와 ρ를 학습하는 데 의존하며, 추론 시 입력별 닫힌 해를 다시 계산해야 한다. 원문에 이보다 명시적인 실패 사례나 일반화 한계 수치는 제시되지 않았다.