CatchUp이 지연된 시각 토큰을 깊이 보정해 재도입한다

무엇인가

이 논문은 대형 비전-언어 모델(LVLM)이 수백 개의 시각 토큰을 디코더 층마다 반복 처리하면서 생기는 attention, feed-forward, 메모리 비용을 줄이는 문제를 다룬다. 기존 디코더 측 시각 토큰 프루닝은 attention, 질의 관련성, 중복성, 공간 구조 등으로 토큰을 제거하거나 압축하지만, 한 번 제거된 토큰은 이후 층에서 다시 관련해져도 독립적으로 돌아올 수 없다. 복구 가능한 라우팅은 제외 토큰을 보존하지만, 건너뛴 중간 변환을 반영하지 못한 오래된 hidden state로 재도입해 현재 디코더 깊이와 어긋난다는 것이 저자들의 문제 설정이다.

어떻게 동작하나

저자들은 LLaVA-1.5-7B로 500개 RefCOCO 샘플, 576개 시각 토큰, top-64, 2번 층을 기준 깊이로 두고 두 가지를 관찰한다. 같은 질의 기반 관련성 기준에서도 top-64 집합은 인접 층 사이 평균 28.85%가 바뀌고, 기준 층에 없던 토큰 비율(LER)은 7번 층에서 50%를 넘고 31번 층에서 99.42%에 이른다. 또한 stale 상태로 라우팅해도 현재 깊이 oracle과 top-K overlap 59–71%, re-admission Recall@K 39–46%를 보이지만, 재도입 토큰의 stale 상태를 full-token 궤적의 현재 깊이 상태로 바꾸면 같은 라우팅과 예산에서 평균 RefCOCO [email protected]가 18.96에서 23.18로 오른다. 그래서 저자들은 지연된 증거를 보존하는 것과 재도입 시 표현을 보정하는 것이 함께 필요하다고 주장한다.

무엇과 다른가

CatchUp은 학습 없이 동작하는 프레임워크로, 디코더 2, 7, 15, 23번 층에서 라우팅한다. 각 라우팅 층 입력에서 전체 시각 토큰 집합을 대상으로 현재 층의 텍스트 질의와 각 토큰의 최신 표현을 사용해 질의 조건 관련성을 다시 평가한다. 활성 토큰은 현재 표현을 쓰고, 지연 토큰은 캐시된 표현을 현재 층의 key projection으로 투영해 점수를 낸다. 점수는 마지막 텍스트 토큰에서 각 시각 토큰으로 향하는 post-softmax attention을 헤드 평균한 값이며, 예산 K_s에 따라 TopK를 선택한다. 선택된 토큰만 다음 디코더 구간을 통과하고, 지연 토큰은 캐시 상태를 유지한 채 계산과 decoder KV-cache에서 빠진다. 새로 재도입되는 집합은 현재 선택 집합에서 이전 선택 집합을 뺀 토큰들이다.

어떻게 쓰나

재도입 토큰 p가 건너뛴 표현 변화는 Local Transition Correction(LTC)으로 근사한다. LTC는 이전과 현재 라우팅 층 모두에서 선택되어 직전 구간을 실제로 통과한 토큰들을 anchor 후보로 삼는다. 후보 q에 대해 기준 깊이의 재도입 토큰 표현과 anchor의 보존된 기준 표현의 코사인 유사도에서 공간 거리 항을 빼 점수를 만들고, 상위 M개를 고른 뒤 temperature를 둔 softmax 가중치를 준다. 각 anchor의 기준 깊이에서 현재 층으로의 표현 변위를 가중 합해 Δh_p를 만들고, 재도입 토큰의 stale 표현에 γ를 곱한 보정량을 더해 h_hat_p = h_p[l_p] + γΔh_p로 사용한다. anchor 집합이 비면 LTC를 건너뛰고 stale 표현을 그대로 쓴다. 실험 설정은 M=8, λ=0.15, γ=0.8, τ=0.07이며 모든 사전학습 파라미터는 고정된다.

전제와 한계

실험은 LLaVA-1.5-7B, 초기 576개 시각 토큰, 64·128·192 토큰 예산에서 FastV, SparseVLM, PyramidDrop, Nüwa, ReRoute, dense Full과 비교한다. 세밀한 referring-expression grounding은 RefCOCO, RefCOCO+, RefCOCOg의 [email protected]로, 일반 멀티모달은 POPE, VQAv2, VizWiz, GQA, MM-Vet, MMBench로 평가한다. CatchUp은 모든 라우팅 예산에서 여덟 개 grounding split 모두 평가된 효율적 방법 중 최고 성능을 냈고, 평균 grounding retention은 ReRoute보다 K=192, 128, 64에서 각각 3.94, 5.13, 3.53 포인트 높다. K=64에서는 여섯 개 일반 멀티모달 벤치마크 모두에서 효율적 방법 중 최고이며 full 모델 평균 성능의 92.17%를 유지했지만, 같은 예산의 grounding retention은 37.60%에 그쳤다. 64토큰 예산에서 활성 시각 토큰을 88.9% 줄이면서 평균 92.17% 성능 유지와 end-to-end 지연 8.0% 감소를 보고한다.

효율 분석에서 동일 prefill 계산 조건에서는 비교 방법보다 더 공격적인 평균 시각 토큰 감소(89% 대 81–85%)를 하면서도 가장 높은 grounding 정확도와 가장 작은 decoder KV-cache를 보이고 end-to-end 지연은 경쟁력 있는 수준이라고 한다. LTC 자체의 오버헤드는 평균 RefCOCO [email protected]를 2.3 포인트 올리는 대가로 prefill 계산 2.96% 증가, end-to-end 지연 1.38% 증가, 보조 snapshot 메모리 22.50MB를 쓴다. 라우팅 예산과 decoder KV-cache는 LTC 때문에 바뀌지 않는다. 절제 실험에서는 재도입이 monotonic routing보다 RefCOCO와 VQAv2를 개선하지만 stale 재도입만으로는 모든 과제가 좋아지지 않았고, 절대 상태를 섞는 방식은 이득이 작았으며 LTC가 세 지표 모두에서 가장 좋았다. anchor 설계에서는 공간 근접성이 grounding에, 의미 유사성이 POPE와 VQAv2에 특히 유리했고 둘을 결합하면 POPE, VQAv2, MM-Vet에서 가장 좋으면서 grounding에서도 경쟁력 있었다.

개발자에게 이 논문은 시각 토큰 예산이 빡빡한 LVLM 추론에서 토큰을 한 번 버리는 프루닝과 나중에 되살리는 라우팅의 차이를 정량적으로 비교할 근거를 준다. 다만 적용 전에 라우팅 층 위치와 예산, decoder KV-cache, LTC용 snapshot 메모리, 지연 시간, 과제 민감도를 확인해야 한다. 원문이 밝힌 전제와 제약은 학습 없이 사전학습 파라미터를 고정한다는 점, LTC가 full-token oracle이 아니라 근사라는 점, anchor 집합이 비면 보정을 생략한다는 점, 지연 토큰이 참조하는 과거 snapshot을 보존해야 해 보조 메모리가 든다는 점, 하이퍼파라미터를 데이터셋과 예산에 걸쳐 고정했다는 점이다. 주요 실험은 LLaVA-1.5-7B의 576개 초기 토큰과 상수 라우팅 예산에 집중되어 있고, Qwen2.5-VL-7B-Instruct 결과는 보충 자료에 있다.