LOWN은 확산 VLM에서 이미지가 필요할 때만 시각 토큰을 처리한다

무엇인가

이 논문은 확산 비전-언어 모델(DVLM)이 디코딩 단계마다 전체 멀티모달 입력을 다시 처리하는 비용 문제를 다룬다. 연구진이 사용한 벤치마크에서 시각 토큰은 LLaDA-V 입력의 89~97%를 차지했고, 이미지 없이 수행하는 TEXT-ONLY forward는 FULL forward 비용의 3~10%에 불과했다. 기존 시각 토큰 프루닝은 일부 토큰을 제거해 비용을 줄이지만 제거된 정보를 잃고, 남은 이미지를 매 단계 계속 처리한다. 저자들은 LLaDA-V의 예측을 이미지 포함/제외 조건에서 비교해, 이미지 제거가 실제로 unmask되는 토큰 결정을 바꾼 단계가 평균 22.8%에 그치며 MMBench에서는 7.9%, DocVQA에서는 43.8%로 과제별 편차가 크다는 점을 보였다. 또한 unmask 대상 위치의 83.4%는 FULL과 TEXT-ONLY의 top-1 예측이 같았고, 최종 토큰의 85.0%는 unmask되기 전에 이미 top-1으로 등장했다.

어떻게 동작하나

제안 방법 LOWN은 최근 FULL forward에서 얻은 마스킹 위치별 top-1 예측과 confidence를 앵커로 저장한다. 각 단계에서 먼저 TEXT-ONLY forward를 실행하고, 현재 TEXT-ONLY 예측이 앵커와 같은 위치를 인증된 후보로 본다. 앵커 confidence 순으로 정렬했을 때 연속으로 인증되는 가장 긴 접두사가 인증 접두사가 된다. 이 접두사 길이가 기준 k, 즉 기존 디코딩이 한 단계에 unmask하는 토큰 수 이상이면 FULL forward를 생략하고 인증된 접두사 전체를 앵커 예측으로 unmask한다. 접두사가 k보다 짧으면 FULL forward를 실행해 앵커를 갱신하고, TEXT-ONLY와 FULL 예측이 다른 위치를 먼저, 그다음 FULL confidence 순으로 k개를 unmask한다. LOWN은 모델 파라미터나 어텐션 패턴을 바꾸지 않으며 학습도 임계값 튜닝도 필요로 하지 않는다. 기준보다 많은 단계를 쓰지는 않지만, 인증 접두사가 길면 한 단계에서 k개보다 많이 진행해 전체 단계 수를 줄일 수 있다.

무엇과 다른가

비용 구조는 명시적으로 분석된다. 기준 디코딩이 T번의 FULL forward를 한다면 LOWN의 상대 FLOPs는 R=f+σρ로 표현된다. 여기서 f는 FULL forward 빈도, σ는 기준 대비 단계 수, ρ는 TEXT-ONLY forward의 단위 비용이다. 인증은 f를 낮추고, k개보다 많은 토큰을 수용하는 것은 σ를 낮춘다. 시각 토큰 프루닝과 조합하면 FULL forward 비용에 π가 붙어 πf+σρ가 되는데, 프루닝은 각 FULL forward를 싸게 만들고 LOWN은 FULL forward를 덜 실행하게 만드는 서로 다른 축이다. 그래서 저자들은 LOWN이 시각 토큰 프루닝 및 key-value caching과 직교적으로 결합된다고 주장한다.

어떻게 쓰나

실험은 LLaDA-V와 LaViDa를 대상으로 MathVista, ScienceQA, ChartQA, MME, MMBench, DocVQA, GQA, LLaVA-Bench, CapArena, DeCapBench의 10개 벤치마크에서 수행됐다. 비교 대상은 RedVTP, ZOO-Prune, KLASS, D3ToM이며, 캐싱 비교에는 Fast-dLLM이 사용됐다. LLaDA-V에서 단독 LOWN은 평균 0.353배 디코딩 FLOPs로 기준 점수의 99.6%를 유지했고, 가속 방법 중 8개 벤치마크에서 가장 높은 점수를 냈다. 벤치마크별 상승분을 100%로 제한하면 평균 98.6%가 된다. 생성 시간은 평균 57.4%, 최대 73.2% 줄었다. RedVTP 50% retention과 결합하면 기준 대비 0.223배 FLOPs에서 정규화 평균 98.3을 기록하며 10개 벤치마크 모두에서 가장 높았고, RedVTP 50% 조합에서는 FLOPs를 추가로 57.6%, ZOO-Prune 33% 조합에서는 60.6% 더 줄였다.

전제와 한계

전이와 조합 결과도 제시된다. LaViDa에서는 동일한 결정 규칙으로 평균 0.174배 FLOPs에서 기준 점수의 99.7%를 유지했고, MMBench에서 77.18 대 76.95, GQA에서 56.54 대 56.69를 0.088배와 0.091배 FLOPs로 기록했다. VidLaDA-8B에서는 EgoSchema에서 0.255배 FLOPs로 60.2 대 60.6, MLVU에서 0.272배 FLOPs로 43.3 대 41.8을 냈다. Fast-dLLM의 key-value cache와 결합한 경우 MathVista, LLaVA-Bench, DeCapBench에서 Fast-dLLM 대비 평균 생성 시간을 38.1~50.1% 줄이고 FLOPs를 44.1~58.9% 줄였지만, 점수는 세 과제 모두 Fast-dLLM보다 낮았고 LLaVA-Bench에서는 5.0점 낮았다.

절제 실험은 LOWN의 적응적 판단이 고정 스케줄보다 낫다는 주장을 뒷받침한다. LOWN의 평균 FULL forward 횟수에 맞춘 무작위 스케줄과 비교하면 정규화 품질이 4.9~13.0% 높았고, MathVista에서 비슷한 연산량의 Period 4 스케줄보다 4.0점 높았다. 시각 라우팅만으로 FLOPs가 27~68% 줄었고, 적응적 수용은 남은 비용을 21~43% 추가로 줄였으며 10개 중 7개 벤치마크에서 더 높은 점수를 냈다. 인증 신뢰도 분석에서는 한 단계 전 앵커에 대한 불일치율이 4.1~11.0%였고, DocVQA에서 앵커가 8단계 늙으면 25.3%까지 올랐다. LOWN 자체 궤적에서 TEXT-ONLY 단계로 unmask된 토큰의 불일치율은 2.2~4.7%였고, 해당 토큰의 92~97%는 직전 단계 앵커를 사용했으며 5단계보다 오래된 앵커는 없었다. 이미지가 필요한 단계만 이상적으로 고른 오라클 스케줄은 0.33배 FLOPs였고 LOWN은 0.35배였다.

개발자 관점에서 LOWN은 기존 DVLM 추론 스택에 학습 없이 붙일 수 있는 이미지 접근 스케줄링 기법이다. 시각 토큰 비중이 큰 모델에서 FULL forward의 빈도를 줄이는 것이 핵심이므로, 시각 토큰 프루닝이나 KV 캐시와 함께 적용해 비용을 더 낮출 수 있다. 다만 매 단계 TEXT-ONLY forward를 실행하므로 절감량은 인증 접두사가 얼마나 길게 형성되는지에 달려 있고, 문서·차트처럼 세밀한 시각 정보가 계속 필요한 작업에서는 FULL forward가 자주 필요해 이득이 줄어든다. 실무에서는 문서 이해, 차트 QA, OCR성 작업에서 품질 저하를 별도로 확인하고, 프루닝 retention ratio나 캐시 설정으로 비용과 품질의 균형을 조정하는 방식이 적절하다.

저자들이 밝힌 한계도 분명하다. LOWN은 TEXT-ONLY 예측과 일치하는 앵커 예측을 재사용하므로, 재사용된 토큰이 새로운 FULL 예측과 다를 수 있고 앵커가 오래될수록 그 가능성이 커진다. 차트와 문서 읽기에서는 시각 의존성이 지속되어 비용 절감이 상대적으로 작다. 또한 같은 일치 규칙이 응답에 필요한 FULL forward 횟수를 결정하기 때문에 디코딩 전에 비용을 고정할 수 없다. 시각 토큰 프루닝과 결합하면 retention ratio로 어느 정도 비용을 조절할 수 있지만, 이는 LOWN 자체의 사전 비용 설정 수단은 아니다.