RECAP은 요청 로컬 메모리와 지속 메모리로 멀티모달 추측 디코딩을 가속한다

무엇인가

이 논문은 비전-언어 모델의 추측 디코딩에서 훈련 없이 목표 모델의 버려진 예측을 재활용하는 방법을 다룬다. 기존 재활용은 마지막 토큰 하나로 예측을 색인해 서로 다른 이미지와 접두사 아래 계산된 예측을 뒤섞는 조건 혼동을 만든다. 논문은 700장의 Qwen2.5-VL 이미지에 대한 반사실 진단에서 이미지를 바꿨을 때 완전히 거부된 드래프트의 34.9%에서 루트 예측이 바뀌었지만, 5토큰 이상을 수용한 드래프트에서는 12.4%만 바뀌었다고 보고한다. 더 긴 키는 혼동을 줄이지만 매칭되는 상태가 줄어드는 특이성-커버리지 트레이드오프가 있고, 논문은 이 둘을 분리해 다룬다.

어떻게 동작하나

RECAP은 목표 모델의 상위 K개 예측 행을 1·2·3토큰 키로 저장한다. 토큰 수준 메모리 U는 추론 스트림에서 요청을 넘어 유지되고, 바이그램 C와 트라이그램 G는 요청마다 초기화되어 현재 요청의 이미지 조건을 암묵적으로 포함한다. 조회 시 각 행을 특이성 사전확률과 엔트로피 기반 신뢰도 exp(-H)의 곱으로 가중해 혼합하고, 상위 K개로 잘라 재정규화한 제안 분포 q를 만든다. 이 혼합은 가중 KL 중심으로 해석된다. 이후 최선 우선 탐색이 경로별 q와 깊이 계수 η의 곱으로 후보 트리를 구성하고, 프롬프트와 커밋된 이력에 대한 접미사 오토마톤이 관측된 연속을 덧붙인다. 목표 모델은 한 번의 패킹된 패스로 트리를 검증해 가장 긴 일치 경로와 목표가 고른 토큰 하나를 커밋한다. 커밋되지 않은 가지를 포함한 모든 평가 노드의 예측은 경로 문맥에 따라 메모리를 갱신하지만, 접미사 오토마톤에는 커밋된 토큰만 들어간다. 훈련이나 보조 드래프터가 없고 목표 평가가 정확하면 그리디 디코딩을 그대로 보존한다고 주장한다.

무엇과 다른가

실험은 A100 80GB에서 Qwen2.5-VL-7B-Instruct와 LLaVA-1.6 Vicuna-7B를 그리디, 배치 1, 최대 200개 새 토큰으로 돌린다. 일곱 단일 턴 벤치마크 MMT-Bench, SEED-Bench, ScienceQA, OCRBench, ChartQA, MathVista, TextVQA에서 각 1000개 입력을 쓰고, MMSpec은 6개 범주 600개 입력을 추가한다. 비교 대상은 PLD, Lookahead, Token Recycling, Tree Recycling, SAM Decoding, SAM+ViSkip 같은 드래프트 모델 없는 방법이다. Qwen 평균 속도 향상은 1.66배로 Token Recycling의 1.51배를 넘고, LLaVA는 1.56배 대 1.37배다. Qwen은 MathVista 2.19배, ChartQA 1.75배, LLaVA는 OCRBench 1.81배, MathVista 1.71배를 기록했다. 평균 수용 길이는 3.02와 2.92로 Token Recycling의 2.71과 2.55보다 길다. MMSpec 전체로는 Qwen 1.89배, LLaVA 1.59배로 Token Recycling의 1.56배, 1.43배를 넘는다. 다만 Qwen의 text VQA에서는 1.26배로 Token Recycling의 1.31배보다 낮고 둘 다 τ=2.49로 반올림된다. multi-turn은 Qwen 2.09배, LLaVA 1.73배다.

어떻게 쓰나

훈련된 DREAM과 ViSpec 드래프터와 비교하면 이들은 평균 τ 3.68~3.76으로 RECAP의 2.92와 3.02보다 긴 수용 길이를 보이고, RECAP은 그 78~80% 수준이다. 이들의 속도 향상 1.05~1.26배는 RECAP보다 낮게 측정됐지만 AR 기준선이 41.9~61.2 tokens/s로 RECAP 실험의 29.9~39.4 tokens/s보다 빨라서 RECAP이 더 빠르다는 결론을 세울 수 없다고 논문은 밝힌다. 훈련된 드래프터는 목표 모델마다 훈련 단계가 필요하고 451M~890M 파라미터, 16비트 가중치 0.84~1.66GiB를 서빙 GPU에 추가한다. RECAP은 파라미터나 GPU 상주 상태를 추가하지 않으며 기본 예산에서 제안 상태가 호스트 메모리 최대 8.70MiB라고 보고한다. 절제 실험에서 문맥 백오프는 유니그램 재활용보다 처리량 3.03%를, 동일 실험 반복은 2.42%를 개선했고, 균등 융합은 백오프보다 0.75%, 특이성 사전확률은 균등 융합보다 2.80%를 개선했다. 토큰 메모리를 요청 간 유지하는 것은 요청별 초기화보다 평균 5.42%, 4.36~7.18% 처리량을 높였다. 엔트로피-신뢰도 가중은 고정 사전확률보다 Qwen 0.73%, LLaVA 1.09%의 작은 이득을 더했고, 신뢰도 기반 단일 소스 게이팅은 각각 0.66%, 1.90% 처리량을 떨어뜨렸다. 접미사 삽입은 평균 0.61% 개선, 데이터셋별 -0.67~+2.23%였다. 기본 예산에서 검색·융합·트리 구성·패킹은 Qwen 0.907ms, LLaVA 1.121ms, 메모리 갱신과 접미사 색인 등 목표 검증 밖의 전체 호스트 작업은 1.778ms와 1.974ms로 디코딩 벽시계 시간의 8.20%와 5.61%를 차지한다.

전제와 한계

재생 분석은 ChartQA, TextVQA, OCRBench, MMT-Bench에서 각 100개씩 400개 입력의 23,811개 상태를 쓴다. 더 세밀한 키는 모든 데이터셋에서 조건부 재현율을 높이고 커버리지를 낮춘다. OCRBench에서 U 커버리지는 54.9%, G 커버리지는 18.6%인데 재현율은 63.6%에서 90.6%로 올라간다. 같은 쿼리에서 8개 후보씩 둘 때 이미지가 일치하는 행은 뒤바뀐 이미지 행보다 fused Recall@8이 0.89~6.35%포인트 높다. G와 U가 모두 매칭되는 상태로 제한하면 G는 U보다 Recall@8을 5.00~29.54%포인트 개선한다. 같은 실제 후보 수에서 U+C 백오프는 ChartQA의 매칭 연속 길이를 0.516에서 0.709토큰으로, OCRBench는 0.632에서 1.135토큰으로 늘리고, 온라인 통제에서는 1.11~3.64% 처리량 이득을 냈다. 접미사 검색은 평균 매칭 길이를 0.059~0.190토큰 늘렸다. 논문은 이 결과를 더 정밀한 문맥 매칭과 요청 경계를 넘는 재사용이 속도 향상에 연결된다는 증거로 제시한다.

개발자에게 이 방법은 이미지 입력을 쓰는 VLM 서빙에서 훈련 데이터 수집이나 별도 드래프터 체크포인트 없이 추측 디코딩을 붙이는 선택지로 의미가 있다. 특히 그리디 디코딩과 배치 1, 이미지 기반 요청에서 호스트 메모리 몇 MiB 수준의 상태로 처리량을 높이는 설계를 참고할 수 있다. 다만 요청 로컬 메모리와 지속 메모리를 사용자나 서비스 경계에서 격리해야 하고, 지속 메모리를 어느 범위에서 초기화할지 정해야 한다. 실제 도입 전에는 대상 모델과 하드웨어에서 속도 향상, 수용 길이, 메모리 사용량, 지연 분포를 직접 측정해야 한다. 논문의 수치는 생성 처리량이며 애플리케이션 수준 지연 분포나 하위 작업 정확도를 보장하지 않는다.

저자들은 증거가 그리디, 배치 1, 이미지 기반 입력, 두 개의 7B VLM에 한정된다고 밝힌다. 더 큰 모델, 동시 서빙, 비디오는 검증하지 않았다. 기본 특이성 사전확률, 신뢰도 가중, 트리 설정은 하드웨어와 요청 길이에 따라 지연-메모리 트레이드오프를 다르게 만들 수 있다. 보고된 효율은 생성 처리량에 관한 것이며 하위 작업 정확도나 애플리케이션 수준 지연 분포를 입증하지 않는다. 또한 온라인 예측 메모리는 적절한 사용자 또는 서비스 경계에서 격리해야 하고, 추론이 빨라져도 출력 평가 필요성은 사라지지 않는다.