LightVAE가 영상 VAE 디코딩을 최대 2.97배 빠르게 만든다

무엇인가

영상 생성 모델 대부분은 잠재 공간에서 동작한다. VAE가 픽셀과 잠재 표현 사이를 오가고, DiT가 반복 디노이징으로 잠재를 만든다. 그런데 가속 연구는 대부분 디노이징 쪽에 몰려 있다. 증류로 샘플링 스텝을 줄이고, 캐싱으로 스텝 간 계산을 재사용하고, 효율적 어텐션·양자화·커널 최적화로 스텝당 비용을 낮춘다. 디노이징이 빨라질수록 VAE 추론이 전체 지연에서 차지하는 비중이 커진다. 특히 합성곱 기반 영상 VAE에서는 고해상도 디코더 단계의 causal Conv3D가 큰 특징맵 위에서 조밀한 시공간 커널을 돌려 비싸다. 이 논문은 그래서 디코더 압축에 초점을 맞춘다.

어떻게 동작하나

기존 압축 방식은 두 갈래다. Turbo-VAED는 저해상도 단계에 depthwise-separable Conv3D를 쓰고 고해상도에는 조밀한 Conv3D를 남긴다. Flash-VAED는 고해상도 단계에 depthwise-separable Conv3D와 채널 프루닝된 Conv2D를 조합한다. 저자들은 이 둘의 한계를 짚는다. depthwise-separable Conv3D는 공간 필터링과 채널 혼합을 함께 묶어 사전학습된 조밀 합성곱 응답을 재현하기 어렵고, 프루닝된 Conv2D는 국소 시간 상호작용을 없애면서 공간 표현까지 좁힌다. Conv2D 치환은 해당 층을 공간 전용 처리로 고정해 시간 용량을 조절할 여지를 없앤다. 여기서 질문이 나온다. 사전학습된 Conv3D의 공간 기여와 시간 기여는 압축 민감도가 다른가.

무엇과 다른가

LightVAE의 핵심인 TLR(Temporal Low-Rank Compression)은 causal Conv3D를 정확히 재매개변수화하는 데서 출발한다. 3탭 합성곱에서 출력을 두 항으로 나눈다. 하나는 모든 시간 커널 슬라이스의 합 S = W0+W1+W2를 현재 프레임에 적용한 집계 공간 응답이고, 다른 하나는 과거 커널 묶음 M_temp = [W1, W2]를 현재-과거 특징 차이 ΔX_t = [X_{t-1}-X_t; X_{t-2}-X_t]에 적용한 시간 보정이다. 이 분해는 근사가 아니라 항등식이다. TLR은 S는 조밀하게 그대로 두고 M_temp에만 절단 SVD를 적용한다. M_temp,r = U_r Σ_r V_r^T = A[B1,B2]로, B_j는 r개 출력 채널의 공간 Conv2D, A는 포인트와이즈 Conv2D가 된다. 공유 임계값 η가 각 층의 시간 특이값 합에서 남길 최소 비율을 정하고, 특이값 스펙트럼에 따라 층별 랭크가 결정된다. 랭크는 복구와 추론 동안 고정된다. 같은 입력에 대해 오차 상한은 ||Ŷ_t - Y_t||_F ≤ σ_{r+1} ||ΔX_t||_F다. MAC 기준으로 3D 합성곱은 3 P C_out d, TLR은 P(C_out d + 2 r d + C_out r)이며 r < 2 C_out d/(2d + C_out)일 때 이득이 난다.

어떻게 쓰나

산술 감소를 실제 속도로 바꾸기 위해 가중치 폴딩과 투영 히스토리 캐싱을 쓴다. 현재 프레임 보정을 공간 커널에 흡수해 S_eff = S - A(B1+B2)를 만들고, Q_{j,t} = B_j X_t를 캐시한다. 그러면 출력은 S_eff X_t + b + A(Q_{1,t-1} + Q_{2,t-2})가 된다. S_eff, B1, B2가 같은 입력을 공유하므로 출력 채널을 이어 붙여 C_out + 2r 채널의 Conv2D 하나로 합칠 수 있다. 폴딩은 MAC 수는 그대로 두고 합성곱 호출 수와 중간 텐서를 줄인다. 캐시는 같은 영상의 청크 사이에서 유지되고 영상 사이에서 초기화된다. 깊이 방향으로는 숏컷-출력 코사인 유사도가 높다는 관찰에서 출발해, TinyFusion의 복구 가능성 인식 탐색을 합성곱·트랜스포머 블록에 맞게 적용한 폭 보존 블록 프루닝을 쓴다. 필수 숏컷·투영·리샘플링은 남기고, 선택 로짓과 공유 LoRA를 고정된 베이스 가중치 위에서 L1 재구성과 LPIPS로 학습한다. 검색 후 LoRA는 TLRConv2D 초기화 전에 병합된다. 복구에는 프로브 유도 특징 정렬을 쓴다. 동결된 교사 접미부가 학생 특징을 재구성으로 매핑하고, 이를 분리된 교사 출력과 비교해 얻은 입력 그래디언트 g와 부호 있는 학생-교사 특징 차이 δ로 가중치 w_i를 만든다. δ_i g_i < 0인 방향, 즉 국소적으로 프로브 손실을 키우는 방향의 정렬 업데이트를 억제한다. 프로브 손실 자체는 복구 목적함수에서 제외된다.

전제와 한계

실험은 Wan2.1, Wan2.2, MiniMax-H3 세 백본과 H100, RTX 5090 두 GPU에서 돌렸다. Wan2.1/Wan2.2는 81프레임 480×832 / 704×1280, MiniMax-H3는 124프레임 768×1344 클립으로 처리량을 측정했다. 재구성 평가는 UCF-101의 33프레임과 DAVIS 2019 챌린지 테스트셋의 720×1280 전 프레임을 쓰고, 비디오 단위 RGB PSNR, 프레임 평균 SSIM, LPIPS-VGG를 봤다. Wan2.1에서 Lite는 H100/RTX 5090 기준 Flash-VAED 대비 1.12배/1.11배 처리량을 내면서 DAVIS PSNR이 더 높고 LPIPS가 더 낮다. Wan2.2에서 Pro는 두 데이터셋 모두 모든 재구성 지표에서 Turbo-VAED를 앞서면서 H100 처리량도 38.84 FPS 대 29.24 FPS로 높다. Wan VAE 전체로는 Lite가 H100/RTX 5090에서 원본 대비 최대 4.06배/4.20배 처리량에 도달한다. RTX 5090에서 Wan2.2 Lite는 31.87 FPS인데, Turbo-VAED는 같은 81프레임 프로토콜에서 메모리 부족으로 실행되지 않는다(원 논문은 17프레임 기준). MiniMax-H3에서는 Lite가 H100/RTX 5090에서 원본 디코딩 처리량의 2.95배/2.97배를 내면서 VBench-2.0 종합 점수의 99.51%를 유지한다. 참조 인코딩도 최대 2.68배 빨라진다.

절제 실험도 구체적이다. 같은 잔존 임계값에서 시간 성분만 근사한 경우 출력 오차가 가장 작았고, 공간과 시간을 함께 저랭크로 만든 경우의 오차는 공간만 근사한 경우와 비슷하게 따라붙었다. 시간 오차는 up1에서 up3로 갈수록 줄어든다. 복구 없이 같은 MAC 예산을 맞춘 비교에서도 TLR이 가장 낮은 오차를 냈다. MAC 바닥 70% 근처에서는 공간 전용 압축이 공간 용량을 거의 남기지 못해 공동 압축이 S에 예산을 더 배분하는 쪽이 낫지만, 80~95% 구간에서는 공간 전용이 공간 용량을 되찾고 M_temp를 조밀하게 유지해 공동 압축을 앞선다. 기본값은 η=0.6이다. 깊이 압축만으로는 원본 대비 1.85배~2.35배, 폴딩 TLR만으로는 1.14배~1.41배 처리량이 나오는데, 프루닝 뒤에 폴딩 TLR을 적용하면 프루닝 단독 대비 추가로 1.17배~1.40배가 더 나온다. Lite 구성(r=0 in up2/up3, 나머지 η=0.6)은 전 단계 η=0.6 대비 디코딩 처리량을 1.27배~1.30배 끌어올린다. 블록 프루닝과 채널 프루닝 비교에서는 14개 잔차 주 브랜치 중 6개를 남기는 블록 프루닝과 채널 약 41.7%를 제거하는 채널 프루닝이 복구 전 RTX 5090에서 각각 45.58/42.69 FPS를 냈고, 블록 프루닝이 더 빨리 수렴하고 같은 복구 조건에서 더 높은 PSNR에 도달했다. 균일 특징 MSE는 재구성 단독보다도 못했지만 프로브 유도 정렬은 복구를 개선했다.

실무 관점에서 이 논문이 주는 것은 기존 영상 VAE 가중치를 버리지 않고 디코더만 압축하는 레시피다. 잠재 인터페이스를 그대로 두므로 이미 돌리고 있는 DiT 파이프라인에 교체 투입할 수 있고, 코드가 공개되어 있다. 적용 전에 확인할 것은 세 가지다. 첫째, TLR 유도는 시간 커널이 3탭이고 시간 스트라이드·딜레이션이 1인 causal Conv3D를 전제로 전개되므로 다른 구조에는 별도 유도가 필요하다. 둘째, 층별 랭크는 복구 후 고정되므로 η를 낮추면 처리량은 오르지만 품질 여유가 줄어든다. 셋째, 캐시가 영상 사이에서 초기화되어야 하므로 배치나 청크 경계를 잘못 다루면 프레임 간 오염이 생길 수 있다. 또한 Turbo-VAED가 81프레임에서 OOM이 났다는 비교는 원 논문의 17프레임 평가와 조건이 다르므로, 자기 워크로드의 프레임 수와 해상도에서 직접 재측정하는 편이 안전하다.

논문이 명시적으로 밝힌 한계 절은 제공된 본문에 없다. 대신 전제가 곳곳에 깔려 있다. 프레임워크는 주로 디코더 압축을 겨냥하고 인코더 확장은 부록 G.2의 참조 조건부 인코딩 실험으로 미뤄 둔다. TLR 유도는 단위 시간 스트라이드·딜레이션과 3탭 예시를 기준으로 전개되며, 층 랭크는 복구와 추론 동안 고정된다. 교사와 프로브 계산은 복구 단계에서만 쓰이고 추론에는 남지 않는다. MiniMax-H3 결과는 VBench-2.0 점수의 99.51% 유지, 즉 완전 무손실이 아니라 약간의 품질 손실을 전제한다. 블록 프루닝은 복구 가능성 인식 탐색에 의존하므로 검색 비용과 그룹별 잔존 할당량, η, λ_F 같은 하이퍼파라미터에 민감할 수 있다는 점도 감안해야 한다.