FlashVSR+가 하이브리드 어텐션과 Ry-DMD로 4K 초해상도를 가속한다

무엇인가

이 논문은 비디오 초해상도(VSR)에서 고해상도 추론 비용과 인간 선호 정렬 문제를 동시에 다룬다. VSR은 저해상도 비디오를 고해상도로 복원해 스마트폰 사진, 소셜 미디어, 라이브 스트리밍, AI 생성 비디오의 2K/4K 업스케일링에 쓰인다. 재구성 기반 방법은 왜곡 지향 충실도는 좋지만 고주파 세부가 모호할 때 과도하게 매끄러운 텍스처를 만든다. 생성형 VSR은 학습된 사전 지식으로 지각적으로 그럴듯한 세부를 합성하지만, 확산 기반은 다단계 디노이징이 비싸고, 최근 원스텝 증류 모델도 고해상도에서 시공간 어텐션의 계산·메모리 비용 때문에 소비자 GPU에서 공간 타일링이 필요해 전역 문맥이 제한되고 경계 아티팩트가 생길 수 있다. 또한 표준 DMD 증류는 교사 분포를 맞출 뿐 OCR처럼 인간 선호가 중요한 출력을 명시적으로 선호하지 못한다.

어떻게 동작하나

FlashVSR+는 FlashVSR을 따라 세 단계로 학습한다. 1단계에서는 flow matching으로 14B 전체 어텐션 다단계 교사 모델을 학습한다. 2단계에서는 1.3B 백본을 하이브리드 어텐션 구조로 교체하고 원스텝 생성을 위한 강한 초기화를 제공하도록 학습한다. 3단계에서는 초기화된 학생을 분포 정합과 픽셀 손실로 원스텝 VSR 모델로 증류한다. 여기에 Ry-DMD가 보상 역전파 없이 스칼라 보상 피드백을 교사 항에 주입한다.

무엇과 다른가

하이브리드 어텐션은 사전학습된 VSR 모델의 어텐션 국소성 관찰에서 나온다. 저자들은 유효 키 블록의 약 1%에 불과한 국소 이웃이 전체 어텐션 질량의 약 20%를 받는 것을 보고, 많은 비국소 상호작용이 약하게 가중되면서도 계산된다고 해석한다. 국소 어텐션 질량은 DiT 블록마다 크게 달라서 완전 국소 설계보다 하이브리드가 낫다고 주장한다. 그래서 대부분의 어텐션 블록을 효율적인 시공간 국소 어텐션으로 바꾸고, 소수의 전역 어텐션 블록은 남긴다. 설정 (s,t,b)는 국소 어텐션에 쓰는 공간 키 블록 수, 이전 시간 키 블록 수, 국소 어텐션으로 교체한 DiT 블록 수를 뜻한다. 최종 모델은 (3,1,25)로 다섯 DiT 블록마다 전역 블록 하나를 남긴다. 이 설계로 DiT 최대 2배 가속, 피크 메모리 45% 감소, 거의 절반 수준의 피크 메모리를 달성해 단일 24GB RTX 4090에서 공간 타일링 없는 4K VSR 추론을 가능하게 한다. 재학습 전후 평가에서 사전학습 모델은 (3,1,15)를 견디지만 공간·시간 문맥을 줄이거나 국소 블록 수를 늘리면 아티팩트가 생기고, (1,1,15), (3,0,15), b가 20 이상인 설정은 직접 교체 시 실패한다. 재학습 후에는 (3,1,25)까지 지연 시간과 피크 메모리를 줄이면서 복원 품질을 유지하고, (3,1,30)은 뚜렷한 품질 하락을 보인다. 하이브리드 학습 뒤 남은 전역 블록의 국소 어텐션 질량이 줄어 비국소 상호작용 쪽으로 이동했다는 분석도 제시한다.

어떻게 쓰나

Ry-DMD는 결정론적 원스텝 생성기를 블랙박스 보상에 맞추기 위한 방법이다. 먼저 깨끗한 교사 분포를 p0* ∝ pT,0 exp(β r(x0,c))로 보상 기울임(reward tilt)한다. 학습 중에는 학생이 만든 x0θ를 다시 노이즈화한 xσ에서 여러 개의 확률적 교사 롤아웃을 뽑고, 각 롤아웃의 스칼라 보상을 그룹 내에서 표준화해 가중치 πj ∝ exp(β aj)를 만든다. 원래 교사 끝점 평균 mT와 보상 가중 평균 mβ의 차이 δm = mβ - mT를 보상이 만든 국소 교사 타깃 이동으로 본다. 이 δm을 DMD 교사 항에 sT^RY = sT + λRY δm / max(σ, εσ)로 더한다. 보상 모델을 미분하지 않고 스칼라 평가만 사용하며, β가 0이면 표준 교사 정합으로 돌아간다.

전제와 한계

실험은 YouHQ40, SPMCS, RealisVideo-4K, VideoLQ, AIGC35에서 수행된다. 비교 대상은 RealViFormer, DOVE, SeedVR2-3B, PS-SR, FlashVSR이고, 정답이 있는 데이터셋에는 PSNR, SSIM, LPIPS를, 전체에는 MUSIQ, CLIPIQA, NIQE, DOVER를 보고한다. GSB 프로토콜을 따른 블라인드 쌍대 사용자 연구에서는 RealisVideo-4K, VideoLQ, AIGC35에서 무작위로 뽑은 20개 비디오로 Ours-Base를 기준 삼았고, Ours-Base가 모든 비교 방법보다 선호되었으며 Ours-Turbo도 더 높은 추론 효율에도 근접했다. 효율 실험은 89프레임 1080p, 2K, 4K 비디오를 H200급 GPU와 RTX 4090에서 평가해 지연 시간과 피크 메모리를 크게 줄였고, 추가 메모리 최적화로 단일 RTX 4090에서 4K VSR 추론을 가능하게 했다.

OCR 기반 VSR 후학습에서는 합성 텍스트 중심 데이터셋과 PaddleOCR 보상 r_OCR = 1 - min(d_Lev(ŷ,y), |y|)/|y|를 사용한다. Baseline, 텍스트 데이터로 표준 DMD를 계속한 TextSFT, CTC 기반 미분 가능 대리 모델로 OCR을 역전파하는 DMDR과 비교했을 때, Ry-DMD가 복원 품질을 유지하면서 가장 큰 OCR 개선을 보였다. 일반화 실험으로 원스텝 SDXL DMD2 학생에 OCR과 PickScore 결합 보상을 적용해 OCR 점수를 0.087에서 0.241로 올려 50스텝 교사를 넘었고, PickScore, HPSv2, ImageReward, LAION 미학 예측기는 유지하거나 개선했다. 4스텝 SD3.5-M에서도 NFE 증가 없이 OCR 정확도를 0.501에서 0.824로 올렸다.

저자들은 원스텝 VSR 증류를 키우는 방법도 재검토한다. DMD 학습을 오래 할수록 성능이 단조 증가하지 않고, 초기 피크 이후 MUSIQ와 DOVER가 비단조적으로 하락할 수 있다. 대신 학생 초기화와 교사 용량이 최종 성능에 더 중요하며, 더 강한 초기화와 더 큰 교사의 조합이 가장 좋았다. 본문이 밝힌 전제와 한계는 다음과 같다. 고해상도 추론 비용은 여전히 부담이고, Ry-DMD는 스칼라 보상과 여러 교사 롤아웃을 필요로 하며 보상 기울기를 쓰지 않는다. 하이브리드 어텐션은 (3,1,25)에서 품질을 유지하지만 (3,1,30)에서는 품질이 떨어지고, 재학습 없는 직접 교체는 b가 20 이상에서 실패한다. 단일 RTX 4090 4K 추론에는 추가 메모리 최적화가 전제된다. 개발자에게 이 논문은 고해상도 비디오 복원을 소비자 GPU에서 돌리는 파이프라인, 특히 4K 타일링을 없애고 OCR처럼 텍스트 가독성이 중요한 복원에 참고할 만하다. 적용 전에는 하이브리드 어텐션 설정 (s,t,b)와 전역 블록 비율, Ry-DMD의 β, λRY, 롤아웃 수 J, 보상 표준화 방식, 4K 메모리 최적화 구현을 확인해야 한다. 코드, 모델, 학습 데이터는 www.flashvsr.tech에서 공개한다고 밝혔다.