ALLOT은 블록 희소 어텐션의 레이어·스텝별 밀도를 출력 오차로 할당한다

무엇인가

이 논문은 영상 Diffusion Transformer에서 전체 3D 어텐션 비용이 토큰 수에 대해 제곱으로 증가하는 문제를 다룬다. Wan2.1-14B가 단일 GPU에서 720p·81프레임 영상을 약 한 시간에 생성하고, 어텐션이 전체 시간의 절반 이상을 차지한다는 점을 근거로 든다. 블록 희소 어텐션은 선택된 블록만 계산해 비용을 줄이지만, 기존 연구는 어떤 블록을 계산할지(선택 전략)에 집중하고 레이어·디노이징 스텝별로 얼마나 희소하게 둘지(할당)는 휴리스틱이나 국소 지표에 의존한다는 것이 저자들의 문제의식이다.

어떻게 동작하나

ALLOT은 각 (레이어, 스텝) 쌍을 셀로 보고, 그 셀을 밀도 b로 희소화했을 때 최종 영상이 얼마나 나빠지는지를 민감도로 정의한다. 이를 직접 수천 번 생성해 재는 대신 두 신호로 추정한다. 셀 프로빙은 소수 실제 영상에 노이즈를 넣고 한 레이어만 밀도 b로 희소화한 뒤, 그 스텝의 velocity 예측과 dense 예측 사이 MSE를 잰다. 트래젝토리 캘리브레이션은 스텝을 연속 윈도로 나누고 한 윈도만 모든 레이어를 고정 밀도 b0로 희소화해 최종 영상을 생성한 뒤, dense 기준 픽셀 MSE를 그 윈도 셀 프로브 합으로 나눠 w(s)를 구한다. 최종 민감도 추정은 w(s)와 셀 프로브를 곱한 값이다.

무엇과 다른가

할당은 측정된 지연시간 예산 아래 모든 셀 밀도를 동시에 최적화하는 문제로 푼다. 목적식은 추정 민감도 합을 최소화하고, 제약식은 각 셀의 어텐션 지연시간 r(b) 합이 예산 C를 넘지 않게 한다. r(b)는 밀도에 비례하지 않고, sparse 커널이 dense보다 빨라지는 교차점이 있어 이를 측정해 사용한다. 라그랑주 완화와 이분 탐색으로 풀며, 워밍업 길이와 dense로 남길 레이어, 스텝별 밀도 변화가 손으로 정한 규칙이 아니라 해에서 나온다. 추론 시에는 모델·선택 전략·예산별로 오프라인에서 만든 밀도 표를 조회하고, 기존 선택 전략과 커널은 그대로 둔 채 컷오프만 바꾼다.

어떻게 쓰나

동기 분석에서 저자들은 첫 한두 레이어의 one-step 오차가 중앙값 레이어의 최대 154배까지 커지고, attention mass나 Hellinger distance 같은 attention-map 지표는 민감도 순위를 다르게 매겨 품질을 떨어뜨릴 수 있음을 보인다. 또한 같은 희소화 설정에서 초기 스텝 윈도가 후기 윈도보다 최종 영상 오차를 훨씬 크게 만들며, 일부 모델에서는 첫 윈도와 마지막 윈도의 MSE 비율이 수백 배에 이른다. 반면 one-step 오차는 그 차이를 과소평가하고 Wan2.2에서는 순서를 뒤집기도 한다. 고정 모델·선택 전략에서는 입력이 바뀌어도 민감도 순위가 대체로 유지되어, 중앙값 Spearman 상관 0.80–1.00을 보고한다.

전제와 한계

실험은 Wan2.1-T2V-1.3B와 14B, Wan2.2-T2V-A14B, HunyuanVideo 네 모델에서 32개 VBench 프롬프트, 50 디노이징 스텝으로 진행된다. 품질은 같은 프롬프트·시드의 dense 결과와 비교한 PSNR·SSIM·LPIPS로 재고, VBench도 함께 본다. XAttention의 선택 전략과 커널을 고정하고 할당만 바꾼 비교에서 ALLOT은 비교한 모든 할당 방법을 1.53–7.31dB 차이로 앞섰고, 초록은 HunyuanVideo에서 XAttention과 결합해 11.8dB PSNR 향상을 보고한다. VBench 점수는 베이스라인과 비슷한 수준으로 유지된다.

공개 파이프라인 통합 실험에서는 SVOO, SVG2, SpargeAttn, Radial의 공식 파이프라인에 할당만 교체해 넣었다. 9개 설정 중 6개에서 기본 설정을 최대 5.03dB PSNR로 앞서고 3개에서는 동률을 기록했다. HunyuanVideo 13B에 SVOO를 쓴 경우 PSNR이 3.38dB 오르면서 end-to-end 속도 향상이 1.75배에서 1.90배로 증가했다. mean-pooled top-k를 쓴 세 Wan 모델에서는 uniform 베이스라인과 강화 베이스라인을 모두 앞선다. 절제 실험에서 트래젝토리 캘리브레이션이 가장 중요한 요소로, 모든 스텝에 w(s)=1을 두면 PSNR이 7.05dB 떨어지고, 같은 one-step 오차를 쓰는 DiTFastAttn의 greedy 규칙은 19.38dB를 기록한다.

민감도 추정의 검증도 제시된다. 고정 총비용에서 ALLOT의 밀도를 셀 간에 뒤섞으면 모든 프롬프트에서 PSNR이 떨어지고, held-out 프롬프트의 80개 표에서 예측 순위와 측정 순위가 pooled Kendall τ=0.83으로 일치한다. 캘리브레이션은 프로빙 영상 4개와 프롬프트 8개를 쓰며, 1–2개로 줄여도 이득의 10분의 1 미만만 잃고 8개 프로빙 영상은 4개 대비 유의한 이득이 없다고 보고한다. 오프라인 측정은 모델당 약 6–23 GPU-hour, Wan2.2의 두 expert는 30시간 이상 걸리지만, 예산이나 스텝 수를 바꿀 때는 CPU에서 약 4초 만에 표를 다시 풀 수 있다. 30스텝, CFG 7.5, Euler 샘플러에서도 재측정 없이 기본 설정을 앞선다.

개발자 관점에서 ALLOT은 영상 DiT 서빙에서 블록 희소 어텐션을 이미 쓰거나 도입하려 할 때, 선택 전략을 새로 학습하지 않고 레이어·스텝별 밀도 표만 바꿔 같은 지연시간에서 품질을 끌어올리는 선택지다. 다만 모델과 선택 전략별로 오프라인 캘리브레이션이 필요하고, 선택 전략이 셀별 밀도를 제어할 수 있으며 지연시간을 측정할 수 있어야 한다. Radial 같은 고정 마스크 전략은 마스크 파라미터로 도달 가능한 밀도로 제한된다. 또한 r(b)가 밀도에 비례한다고 가정하면 희소화 이득을 과대평가할 수 있으므로 실제 커널·해상도에서 지연시간 표를 재는 것이 중요하다.

저자들이 밝힌 한계는 분명하다. ALLOT은 오프라인 캘리브레이션을 요구하고, 선택 전략을 바꾸면 셀 프로브를 새로 측정해야 한다. additive·layer-separable 추정은 오차 크기보다 순위 예측에 더 신뢰성이 높고, 공통 밀도 인터페이스는 기존의 네이티브 threshold 적응성을 대체한다. 셀 간 상호작용 모델링과 적응형 threshold 보존은 향후 과제로 남긴다.