AReA가 디퓨전 트랜스포머의 어텐션 수용장을 디노이징 진행에 맞춰 줄인다

무엇인가

이 논문은 Diffusion Transformer(DiT)가 학습 당시 해상도를 넘어서는 이미지를 생성할 때 생기는 두 가지 문제를 다룬다. 해상도가 올라가면 토큰 수가 급격히 늘어 전체 어텐션 비용이 제곱으로 커지고, 동시에 출력에서 구조 왜곡과 디테일 저하가 나타난다. 저자들은 이 두 문제의 공통 원인을 매 디노이징 스텝마다 모든 토큰이 모든 토큰을 보는 균일 전체 어텐션으로 지목한다. 이 방식은 비용이 클 뿐 아니라, 학습 범위를 벗어난 토큰 수와 상대 거리에 모델을 노출시켜 분포 밖으로 밀어낸다는 것이다. 기존 학습 불필요 접근은 저해상도 결과로 고해상도를 안내하는 2단계 방식이거나, 위치 인코딩(RoPE) 보정처럼 특정 아키텍처에 묶여 있고 여전히 구조 왜곡을 남긴다.

어떻게 동작하나

핵심 관찰은 디노이징이 진행되면서 어텐션의 실효 수용장이 좁아진다는 것이다. 초반 스텝은 전역적으로 구조를 잡고, 후반 스텝은 국소적으로 디테일을 다듬는다. AReA는 이 거칠고-세밀한 흐름에 맞춰 수용장을 진화시키는 학습 불필요 어텐션으로, 추가 파라미터나 재학습 없이 두 단계로 동작한다. 두 단계를 언제 전환할지는 스텝 수가 아니라 노이즈 레벨 임계값으로 정한다. 모델과 샘플러마다 디노이징 진행 속도가 다르기 때문이다.

무엇과 다른가

1단계는 교차 스케일 거친 어텐션이다. 쿼리는 목표 해상도 그대로 두고, 키와 값만 공간적으로 f배 풀링해 축소된 전역 수용장을 만든다. 풀링된 키를 (W/f)×(H/f) 격자에 배치하고 전체 해상도 쿼리 좌표도 1/f로 스케일해 같은 좌표계를 쓰게 함으로써, RoPE가 인코딩하는 상대 거리를 모델의 학습 범위 가까이 유지한다. 텍스트 토큰은 풀링하지 않아 각 쿼리는 T + N/f² 개의 키를 본다. 풀링 계수 f는 초기값에서 하한 2까지 선형으로 줄어드는 풀링 램프를 따르며, 각 값은 유효한 격자 약수로 맞춰진다. f가 작아질수록 거친 격자가 확장되면서 전역 구도와 다음 단계의 세부 묘사 사이를 부드럽게 잇는다.

어떻게 쓰나

2단계는 적응형 윈도우 세밀 어텐션이다. 윈도우 크기는 매 스텝 기하급수적으로 줄어들며, 시작값은 윈도우 어텐션이 전체 어텐션보다 여전히 저렴한 최대 크기인 패치 격자 긴 변의 약 70%이고 하한은 모델의 네이티브 범위다. 각 스텝의 윈도우 크기는 전체 어텐션 1회 비용을 넘지 않도록 예산 검사를 거친다. 여기에 현재 히든 스테이트로 계산한 이산 웨이블릿 변환(DWT) 맵을 이용해, 디테일이 적은 매끄러운 영역의 윈도우는 4분할하고 디테일이 많은 영역은 예정된 크기로 남겨 계산을 아낀다. 격자를 균등 분할하지 못해 겹치는 토큰은 중심 가중 평균으로 블렌딩하고, 스텝마다 윈도우 경계를 무작위로 이동시켜 이음새가 고정 위치에 생기지 않게 한다. 경계 토큰에는 이웃 토큰의 좁은 고리(Halo, δ_max=8)를 키·값에 덧붙여 문맥을 주고, 전역 평균 키에서 많이 벗어난 토큰을 공간적으로 분산해 골라 각 윈도우의 키·값에 추가하는 global-KV 브리지로 윈도우 밖 객체 중복 생성을 억제한다. 브리지 토큰 수는 (ρ·w_t)²로 윈도우 크기에 비례하며 ρ=0.5다. RoPE 주파수는 그대로 두고 길이 외삽을 하지 않는다.

전제와 한계

실험은 FLUX.1과 Qwen-Image에서 수행했고, 전환 임계값은 모델별로 따로 정해 FLUX.1은 처음 8스텝, Qwen-Image는 처음 20스텝이 1단계를 쓴다. 비교 대상은 DyPE, UltraImage, SigMa, SEGA 같은 직접 추론 기법이며, Aesthetic-4K(프롬프트 195개)와 논문이 새로 만든 HRGen-1K(LLM 생성 프롬프트 1,000개)에서 6144×2048, 2048×4096, 4096×4096, 5120×5120 네 가지 해상도로 평가했다. FID, 패치 기반 FIDp, IS, Aesthetic Score, MUSIQ, CLIP-IQA, ARNIQA, CLIP Score, ImageReward, PickScore, HPSv2와 지연 시간을 측정했고 모든 실험은 NVIDIA H100에서 돌렸다. 결과적으로 AReA는 두 모델 모두에서 대부분의 지표에서 베이스라인을 앞서고, 정사각형이 아닌 비율과 5120×5120까지 포함한 모든 해상도에서 의미 정합성과 지각 품질 부문 1~2위를 기록했다. 지연 시간은 모든 해상도에서 모든 베이스라인보다 낮았고, 해상도가 커질수록 격차가 벌어져 6144²에서 균일 전체 해상도 전역 어텐션 대비 3.2배 빨랐다. 최대 6,700만 화소 이미지를 생성한다.

4096×4096, FLUX.1, Aesthetic-4K에서의 절제 실험도 구체적이다. 1단계를 빼면 전역 구조가 서지 않아 윈도우들이 독립적으로 진화하며 이미지 전체 내용이 어긋나고, 2단계를 빼면 저주파 구조는 그럴듯해도 세부가 사라진다. 네이티브 해상도에 맞는 고정 윈도우 크기 64를 쓰면 이미지가 일관성 없는 영역으로 쪼개지는데, 이런 출력은 Aesthetic이나 CLIP처럼 레이아웃 오류에 둔감한 지표에서는 점수가 잘 나오지만 ImageReward와 PickScore가 낮아지고 FID가 올라간다. global-KV 브리지를 제거하면 피사체가 중복·반복되며 FID가 148.5에서 161.3으로 상승한다. Halo는 윈도우 경계 이음새를 없애는데 주로 정성 비교에서 눈에 띈다. 풀링 대표 토큰으로는 블록 중심을 고르는 것이 평균·무작위·메도이드보다 거의 모든 지표에서 우수했고, 1단계 시작 f를 네이티브 해상도를 넘어서는 값으로 두면 학습에서 보지 못한 거리를 보게 되어 성능이 떨어진다.

실무 관점에서 AReA는 재학습이나 추가 파라미터 없이 기존 DiT 모델에 바로 끼워 넣는 추론 시점 기법이라는 점이 가장 실용적이다. RoPE 외삽에 의존하지 않으므로 RoPE 기반 기법들이 큰 해상도 이동에서 겪는 아티팩트와 일반화 한계를 피한다. 다만 전환 임계값을 모델별로 경험적으로 정해야 하고, Halo 폭 8과 브리지 비율 0.5 같은 하이퍼파라미터가 고정값으로 제시되어 있으므로, 자기 모델과 샘플러에 맞춰 이 값들을 다시 확인해야 한다. 윈도우 어텐션 특성상 Aesthetic·CLIP 같은 지표만으로 품질을 판단하면 레이아웃 붕괴를 놓칠 수 있어 ImageReward, PickScore, FID를 함께 보는 것이 좋다.

저자들이 명시한 한계는 두 가지다. 이 논문이 다루는 것은 공간적 중복성이며, 연속된 디노이징 스텝 사이에 존재하는 시간적 중복성은 향후 과제로 남겨 추가 가속 여지를 열어 두었다. 또한 1단계와 2단계의 전환 시점을 노이즈 레벨로 정의하되 모델별로 경험적으로 선택한다는 전제가 깔려 있다.