확산 모델이 스스로 쉬운 경로를 참조해 어려운 샘플 훈련을 조정한다

무엇인가

이 논문은 확산 및 플로 매칭 기반 생성 모델의 훈련에서 샘플, 타임스텝, 잠재 요소마다 난이도가 크게 다른데도 표준 목적함수가 이들을 균일하게 평균하는 문제를 다룬다. 기존 노이즈 수준 가중은 전역 규칙이고, 커리큘럼 학습은 고정된 순서에 의존하며, 분포 강건 최적화나 주파수 인식 목적은 난이도의 일부만 본다. 저자들은 외부 교사, 시연, 피드백 데이터 없이 확산 모델이 스스로 더 쉬운 참조를 만들어 어려운 예제, 프롬프트, 노이즈 수준, 시각 주파수에 훈련을 적응시킬 수 있는지 묻는다.

어떻게 동작하나

제안 방법 SALD는 하나의 공유 모델로 각 이미지-캡션 쌍을 두 노이즈 수준에서 평가한다. 플로 매칭에서 z_t=(1-t)x0+tε, 목표 속도 u=ε-x0, 모델 vθ(z_t,t,c)의 잔차 r=vθ-(ε-x0), 손실 ℓ=w(t)/D ||r||^2로 둔다. 쉬운 저노이즈 경로 t_e는 그래디언트 추적 없이 내부 참조로 쓰고, 어려운 고노이즈 경로 t_h만 그래디언트를 제공한다. SALD는 쉬운 경로의 예측을 직접 증류하지 않고 두 경로 오차의 차이를 이용해 어려운 경로 목적을 조정한다. 구성 요소는 AGD, TAM, SAD이며 모두 같은 모델 파라미터를 공유한다.

무엇과 다른가

AGD는 각 샘플의 상대 난이도를 A_i=ℓ_h,i-sg(ℓ_e,i)로 계산한다. sg는 쉬운 참조에만 적용되고 A_i 자체는 분리되지 않아 그래디언트가 어려운 경로로 흐른다. A_i가 크면 고노이즈에서 더 어려워진 샘플이므로 q_i=sigmoid(A_i/τ), ω_i=B q_i/Σq_j로 미니배치 내 양의 가중치를 만들고 평균 배치 가중치는 1로 유지한다. TAM은 샘플별 난이도 m_i를 지수이동평균으로 저장하는 비학습 버퍼로, m_i←αm_i+(1-α)A_i로 갱신한다. 저장된 m_i는 다음 방문 때 δ_i=clip(round[δ_base(s)(1+λtanh(m_i))],1,Δmax)를 통해 쉬운 수준과 어려운 수준 사이의 노이즈 간격을 조절한다. SAD는 쉬운 잔차와 어려운 잔차의 전력 스펙트럼 P_e, P_h를 비교해 S_i=P_h-sg(P_e)를 만들고, G_i=sigmoid(S_i/τ_s)를 역 FFT해 잠재 영역 가중치 M_i로 정규화한다. 이 가중치는 주파수별로 남은 어려움을 반영하지만 위상 정보를 버리므로 위치를 특정하는 픽셀 수준 이점 맵은 아니다.

어떻게 쓰나

최종 목적함수는 ℓ_i^SAD=w(t_h,i)/D Σ M_i,p r_h,i,p^2에 AGD의 샘플 가중치 ω_i를 곱한 L_SALD=1/B Σ ω_i ℓ_i^SAD다. 쉬운 경로 참조만 정지되고 TAM은 시간 역전파 없이 비학습 상태로 저장된다. 훈련 시 두 번의 순전파가 필요하지만 역전파 그래프는 어려운 평가만 저장하며, 추가 학습 파라미터나 교사 모델은 훈련과 추론에 필요 없고 추론 절차도 바뀌지 않는다. 이론적으로 저자들은 목적함수가 하한을 갖고 L-스무스하며 그래디언트가 무편향이고 분산이 유한하다는 가정 아래 정상점으로 수렴하는 표준 결과를 제시한다. 또한 주파수 좌표 u에서 G_i(u)>1/2인 것은 P_h,i(u)>sg(P_e,i(u))와 동치라고 설명한다.

전제와 한계

실험은 4개 아키텍처, 7개 벤치마크, 2개 해상도에서 수행됐다. 512×512에서는 MultiGen-20M, COCO 2017, Flickr8k, CUB-200-2011, Oxford Flowers를, 1024×1024에서는 MAGICK과 DALL·E 3 1M을 사용했다. 아키텍처는 SANA 0.6B와 1.6B, PixArt-Σ, Flux.2 Klein Base 4B이고, 비교 베이스라인은 SpeeD, Temporal Diff, SRA다. 평가 지표는 FID, CLIP 점수, LPIPS이며 AdamW와 bf16 혼합 정밀도로 NVIDIA RTX A6000에서 10k 스텝 훈련했다. 저자들은 SALD가 SANA, PixArt, Flux.2 Klein 전반에서 베이스라인보다 일관되게 우수하고 다수 설정에서 최고 FID, CLIP, LPIPS를 기록했으며 512와 1024 해상도 모두에서 상당한 FID 감소를 보였다고 주장한다. 다만 제공된 원문 본문에는 표 1, 2의 구체적인 FID, CLIP, LPIPS 수치가 제시되지 않았다.

절제 실험은 SANA 0.6B로 COCO 2017 512×512와 MAGICK 1024×1024에서 균일 플로 매칭 기준선과 비교했다. AGD 단독 기여가 가장 컸고, SAD는 구조적 충실도를 높이는 보완적 이득을 주지만 CLIP은 소폭 나빠질 수 있으며, TAM 단독은 AGD의 난이도 신호가 있어야 안정화되어 가장 약했다. AGD+SAD가 최고의 이중 조합이었고 TAM+SAD가 가장 약했다. 하이퍼파라미터로는 τ=0.5가 그래디언트 집중과 지각 안정성의 균형이 가장 좋았고, α=0.90이 커리큘럼 반응성과 안정성의 균형이 가장 좋았으며, Δmax=250이 두 벤치마크에서 최고였다. Δmax=100은 대비가 약해지고 Δmax=500은 쉬운 경로가 거의 무노이즈가 되어 난이도를 과대평가해 훈련을 불안정하게 했다. 또한 절대 손실만 쓰면 상대 난이도 신호가 사라져 이득이 기준선으로 붕괴했고, 고정 δ는 초기 훈련을 불안정하게 했으며, 가중치를 분리하지 않으면 모델이 예측 개선 대신 가중치 메커니즘을 이용했다. 12스텝 SALD가 20스텝 균일 기준선을 여전히 앞섰고, 교차 배치 이점은 부분적 이득에 그쳐 같은 샘플의 노이즈 대비가 더 강한 신호라고 저자들은 해석한다.

개발자 관점에서 SALD는 모델 구조, 샘플러, 추론 절차를 바꾸지 않고 훈련 목적만 조정하는 아키텍처 비종속적 방법이라는 점이 핵심이다. 기존 플로 매칭 파인튜닝 코드에 두 노이즈 경로 평가, FFT 기반 SAD, 샘플별 TAM 버퍼를 추가하는 방식으로 붙일 수 있는지 검토할 만하다. 다만 훈련 시 두 번의 순전파와 FFT, N개 샘플 메모리 버퍼가 추가 비용이므로 실제 처리량과 메모리 영향을 측정해야 한다. τ, α, Δmax, λ, K 같은 하이퍼파라미터가 성능에 민감하고, 원문에 구체 수치가 없으므로 자체 데이터셋에서 FID, CLIP, LPIPS를 재현해 확인해야 한다.

저자들이 밝힌 한계와 전제는 다음과 같다. 수렴 정리는 목적함수의 하한, L-스무스, 무편향 그래디언트, 유한 분산 가정에 의존한다. TAM은 비학습 버퍼이고 시간 역전파를 하지 않는다. SAD는 잔차 전력 스펙트럼만 비교해 푸리에 위상을 버리므로 주파수에서 남은 어려움을 알려주지만 잠재 표현의 어느 위치에서 오류가 나는지는 식별하지 못한다. SALD는 외부 교사나 시연, 피드백 데이터를 쓰지 않고 쉬운 경로를 참조로만 사용하므로 저자들은 이를 교사-학생 자기 증류보다 자기 참조 이점 학습이라고 부른다. 추가 학습 파라미터나 교사 모델은 필요 없지만 TAM 버퍼와 FFT 연산은 도입된다.