확산 트랜스포머 가속은 잔차 게이트 채널 참여를 넓힌다

무엇인가

이 논문은 확산 트랜스포머 학습 가속의 작동 원리를 AdaLN-Zero 조건화 경로, 특히 잔차 게이트 α의 재조직에서 설명하려 한다. DiT와 SiT 블록에서 α는 각 채널의 브랜치 출력을 곱해 잔차 스트림 기여도를 조절하며, β와 γ가 브랜치 입력을 변조하는 것과 달리 α는 잔차 합 직전에 직접 작동한다. REPA나 dispersive regularization 같은 가속 기법이 보조 감독이나 특징 기하만 바꾼다는 기존 설명과 달리, 저자들은 이런 목적함수가 조건화된 업데이트가 잔차 스트림으로 들어가는 방식을 바꾸는 공통 내부 신호가 α일 수 있다고 본다. 가속 메커니즘이 불투명하면 하이퍼파라미터와 모니터링 지표를 정하기 어렵기 때문에, 이 관점은 학습 가속을 채널 단위로 측정하고 설계하려는 시도다.

어떻게 동작하나

저자들은 두 개의 파일럿 실험으로 α의 역할을 분리한다. 먼저 AdaLN-Zero를 in-context conditioning으로 대체해 조건화 변조 경로와 잔차 게이트를 제거하면, REPA와 dispersive loss의 FID 개선폭이 크게 줄어든다. Vanilla 대비 REPA의 FID 변화는 -18.24에서 -13.48로, dispersive는 -4.98에서 +1.15로 바뀐다. 다음으로 400K 스텝 학습한 SiT-XL/2 체크포인트를 고정하고 샘플링 중 L8 MLP 게이트의 제곱 크기 분포를 더 균등하거나 더 집중되게 재배치하되 부호와 L2 노름은 유지했다. 상대 교란 크기 δ=0.30에서 dispersive는 Vanilla보다 큰 FID 변화를 보였고 REPA는 최대 +5.356의 FID 변화를 보여, 가속 모델일수록 학습된 게이트 이탈에 민감했다.

무엇과 다른가

게이트에는 의미 구조도 나타난다. WordNet 거리로 측정한 클래스 간 의미 거리가 커질수록 클래스 조건화 MLP 게이트 벡터 사이의 거리도 증가했고, t=0.5에서 499,500개 비순서 클래스 쌍을 평균했을 때 WordNet 거리 22에서 유클리드 거리는 REPA가 1.678배, Vanilla가 1.217배, dispersive가 1.428배로 커졌다. 중심화 코사인 거리 증가는 각각 0.574, 0.225, 0.441이었다. 저자들은 채널별 게이트 크기 분포를 재는 지표로 정규화 참여비 nPR(α)=PR(α)/D, PR(α)=(Σα_d²)²/Σα_d⁴를 도입한다. 값이 클수록 제곱 게이트 크기가 여러 채널에 고르게 퍼졌다는 뜻이며, 균일한 비영 재조정에 불변이다.

어떻게 쓰나

이 지표가 생성 품질과 함께 움직인다는 관찰이 이어진다. 공개된 REPA 체크포인트 8개 교사에서 L8 MLP 게이트의 시간·클래스 평균 nPR은 FID와 강한 음의 상관 r=-0.962를 보였다. 교사를 고정하고 프로젝터만 바꾼 실험에서는 3층 MLP를 2층, 1층으로 줄이자 평균 게이트 참여가 0.373, 0.461, 0.592로 증가했고 FID는 58.53, 56.44, 51.33으로 낮아졌다. 비선형성을 제거한 3층 선형 프로젝터는 FID 52.87이었고, 네 변형의 상관은 r=-0.991이었다. 이는 교사 품질이라는 공통 원인을 제거한 상태에서도 게이트 참여와 품질이 함께 간다는 증거로 제시된다.

전제와 한계

이에 저자들은 교사도, 샘플 간 쌍별 비교도 쓰지 않는 Radial objective를 제안한다. 속도 예측 손실에 샘플별 특징 노름 벌점을 더하는 방식으로, L=L_velocity+λE_i[(||z_i||_2-c)^2]이며 z_i는 마지막 블록 출력을 토큰·채널 방향으로 펼친 벡터, c는 목표 노름이다. c는 k√(ND) 형태로 k∈{2,4,8,10,14}를 훑고 가장 좋은 FID를 낸 k=10을 쓴다. λ는 첫 다섯 학습 반복에서 보조 그래디언트 노름이 속도 손실 그래디언트 노름의 약 10%가 되도록 보정한다. 저자들은 채널 대칭과 작은 조건부 게이트 업데이트를 가정한 국소 분석에서 Radial objective의 상대 그래디언트가 약한 게이트에 더 큰 비율의 업데이트를 줄 수 있어 nPR이 줄지 않음을 보인다. 다만 이 명제는 스킵-잔차 교차항을 제외한 조건부 게이트 공간 분석이며 전체 옵티마이저의 보장은 아니다.

실험은 ImageNet 256×256의 SiT-B/2에서 이뤄졌다. 100K 스텝 목표 노름 탐색에서 FID는 가장 낮은 목표의 45.72에서 선택된 k=10 목표의 39.43으로 낮아졌고, L12 MLP 게이트의 시간·클래스 평균 참여는 0.381에서 0.577로 올랐다. 다섯 설정의 상관은 r=-0.916이었다. 400K 스텝에서는 Radial objective가 FID 11.83으로 Vanilla 16.24와 dispersive 13.19를 앞섰고, 평균 L12 MLP 게이트 참여도 0.642로 Vanilla 0.434, dispersive 0.525보다 높았다. 학습 중 50K, 100K, 200K, 400K 체크포인트에서 Radial은 Vanilla보다 항상 높은 게이트 참여를 유지했고, dispersive도 Vanilla를 넘었지만 200K에서 정점을 찍었다.

개발자 입장에서 이 논문은 DiT·SiT 계열 학습 가속을 특징 정렬만의 문제로 보지 않게 한다. REPA나 dispersive를 쓰면서 AdaLN-Zero 조건화를 다른 방식으로 바꾸거나 게이트를 건드리면 가속 이득이 달라질 수 있으므로, α의 채널 참여를 학습 중 지표로 추적할 만하다. nPR은 조건화 경로만으로 계산되어 이미지 순전파가 필요 없고, Radial objective는 교사나 배치 내 쌍별 거리 없이 구현되는 단순한 정규화 항이다. 다만 목표 노름 c와 λ에 민감할 수 있으므로 자기 데이터와 모델에서 목표 탐색과 게이트 참여 모니터링을 함께 해야 한다.

저자들이 밝힌 한계는 분명하다. 교사·프로젝터 스윕은 각 설정 안에서 게이트 참여와 FID의 반복적 관계를 보여주지만 인과관계를 확립하지 않는다. 사후 교란 실험은 게이트 수정에 대한 민감도를 보였으나 균등화 개입이 생성 품질을 일관되게 높이지는 않았다. WordNet 분석은 게이트에 클래스 구조가 있음을 보일 뿐 의미 계층을 표현하는 데 필요한 참여의 하한을 증명하지 않는다. Radial objective는 특징 노름에 작용해 다른 파라미터와 함께 게이트에 간접적으로 영향을 주며, 국소 그래디언트 명제는 전체 학습에서 참여 증가나 FID 개선의 원인을 보장하지 않는다. 검증도 주로 ImageNet 256×256과 SiT-B/2, SiT-XL/2 설정에 한정된다.