전이법칙 격자가 디코딩 스케줄 순위를 실행 전에 예측한다

무엇인가

디퓨전 모델은 연속 필드를, 자기회귀(AR) 모델은 이산 토큰을 담당한다는 식으로 두 계열은 오랫동안 별개 범주로 취급됐다. 최근에는 두 장점을 섞은 하이브리드 모델이 나오고 있지만, 각 모델은 자신의 디코딩 스케줄을 설계로 고정해 버린다. 논문은 여기서 문제를 제기한다. 같은 가중치, 같은 소수 스텝 예산에서도 MAR 이미지 모델의 화질은 좌표를 드러내는 순서에 따라 한 자릿수(order of magnitude)만큼 달라진다. 그런데 스케줄의 좋고 나쁨은 실제로 디코딩을 돌린 뒤에야 알 수 있다. 저자들은 디코딩 이전에 스케줄 성능을 예측할 수 있는지 묻는다.

어떻게 동작하나

제안하는 뼈대는 '손상 격자(corruption lattice)' L^d다. 각 좌표에 독립적인 손상 수준을 부여하고, 좌표별 수준 조합 전체를 격자로 본다. 디코딩 스케줄은 모든 좌표가 손상된 상단 ⊤에서 모두 깨끗한 하단 ⊥으로 가는 단조 경로이며, 한 스텝은 좌표 집합 S를 목적 수준까지 진행시킨다. 이 격자 위에서 자기회귀는 좌표를 하나씩 깨우는 순차 경로, 디퓨전은 노이즈 축을 따라 동기화된 경로가 된다. 논문은 하나의 모델이 이 격자 전체를 횡단할 수 있음을 보인다. 격자 전반의 분포로 학습한 단일 모델이 같은 가중치로 양쪽 코너와 그 사이 스케줄을 모두 디코딩하며, 순차 토큰 코너에서 bpc가 랜덤 부분집합으로 학습한 전용 마스크 모델보다 0.06 낮았다. 픽셀에서는 이 모델이 디코딩하는 스케줄들의 스텝 수가 한 자릿수 폭에 걸친다.

무엇과 다른가

핵심 기여는 스케줄을 비교하는 정량적 비용이다. 각 스텝의 정확한 결합 법칙을 좌표별 조건부 확률의 곱으로 대체할 때 생기는 총상관(total correlation)을 그 스텝의 비용으로 정의하고, 경로 전체로 합하면 정확 샘플링과의 KL 발산과 정확히 같아진다는 것을 보인다(명제 1). 이 항등식은 토큰뿐 아니라 연속값과 격자 내부 수준에서도 성립한다. 비용이 0인 스케줄의 최소 스텝 수는 데이터의 기하학이 결정한다. 데이터가 그래프 G 위에서 마르코프이고 그 경로를 따라 의존적이면, 비용 0 스케줄의 최소 스텝 수는 G의 트리깊이(treedepth)와 같다(정리 1). 길이 d인 체인에서는 ⌈log2(d+1)⌉로 로그 스케일이고, n×n 격자에서는 n+1과 n의 상수배 사이로 선형이다. 이를 구현하는 규칙이 '분리자(separator) 규칙'으로, 가운데 마스크 좌표에서 시작해 이미 고른 좌표에서 가장 먼 마스크 좌표를 마스크 구간마다 최대 하나씩 추가한다.

어떻게 쓰나

트리깊이보다 스텝이 적으면 모든 스케줄이 양의 비용을 낸다. 이때 순위를 디코딩 전에 예측하기 위해, 두 좌표 값 사이의 조건부 상호정보 κ(i,j|ℓ)를 쌍별 커널로 정의하고, 총상관을 연속한 선택 좌표들의 커널 합으로 아래에서 묶는다(보조정리 2). 이 하한은 1차 마르코프 참조 모델에서 등식이 된다. 커널은 사전학습 가중치에서 추정한다. 한 번의 순전파로 주변 엔트로피를 얻고, 결합 엔트로피는 좌표를 하나씩 드러내는 체인을 따라 조건부 엔트로피를 합산해 구한다. text8에서 같은 단어 안 의존성은 같은 거리의 단어 경계를 넘는 경우보다 2~4배 크고, 거리 16이면 커널이 거의 0이 된다. MAR 토큰 격자에서는 드러난 토큰을 교란했을 때 예측 변화량으로 의존성을 재는데, 격자 거리 8에서 최근접 이웃 값의 5% 아래로 떨어진다.

전제와 한계

실험은 text8 자체 모델, MAR-B 이미지 모델, LLaDA-8B, Diffusion Forcing 비디오 모델에서 스케줄 선택 규칙들의 예측 순위와 실측 순위를 비교한다. text8에서는 8·16·32 스텝에서 규칙들이 쌍별 추정치가 예측한 순위대로 정렬됐고, 64 스텝에서는 각 규칙이 한 스텝에 좌표 하나씩만 골라 의존성 비용이 사라진다. MAR에서는 8·16 스텝에서 FID가 raster, random, midpoint, spread 순이라는 예측 순서를 따랐고, 32 스텝에서 random과 midpoint가 동률이 됐다. spread 규칙의 이득은 8 스텝에서 가장 커서 모델 자체의 랜덤 순서 대비 FID를 25% 넘게 낮췄다(이때 한 스텝이 256개 토큰 중 평균 32개, 최대 49개를 진행시킨다). 64 스텝에서는 raster를 뺀 모든 순서가 서로 0.1 FID 이내로 모인다. LLaDA에서는 min-distance 규칙이 측정한 모든 예산에서 perplexity를 낮췄고, min-distance와 분리자 제약 모두 8~32 스텝에서 GSM8K 정확도를 개선했으며 그 이득은 8·16 스텝에서 가장 크고 64 스텝부터 사라졌다. 비디오 모델에서는 스케줄이 메모리 깊이(각 세그먼트가 몇 개 이전 프레임을 조건으로 보는지)를 좌우하는데, 느리게 감쇠하는 프레임 간 커널이 주체 일관성 지표에서 같은 품질 경향을 예측했다. 전반적으로 스텝이 적을수록 공개 모델 자체 규칙 대비 이득이 커진다는 추세도 확인된다.

비용의 크기 자체도 검증한다. text8에서 각 스케줄의 초과 bpc(그 스케줄 자신의 순차 체인 대비)를 재면, 추정치가 모든 예산에서 초과분 이하이면서 순위도 같은 순서를 냈고 2 스텝에서는 초과분의 약 30~50% 수준이었다. 분리와 거리 중 무엇이 순위를 정하는지도 갈린다. text8에서 분리자 규칙의 초과분은 midpoint 규칙의 25% 이하였다. 격자에서는 midpoint가 random보다 8 스텝에서 약 20%, 16 스텝에서 약 10% FID를 낮추는데, 이는 거리 효과다. 내부 수준(interior level) 실험도 있다. 흡수 채널이 가장 좋다는 통설에 대해, 내부 수준은 각 집합의 의존성 비용을 낮추지만 모든 좌표에 진행을 추가해 고정 예산에서 스텝을 넓힌다는 설명을 제시한다. 공백/모음/자음을 구분하는 내부 수준을 둔 graded text8 모델에서 두 단계 추정치 합은 8 스텝에서 흡수 모델의 2배였고 16 스텝부터는 수천분의 몇 차이로 맞섰으며, 흡수 모델의 bpc가 모든 예산에서 더 낮았다.

실무적으로 이 논문은 디코딩 순서를 하이퍼파라미터로 다루는 개발자에게 체크리스트를 준다. 스텝 예산이 트리깊이보다 빠듯할 때는 사전학습 가중치에서 추정한 쌍별 커널만으로 후보 스케줄의 순위를 미리 계산할 수 있고, 특히 스텝이 적을수록 순서 선택의 이득이 크다. 다만 저자들이 명시한 한계도 분명하다. 학습된 조건부의 오차는 비용 정의 바깥에 있어, 의존성 비용 차이가 작을 때는 순위를 결정하거나 더 큰 학습 예산에서 성립하는 예측을 뒤집을 수 있다. 쌍별 하한은 1차 마르코프 참조 모델에서만 tight하다. 실제로 MAR에서 nested 규칙은 random보다, low-discrepancy 규칙은 spread보다 나쁜 순위를 냈는데 이는 각자의 하한 순서와 반대다. 또 실제 텍스트는 드러난 문자를 넘어 의존성이 남아 있어, 64개 문자 체인의 트리깊이가 7임에도 8 스텝에서 분리자 규칙의 실측 초과분이 추정치의 몇 배였고 32 스텝에 이르러서야 둘 다 거의 0이 됐다. MAR의 16×16 격자는 트리깊이가 17~46 사이라 8·64 스텝 예산에서는 모든 순서가 양의 비용을 낸다.