기존 자기회귀 이미지 모델을 순서 자유 생성기로 바꾸는 적응 레시피

무엇인가

자기회귀(AR) 이미지 생성 모델은 좌상단에서 우하단으로 훑는 고정된 래스터 스캔 순서로 학습되기 때문에, 이미지 분포를 단 하나의 인수분해 방식으로 모델에 하드코딩해 버린다. 그 결과 추론 시점에 인페인팅·아웃페인팅·편집을 하려면 조건을 넣을 경로 자체가 없다. 기존 해법은 토큰 순서를 섞어 처음부터 다시 학습하는 것인데, RandAR는 래스터 스캔 LlamaGen-XL의 100 에폭 대비 300 에폭이 필요해 약 3배 연산이 든다. 가장 흔한 대안인 이산 확산(discrete diffusion)도 양방향 어텐션과 반복 정제 디코딩을 쓰기 때문에 KV 캐싱, 추론적 디코딩, vLLM 같은 AR 서빙 생태계의 이점을 구조적으로 포기한다.

어떻게 동작하나

논문의 주장은 이 비용이 필수적이지 않다는 것이다. 확률의 연쇄법칙에 따르면 진짜 결합분포는 어떤 토큰 순서로도 동일하게 인수분해되므로, 래스터 스캔으로 충분히 잘 맞춰진 모델은 이미 결합분포를 근사적으로 학습해 두었다. 결핍된 것은 지식이 아니라 그 지식을 비순차적 조건 경로로 표현하는 능력이라는 진단이다. 이를 위해 두 가지 요소를 결합한 적응 레시피를 제안한다.

무엇과 다른가

첫째는 미래 인지 위치 임베딩(future-aware positional embedding)이다. 추론 대상 위치를 알려주지 않으면 동일한 관측 문맥에 서로 다른 정답이 대응되어 그래디언트가 충돌하고 목적함수가 잘 정의되지 않는다(식별성 문제). XLNet은 두 갈래 어텐션으로 이 문제를 풀었지만 층마다 어텐션 연산이 두 배가 되고 KV 캐싱이 깨진다. 이 논문은 학습된 임베딩 테이블 E∈R^{n×d}를 두고 각 시퀀스 위치의 입력에 다음 타깃 위치의 임베딩을 더하는 방식(h̃_t = h_t + E_{σ(t+1)})을 쓴다. 마지막 토큰에는 학습된 널 임베딩을 쓰고, 입력층 한 번의 덧셈만으로 끝내 단일 스트림 트랜스포머 구조와 KV 캐싱을 그대로 보존한다. LlamaGen-XL 기준 파라미터 증가는 0.74M(0.095%)에 불과하다. 위치 처리는 두 아키텍처 모두 시퀀스 스텝 t가 아니라 공간 인덱스 σ(t)를 쓰기 때문에, 사전학습에서 얻은 공간 관계 사전지식을 그대로 상속한다.

어떻게 쓰나

둘째는 순서 커리큘럼이다. 사전학습된 파라미터에서 곧바로 균등 무작위 순열로 학습하면 손실이 큰 무작위 순열이 기울기를 지배해, 순서 유연 라우팅이 형성되기 전에 사전학습 영역 밖으로 모델이 밀려난다. 저자들은 이를 학습률을 낮추는 것과 구분한다. 학습률을 줄여도 기울기 방향은 그대로 사전학습 해에서 멀어지기 때문이다. 대신 σ ~ (1-α)·δ_raster + α·Uniform(S_n)으로 순열 분포를 섞고 α를 선형으로 0에서 1까지 올린다.

전제와 한계

실험은 ImageNet-1k 256×256에서 LlamaGen-L/XL, RAR-L/XL 네 개 모델로 진행했다. 적응 후 래스터 스캔 품질은 FID 기준 1.17~1.93 나빠지는데, 이는 손실 없는 변환이 아니라 측정된 품질-유연성 트레이드오프라고 저자들은 명시한다. LlamaGen-XL은 FID 2.63에서 3.91로 이동하는 동안 IS 252.94, Precision 0.81, Recall 0.53으로 사전학습 값에 근접한다. 유연성 대가는 얻었지만 원래 태스크 성능은 확실히 지불한 셈이다. 인페인팅에서는 FID 6.21로 MaskGIT 10.44를, 아웃페인팅에서는 5.84로 12.17을 앞섰다. 다만 MaskGIT에 Halton 스케줄을 쓰면 격차가 줄어드므로 원래 마진의 일부는 스케줄러 의존적이었다고 인정한다. MAR-L과는 경쟁적이며 MAR-L이 아웃페인팅 Precision/Recall은 더 높다. 5,000장 홀드아웃 이미지의 영역 조건 편집에서는 LPIPS·PSNR·SSIM 세 지표 모두 가장 좋았다.

비용은 사전학습 예산 대비 1.13~1.33배로, LlamaGen-XL에서 약 1.25배다. 처음부터 임의 순서로 학습하는 약 3배와 비교되고, 이미 사전학습 체크포인트를 가진 실무자 입장에서는 한 자릿수 배 이상(12배) 낮은 한계 비용이다. 어블레이션은 두 구성요소가 모두 필수임을 보인다. 미래 인지 임베딩을 빼면 손실이 바닥 아래로 내려가지 않고, 커리큘럼 없이 α=1로 시작하면 LlamaGen-L에서 모든 충실도 지표가 뒤처지는 충실도 붕괴가 나타난다. 임베딩 학습률을 기본값으로 두면 커리큘럼 속도를 따라가지 못하고, 래스터 스캔 교사 모델에 KL(λ=1.0)로 정규화를 걸면 LlamaGen-L FID가 4.24에서 9.62로 악화된다.

개발자 관점에서 핵심은 기존 추론 스택을 유지한다는 점이다. 아키텍처가 표준 인과 단일 스트림 트랜스포머 그대로라 KV 캐싱, 텐서·파이프라인 병렬화, 커스텀 모델 등록을 통한 vLLM 서빙이 가능하다. 임의 순서 학습의 부산물로 병렬 디코딩도 따라오는데, LlamaGen-XL에서 순전파 횟수를 9배 줄이는 대가가 FID 1.12다. RTX PRO 6000 한 장에서 배치 64 기준 이미지당 35.6ms로, MAR-L의 56.3ms보다 빠르고 MaskGIT의 23~24ms보다 느리다(다만 MaskGIT은 12스텝 디코더로 인페인팅 FID가 더 나쁘므로 동일 FID 비교는 아니다). 도입 전에는 자신의 베이스 모델이 토큰 기반 AR인지, 그리고 감수할 FID 악화 폭이 서비스 요구사항에 맞는지를 확인해야 한다.

한계는 저자들이 직접 밝힌다. 실험은 ImageNet 256×256 클래스 조건부 생성에 한정되며 텍스트-투-이미지 AR 모델이나 고해상도로 확장되는지는 검증되지 않았다. 토큰 기반 AR 모델만 다루므로 연속 토큰을 확산 헤드로 예측하는 MAR 같은 변형은 적응 대상 밖이다. 편집 평가는 영역 완성만 다루고 지시 따르기나 정체성 보존은 정성적으로만 언급된다. 또한 무작위 초기화 대조군은 연산량은 맞추지만 학습 스케줄은 맞추지 못했다.