지식은 자기회귀로 배우고 렌더링은 확산에 맡기는 이미지 생성

무엇인가

시각 생성 모델은 고수준의 의미 지식과 세밀한 픽셀 디테일을 동시에 요구한다. 기존 연구는 자기회귀 모델과 확산 모델을 경쟁 구도로 놓고 어느 쪽이 더 좋은 이미지를 만드는지 비교해 왔다. 이 논문은 그 비교가 서로 다른 두 학습 문제를 한 목적함수에 묶어 평가하는 것이라고 지적한다. 저자들은 지식 습득과 렌더링이 각기 다른 목적함수를 선호할 수 있다고 보고, 두 역할을 분리해 자기회귀 사전학습과 확산 후학습에 각각 배정하는 학습 패러다임을 제안한다.

어떻게 동작하나

방법은 두 단계다. 사전학습에서는 고정된 시각 토크나이저가 이미지를 이산 토큰 열로 변환하고, 텍스트 인코더가 조건 특징을 만든다. RandAR 방식을 따라 공간 위치에 대한 순열을 샘플링하고 위치 지시 토큰으로 예측 위치를 알려주며, 무작위 순서에서 앞선 토큰들이 주어졌을 때 다음 토큰의 로그 확률을 최대화하는 자기회귀 손실로 백본만 학습한다. 이때 토크나이저가 예측 대상 자체를 정의하므로, 토크나이저 설계가 모델이 무엇을 배울지를 결정한다. 후학습에서는 자기회귀 백본을 동결하고 픽셀 확산 모듈만 학습시킨다. 확산 모듈은 노이즈 낀 이미지 패치 입력 투영, 타임스텝 임베딩, 확산 전용 피드포워드와 adaptive normalization, 선형 픽셀 리드아웃으로 구성되며 백본의 attention projection과 표현을 재사용한다. 목적함수는 픽셀 공간 flow matching으로, 노이즈와 이미지를 선형 보간해 만든 입력에서 네트워크가 깨끗한 이미지를 예측하고 이를 속도 예측으로 변환해 평균제곱오차를 최소화한다. 후학습 시에는 정답 이미지에서 뽑은 토큰을 조건으로 쓰고, 추론 시에는 그 자리를 텍스트 프롬프트로부터 자기회귀적으로 생성한 토큰이 대신한다.

무엇과 다른가

토크나이저는 세 가지를 비교한다. 재구성 기반 Emu3.5 토크나이저를 쓰는 Recon, Qwen2.5-VL 비전 인코더 특징을 IBQ 코드북으로 양자화하고 재구성 지도로 코드북과 디코더를 학습하는 Semantic-Recon, 같은 의미 표현을 쓰되 동결된 Qwen2.5-VL 안에서 다음 토큰 예측만으로 코드북을 학습하는 Semantic-LM이다. Semantic-LM은 이미지 디코더도 재구성 손실도 필요로 하지 않는다.

어떻게 쓰나

첫 실험은 지식 습득 목적함수 비교다. 최종 생성기 약 400M 파라미터, 동일한 누적 이미지 샘플 수라는 조건에서 AR 사전학습 후 확산 후학습을 한 경로는 10만 번의 후학습 업데이트 만에 GenEval 64.8을 기록해, 40만 iteration을 학습한 픽셀 확산 모델의 61.2를 앞섰다. 후학습을 더 진행하면 GenEval 65.5, DPG-Bench 71.1에 도달한다. 반면 잠재 확산을 그대로 학습한 모델은 GenEval 57.3, 잠재 확산 사전학습 후 확산 후학습 경로는 56.6으로 더 낮았다. 단순히 학습을 두 단계로 쪼개는 것만으로는 부족하고, 사전학습 목적함수가 자기회귀일 때 효과가 있다는 것이 저자들의 해석이다.

전제와 한계

두 번째 실험은 무엇을 예측하게 할 것인가다. Recon은 Semantic-Recon보다 재구성 품질이 훨씬 좋았지만 최종 생성 성능은 GenEval 54.7 대 65.5, DPG-Bench 63.0 대 71.1로 오히려 낮았다. 자기회귀 단독 생성 품질도 최종 성능을 예측하지 못했다. Recon의 AR 단독 GenEval은 57.49로 Semantic-Recon의 50.44보다 높았지만, 확산 후학습을 거치면 순위가 54.67 대 65.51로 뒤집힌다. 재구성 감독 없이 언어 지도만 받은 Semantic-LM도 후학습 후 GenEval 64.8, DPG-Bench 67.7을 냈다. 즉 재구성 품질도, 자기회귀 단독 생성 품질도 최종 성능의 지표가 되지 못하고 의미적 품질이 중요하다는 것이 이 논문의 핵심 관찰이다.

스케일링 분석에서 저자들은 단계별로 손실 함수를 따로 적합시킨다. 사전학습 법칙은 55.71M에서 2.43B 파라미터에 이르는 18개 모델로, 후학습 법칙은 25.1M에서 2.03B 파라미터의 14개 모델로 적합했다. 사전학습에서는 모델 크기와 데이터가 비슷한 비율로 커지는 것이 유리한 반면, 후학습에서는 모델 크기를 더 빠르게 키우는 쪽이 유리하게 나온다. 또한 동일한 모델·데이터 규모에서 확산 후학습의 점근 손실은 약 0.070으로, 처음부터 학습한 픽셀 확산 모델의 0.0788보다 낮다. 저자들은 이를 사전학습이 수렴 속도뿐 아니라 도달 가능한 성능 자체를 개선한다는 근거로 본다. 이 법칙들을 이용해 전체 연산을 사전학습 대 후학습 약 3대 2, 즉 약 60%를 지식 습득에, 40%를 렌더링에 배분하는 것이 거의 스케일 불변적인 최적 배분이라고 보고한다.

이 레시피로 약 6,600 H100 GPU-hours를 써서 3B 파라미터 텍스트-이미지 모델을 학습한 결과 GenEval 0.86, DPG-Bench 87.78을 얻었다. Z-Image-Base의 추정 학습 연산의 약 48분의 1에 해당하는 비용으로 DPG-Bench에서 비슷한 수준에 도달했다는 것이 저자들의 주장이다. 비교표에서 DPG-Bench가 더 높은 것은 Qwen-Image와 Seedream 3.0 정도이고, GenEval은 Qwen-Image·BLIP3o-NEXT SFT의 0.87, SeFi-Image-5B의 0.88에 근접한다.

실무자 관점에서 이 논문의 값어치는 두 가지다. 하나는 이미지 토크나이저를 재구성 충실도 기준으로 고르지 말고, 렌더링을 확산에 넘긴 뒤에는 의미 표현을 예측 대상으로 삼는 편이 낫다는 설계 지침이다. 다른 하나는 사전학습과 후학습의 연산 배분을 감이 아니라 단계별 스케일링 법칙으로 정하는 절차다. 다만 저자들이 명시한 전제를 함께 봐야 한다. 최종 수치는 프롬프트 재작성과 고정 평가 시드 선택을 포함한 자체 평가 프로토콜로 얻은 것이고, 시스템 간 비교는 텍스트 인코더·학습 데이터·평가 설정이 달라 근사적이다. 저자들 스스로 이 결과가 연산 배분의 최적성을 입증하는 것은 아니라고 밝힌다. 또한 점근 손실 비교는 사전학습 가중치와 정답 이미지에서 뽑은 조건 토큰을 포함한 파이프라인 전체를 평가한 것으로, 두 요인의 개별 기여를 분리하지 못한다. Semantic-LM은 이미지 디코더가 없어 자기 토큰만으로는 이미지를 생성할 수 없다는 점도 전제다.