이미지 토크나이저를 이미지 사이 코드로 학습하면 생성 품질이 오른다

무엇인가

잠재 확산 모델은 픽셀이 아니라 이미지 토크나이저가 만든 코드 공간에서 이미지를 생성한다. 인코더가 이미지를 코드로 압축하고, 디코더가 코드를 다시 픽셀로 되돌리며, 생성기는 그 코드를 만들어내도록 따로 학습된다. 문제는 생성기가 학습 이미지의 코드를 그대로 재현하지 않는다는 점이다. Aithal 등(2024)이 지적한 모드 보간(mode interpolation)처럼 확산 모델은 학습 데이터의 인접한 모드 사이를 보간한, 학습 데이터에 존재하지 않는 샘플을 만든다. Xu 등(2026)은 이를 토크나이저 코드로 확장해, 최적 디노이저가 학습 코드들의 가중 평균을 출력하며 코드 사이에서 디코딩된 이미지의 품질(iFID)이 재구성 품질(rFID)보다 생성 품질(gFID)을 훨씬 잘 예측한다는 것을 실증했다. 그런데 표준 토크나이저 학습은 한 번에 한 이미지의 코드만 감독한다. 디코더는 학습 이미지의 코드에서 무엇을 만들어야 하는지는 배우지만, 그 코드들 사이에서 무엇을 만들어야 하는지는 아무도 알려주지 않는다. 그래서 A와 B를 잘 복원하는 디코더도 두 코드를 섞은 입력을 흐릿하게 겹친 이미지로 만들어낸다.

어떻게 동작하나

기존 대책은 디코더를 코드 주변 잡음에 강건하게 만드는 것이었다. 학습 중 코드에 노이즈를 더하거나(Yang 등 2026b, Zheng 등 2026), 코드를 변환하거나(Kouzelis 등 2025), 이미 학습된 생성기의 샘플로 포스트트레이닝하는(Qiu 등 2025) 방식이다. 그러나 생성된 코드는 학습 코드 사이에 놓이고, 한 코드에 노이즈를 더한 것보다 두 코드의 혼합에 더 가깝다. 노이즈 증강은 각 학습 코드 주변의 국소 영역만 강건하게 만들 뿐 코드 사이 공간을 겨냥하지 않는다. CompTok(Zhao 등 2026)은 두 이미지 사이에서 토큰 부분집합을 교환한 코드로 모드 연결성을 높이지만, 교환은 실제 토큰 값을 조합하는 것이고 생성기는 두 실제 값 사이의 값을 만든다. 이 간극은 MAETok이나 CompTok처럼 연속 토큰을 쓰는 경우에만 생긴다. 이산 토큰 생성기는 실제 코드북 항목만 고르기 때문이다.

무엇과 다른가

InterpTok의 핵심은 두 학습 이미지 A, B의 코드 a=E(A), b=E(B)를 비율 α로 섞은 ab_α=(1-α)a+αb를 디코더 D에 넣어 AB_α=D(ab_α)를 만들고, 이 혼합물을 직접 감독하는 것이다. 혼합물에는 정답 이미지가 없으므로 두 가지 요구를 건다. 자연스러운 이미지여야 하고, 두 소스 사이의 혼합 비율을 유지해야 한다. 첫째, 보간 판별기는 디코딩된 혼합물을 두 소스 중 하나와 나란히 놓고 어느 쪽이 진짜 이미지인지 판별하도록 학습된다. 동결된 DINO 네트워크 특징 위에 학습된 cross-attention 층을 붙여 X의 각 부분이 Y와 비교되게 하는 소스 컨디셔닝을 만들고, 점수 s(X|Y)를 상대주의적 목적 L_adv = 1/2 Σ_{S∈{A,B}} [s(S|AB_α) − s(AB_α|S)]로 최적화한다. 즉 디코더는 혼합물이 소스만큼 진짜처럼 보이도록 학습된다. 둘째, 혼합 비율 손실은 디코딩된 혼합물이 A에서 B로 가는 경로 위 α 지점에 머물게 한다. 픽셀 버전은 L_ratio = (d_A/(d_A+d_B) − α)^2이며, d_A=‖AB_α−D(a)‖₁, d_B=‖AB_α−D(b)‖₁은 경로 양 끝 재구성까지의 픽셀 거리다. α=1/2이면 혼합물은 양쪽 재구성에서 같은 거리에 있어야 한다. 픽셀 거리는 시각적 차이만 잡으므로, DINOv3 특징 공간에서 각도 비율 θ(f(AB_α),f(A)) = α·θ(f(A),f(B))를 요구하는 특징 버전도 함께 쓴다. 두 소스를 겹쳐 놓는 크로스페이드는 픽셀 버전을 만족하지만 판별기가 자연스럽지 않다고 벌하고, 비율 손실은 한쪽 소스를 복사하는 자명해를 벌한다. 둘이 함께 디코더를 양쪽 소스를 결합한 선명한 이미지로 몰아간다.

어떻게 쓰나

보간 목적만으로는 생성기가 배우기 쉬운 잠재 공간이 되지 않는다. 저자들은 정규화 손실을 추가한다. 세 가지 정렬 손실은 서로 다른 이미지 코드 사이의 유사도가 그 특징 벡터 사이의 유사도와 일치하게 하고, 코드에서 특징 벡터를 예측 가능하게 하며, 이미지 패치의 특징을 디코더 내부 활성으로부터 예측 가능하게 만든다. 여기에 표현 Fréchet 손실이 SigLIP2, Inception-v3, MAE 세 동결 인코더의 특징 공간에서 디코딩된 이미지(혼합물 포함) 분포와 학습 이미지 분포의 Fréchet 거리를 최소화한다. 이 손실들은 MAETok이 마스킹된 부분의 특징을 예측하던 보조 디코더를 대체한다. 전체 목적은 L = L_rec + L_adv + L_ratio + L_reg이며, 코드 사이 공간을 담을 용량을 주려고 디코더에 6개 블록을 덧붙이지만 절제 실험에서 이 추가 용량은 iFID와 gFID를 0.02 이상 바꾸지 않는다.

전제와 한계

실험은 MAETok의 공개 가중치에서 시작해 ImageNet 256×256에서 인코더와 디코더를 함께 학습하며, 보간 목적이 MAETok의 마스킹 자기지도 목적을 대체한다. 평가는 ImageNet과 MS-COCO에서 하고, 생성은 각 토크나이저의 코드 위에 클래스 조건 SiT-B를 같은 설정으로 학습해 classifier-free guidance 없이 샘플링한다. MAETok과 함께 공개된 SiT-XL의 생성 코드를 자신의 디코더로 디코딩하는 실험도 한다. 재구성은 PSNR, SSIM, LPIPS로, 혼합물은 정답이 없으므로 검증 코드와 가장 가까운 학습 코드 사이 구면 경로의 중점을 디코딩해 FID를 재는 iFID로, 학습성은 코드에서 클래스를 예측하는 선형 프로브 정확도로 측정한다.

결과에서 InterpTok은 MAETok의 iFID를 14.42에서 4.30으로 3배 이상 낮춰 Xu 등(2026)이 공개한 비교 대상 토크나이저 중 가장 좋은 값을 기록했다. 차선인 RAE의 1.8배 낮은 수준이다. MS-COCO의 무작위 이미지 쌍에서도 디코딩된 중점의 FID가 MAETok보다 6배 낮다. 코드에서 중점으로 이동할 때 MAETok의 FID는 코드에서의 25배로 치솟지만 InterpTok은 7배에 그친다. 생성 품질은 gFID가 11.61에서 8.48로 내려가고, 샘플링 스텝을 8분의 1로 줄이면 8.11까지 내려간다. 반면 MAETok 코드 위의 생성기는 스텝을 줄일수록 나빠진다. InterpTok의 생성기는 MAETok 생성기가 최종적으로 도달하는 gFID를 절반의 학습 스텝에서 달성한다. 재구성 품질은 ImageNet rFID가 MAETok의 3% 이내로 유지되고 PSNR, SSIM, LPIPS는 ImageNet과 MS-COCO 모두에서 개선되지만, MS-COCO의 rFID는 오히려 높아진다. 학습성도 좋아져 선형 프로브 정확도가 오르고, 코드의 73%가 자기 클래스 평균 코드에 가장 가깝다(MAETok은 55%).

절제 실험은 두 구성 요소가 모두 필요하다는 것을 보여준다. 보간만 학습하면 iFID는 InterpTok에 거의 근접하지만 프로브 정확도가 MAETok보다 낮아지고 gFID는 MAETok보다 높아진다. 정규화 손실만 학습하면 프로브 정확도는 오르지만 iFID는 거의 개선되지 않고 gFID는 모든 변형 중 가장 나쁘다. 둘을 함께 써야 gFID가 MAETok보다 낮아진다. 인코더를 동결하고 디코더만 13,000 스텝 학습한 변형은 gFID를 11.61에서 8.43으로 낮추는데, 같은 길이를 MAETok 자체 손실로 학습하면 10.80, 보간 판별기만 추가하면 9.71, 노이즈 증강을 쓰면 8.83이지만 iFID는 거의 그대로이고 rFID가 2배 이상 나빠진다. 즉 생성 이득의 대부분은 더 오래 학습해서가 아니라 코드 사이를 학습해서 나온다. 목적 함수 각 부분을 하나씩 제거해 보면 특징 혼합 비율 손실 제거가 가장 손해가 커서 iFID가 4.48에서 5.23으로, gFID가 8.43에서 8.90으로 오르고, 소스 컨디셔닝 제거는 iFID만 4.69로 올린다. 픽셀 혼합 비율 손실이나 Fréchet 손실의 Inception 항을 빼면 둘 다 0.13 이상 변하지 않는다. 잠재 공간 분석에서는 정규화만 쓴 변형이 최근접 이웃이 자기 클래스일 확률이 MAETok의 2배지만 코드가 3배 많은 유효 차원에 퍼지고, InterpTok의 인코더는 같은 클래스 구조를 유지하면서 유효 차원이 그 변형보다 3분의 1 적다.

개발자 관점에서 이 논문의 실용적 가치는 디코더 교체에 있다. 인코더를 동결하고 디코더만 파인튜닝한 변형이 MAETok 코드 위의 기존 SiT-B 생성기를 거의 InterpTok 자체 생성기 수준으로 끌어올리고, 공개된 SiT-XL도 모든 샘플링 스텝 수에서 개선한다. 이미 학습된 생성기를 다시 학습시키지 않고 토크나이저 디코더만 바꿔 품질을 올릴 수 있다는 뜻이다. 다만 전제를 확인해야 한다. 이 방법은 연속 토큰을 쓰고 토큰이 이미지 패치에 묶이지 않는 1D 토크나이저(MAETok)를 기반으로 하며, 이산 코드북을 쓰는 양자화 토크나이저에는 그대로 적용되지 않는다. 모든 수치는 classifier-free guidance 없이 측정된 것이고, 평가는 ImageNet 256×256과 MS-COCO에 한정된다. MS-COCO 재구성 rFID가 나빠진다는 점도 실무에서 확인할 부분이다. 원문에는 별도의 한계 절이 없지만, 저자들이 밝힌 전제는 분명하다. 보간 목적만으로는 잠재 공간의 학습성이 나빠져 정규화 손실과 반드시 함께 써야 하고, 디코더 용량을 늘린 효과가 아니라 코드 사이를 감독한 효과라는 것을 절제로 확인했으며, 더 작은 코드로 수행한 초기 실험에서는 보간 목적이 더 의미론적인 보간을 준다고 보고한다. 향후 작업으로는 디코더가 생성 모델보다 훨씬 빠르다는 점을 살린 실시간 애니메이션, 비디오 생성, 세밀한 편집을 제안한다.