언어 사전학습 없이 이미지-텍스트 쌍만으로 강한 T2I 생성이 가능하다

무엇인가

이 논문은 텍스트-이미지(T2I) 생성에서 인터넷 규모 언어 사전학습이 정말 필요한지를 묻는다. 현대 T2I는 후기 융합(late fusion)에서 별도 언어 모델을 먼저 학습해 그 임베딩으로 이미지 생성기를 조건화하고, 초기 융합(early fusion)에서도 텍스트 전용 데이터 사전학습을 멀티모달 학습에 포함한다. 논문은 대표 시스템에서 언어 사전학습이 전체 사전학습 FLOPs의 80% 이상을 차지한다고 지적하며, 그 기여가 체계적으로 정량화되지 않았고 비용 계산에서 빠지는 경우가 많다고 문제를 제기한다.

어떻게 동작하나

제안 방법 Halcyon은 텍스트와 이미지 토큰을 하나의 어휘와 시퀀스로 다루는 decoder-only Transformer 기반 초기 융합 자기회귀 모델군이다. 텍스트 토크나이저, 이미지 토크나이저, 생성 모델을 모두 처음부터 학습한다. 텍스트는 GPIC 캡션과 OpenWebText로 학습한 byte-level BPE 어휘 16,384개를 쓰며, OpenWebText는 토크나이저 학습에만 사용하고 생성 모델 학습에는 쓰지 않는다. 이미지는 Cosmos Tokenizer 구조에 FSQ를 적용한 이산 토크나이저로 8배 다운샘플링하고 코드북 64,000개를 사용해 256×256 이미지를 1,024개 토큰으로 만든다. 결합 어휘는 텍스트 16,384개, 이미지 64,000개, 특수 토큰 256개로 총 80,640개다.

무엇과 다른가

학습은 다음 토큰 예측이다. 텍스트 전용, 이미지 전용, 이미지→텍스트(I2T), 텍스트→이미지(T2I) 네 가지 시퀀스 형식을 사용하고, 손실은 텍스트와 이미지 토큰의 가중 교차엔트로피 L=(L_text+λ_img·L_img)/M로 계산하며 λ_img=0.5를 둔다. classifier-free guidance를 위해 T2I 예제의 일부(p_drop=0.1)에서 캡션을 떨어뜨려 무조건부 분기를 학습하고, I2T 시퀀스가 같은 이미지 접두사를 공유해 이 무조건부 분기도 함께 학습한다. 데이터 구성 실험은 T2I만 학습하는 기준, 언어→T2I 단계 학습, I2T→T2I 단계 학습, T2I+I2T 혼합, 캡션 드롭아웃 없이 T2I+I2T 혼합의 다섯 가지로 통제한다. 사전학습은 약 1억 이미지-텍스트 쌍의 GPIC에서 256×256 해상도, 1에폭, 배치 1,024, WSD 스케줄로 수행하고 모델 크기는 0.1B, 0.25B, 0.52B, 1.6B, 4B다.

어떻게 쓰나

주요 결과는 언어 사전학습 없이도 강한 T2I가 가능하다는 것이다. gFD는 낮을수록 좋다. Halcyon-0.52B는 gFD 48.0으로 LlamaGen-XL/8의 63.3을 앞서면서 총 사전학습 연산은 18.2배 적게 썼다. Halcyon-1.6B는 gFD 35.3으로 JiT-T2I-XXL/8++의 41.0을 앞서고 총 사전학습 연산은 275배 적다. 4B에서는 gFD가 28.4까지 낮아진다. 조합 생성 벤치마크에서도 0.52B는 GenEval 44.9로 JiT-T2I-XXL/8++의 43.2를 앞서고 DPG-Bench는 76.84 대 76.85로 비슷하며, 1.6B는 GenEval 53.5 대 43.2, DPG-Bench 77.9 대 76.9로 앞선다. 베이스라인 수정 실험에서는 LlamaGen의 이미지 토크나이저를 GPIC 학습 토크나이저로 바꾸면 gFD가 147.0에서 63.3으로, JiT-T2I에 LPIPS 지각 손실을 더하면 67.9에서 48.9로, 패치를 16×16에서 8×8로 줄이면 48.9에서 41.0으로 개선됐다. 언어 인코더를 FLAN-T5-XL에서 FLAN-T5-base로 줄여도 gFD는 63.3에서 66.7로만 변해, 언어 모델 학습 연산 13.5배 감소 대비 영향이 작았다.

전제와 한계

언어 사전학습의 효과를 분리한 통제 실험은 부정적이다. 고정 예산에서 텍스트 전용 사전학습 비율 α=0.1, 0.2, 0.5를 주면 T2I 학습이 줄어 gFD가 48.0에서 각각 51.6, 52.8, 65.1로 나빠졌고 조건부 이미지 토큰 NLL도 증가했다. 언어 사전학습 뒤 T2I를 한 에폭 더 학습해 총 연산을 1.5배로 늘려도 gFD는 48.0 대 49.2로 개선되지 않았다. 36T 텍스트 토큰으로 사전학습된 Qwen3-0.6B-Base에서 어휘를 이미지 토큰으로 확장해 계속 사전학습한 모델도 gFD 47.8로, 같은 구조를 무작위 초기화에서 학습한 46.6과 비슷했다. 논문은 평가한 설정에서 외부 텍스트 전용 사전학습이 T2I 생성에 이득을 주지 않는다고 결론낸다.

I2T 감독을 별도 과제로 추가하는 것도 T2I를 개선하지 않았다. I2T 비율 0.1에서는 단계 학습 48.4, 혼합 48.2로 기준 48.0과 비슷했고, 0.5로 늘리면 단계 학습 54.2, 혼합 76.0으로 오히려 나빠졌다. 대신 캡션 드롭아웃으로 버리던 T2I 예제를 I2T 예제로 대체하면(p_drop=0, η=0.1) 조건부·무조건부 이미지 토큰 수를 유지하면서 이미지 캡셔닝을 학습한다. 0.52B에서 조건부 텍스트 NLL이 18.414에서 1.102로 10배 이상 줄고 gFD·GenEval·DPG-Bench는 기준과 비슷하게 유지됐으며, 캡션 정렬 점수는 모델 크기에 따라 0.090에서 0.559로 올랐다. 스케일링에서는 모델이 커질수록 최적 CFG 스케일이 7.5에서 4.5로 낮아지고 gFD는 142.7에서 28.4로 개선됐으며, 중간·긴 캡션이 짧은 캡션보다 낮은 gFD를 보였다.

개발자에게 이 논문은 T2I 학습 예산에서 거대한 텍스트 전용 사전학습을 전제로 재검토하라는 신호다. 이미지-텍스트 쌍과 공동 어휘, 이미지 토크나이저, CFG 학습만으로 강한 생성기를 만들 수 있다는 레시피를 제시하지만, 총 사전학습 연산에는 언어 모델·이미지 토크나이저·이미지 생성기 학습을 모두 포함해 계산해야 한다. 또한 실험은 GPIC 256×256 해상도에 집중돼 있고, 데이터 구성 통제는 주로 0.52B, 사전학습 초기화 비교는 Qwen3-0.6B에서 이뤄졌다. 저자들은 다른 데이터셋과 더 높은 해상도, 더 큰 모델·예산, Transfusion류 모델, 텍스트-비디오로의 확장을 한계이자 향후 과제로 밝힌다. 코드와 모델은 공개돼 있다.