LILIE는 언어 감독으로 픽셀 공간 이미지 생성 손실을 개선한다

무엇인가

이미지 생성기는 보통 두 단계로 만들어진다. 토크나이저가 이미지를 학습된 잠재 공간으로 압축하고, 생성 모델이 그 공간에서 학습된다. 잠재 확산, 자기회귀, 혼합 모달 생성기가 모두 이 방식을 따른다. 토크나이저는 모델링 문제의 차원을 줄여 계산 비용을 낮추지만, 손실 압축이기 때문에 렌더링된 텍스트나 사람 얼굴 같은 세밀한 내용에서 품질 상한을 묶어버린다. 최근 JiT는 토크나이저를 아예 없애고 원시 픽셀 위에서 평범한 트랜스포머를 종단간 학습해 경쟁력 있는 성능을 냈다. 이 논문이 던지는 질문은 그다음이다. 픽셀 손실 대신 더 풍부한 학습 신호를 뽑아낼 수 있는가. 픽셀 손실은 예측 픽셀과 정답 픽셀의 제곱 유클리드 거리를 잰다. 그런데 같은 픽셀 거리의 오차라도 담긴 의미는 다를 수 있다. 논문은 원본 패치에서 픽셀 거리가 1000으로 동일한 두 섭동을 예로 든다. 하나는 피사체를 훼손하고 다른 하나는 배경 구름을 바꾸는데, 픽셀 손실은 둘을 똑같이 취급한다.

어떻게 동작하나

제안 방법은 LILIE(언어 정보 기반 무손실 이미지 인코더)다. ℝ^(H×W×3)에서 ℝ^(H×W×3)으로 가는 전단사 변환이며, BiFlow가 개선한 TARFlow 아키텍처를 쓴다. 다만 정규화 흐름 밀도 모델을 학습하는 대신 가역성만 가져다 쓰고 목적함수를 바꿨다. 학습 절차는 이렇다. 이미지를 인코더에 통과시키고, 이미지별 RMS가 1/2이 되도록 재스케일한 뒤, 백색 가우시안 노이즈를 더하고, LoRA로 파인튜닝한 비전-언어 모델(SmolVLM-256M, rank 64)이 캡션을 예측하게 한다. 손실은 정답 GPIC 캡션에 대한 교차 엔트로피 하나뿐이고, 이 신호로 인코더와 VLM의 LoRA 파라미터를 함께 업데이트한다. RMS 목표 1/2은 GPIC 자연 이미지의 RMS와 대략 맞아 특징 스케일을 VLM의 학습 분포 안에 붙잡아 두고, 인코더가 노이즈를 상쇄하려고 모든 특징을 부풀리는 것을 막는 역할을 한다. 원시 특징의 2차 모멘트는 EMA로 추적해 두었다가 하위 단계 재스케일에 쓴다. 학습이 끝나면 VLM은 버리고 인코더와 2차 모멘트 추정치만 남긴다.

무엇과 다른가

두 번째 단계에서는 인코더를 동결하고 생성 모델의 손실로 쓴다. Ẽ(x) = E_θ(x) / (2√m₂)로 재스케일하는데, 이 스케일은 말뭉치 통계에만 의존하므로 여전히 전단사다. 기반은 JiT-T2I로, 동결된 Qwen3-1.7B 텍스트 인코더의 캡션 임베딩을 조건으로 픽셀을 직접 디노이즈하는 트랜스포머다. 여기에 LILIE 공간의 제곱 오차를 더한다. L_Pixel + λ·L_LILIE 형태이고, 하이퍼파라미터 탐색으로 σ=0.25, λ=2를 골랐다. LILIE 손실만 단독으로 쓰는 변형도 함께 실험한다.

어떻게 쓰나

실험은 GPIC 코퍼스의 256×256 이미지-캡션 쌍으로, 1에폭(1억 학습 예시, 전역 배치 256, 390,600 스텝) 학습했다. JiT-T2I-g(1.1B)에서 픽셀 전용 베이스라인의 gFD-DINOv2는 66.84였고, 픽셀 손실을 LILIE 손실로 완전히 대체하면 55.78, 둘을 합치면 53.01까지 내려간다. 14포인트 개선이다. JiT-T2I-XL(700M)에서는 80.24에서 65.86으로, LILIE 단독으로는 68.88로 떨어진다. gFD뿐 아니라 정밀도, 재현율, 커버리지, MMD도 함께 좋아졌으므로 표본 충실도와 실제 분포 커버리지가 동시에 개선된 것이다. 주목할 점은 LILIE 단독으로도 동작한다는 것이다. 인코더가 전단사이므로 LILIE 공간에서 목표를 정확히 맞추면 픽셀 공간에서도 목표가 복원된다. 반면 LPIPS, DINOv2, SigLIP 2 지각 손실 베이스라인은 픽셀 손실 항 없이 쓰면 품질이 무너졌다.

전제와 한계

언어 감독이 실제로 중요한지도 분리해서 확인했다. 실제 캡션의 각 토큰을 SmolVLM 어휘에서 균등 추출한 무작위 토큰으로 바꿔 인코더를 학습시키면, 그 인코더로 학습한 생성기의 gFD는 82.06으로 픽셀 전용 80.24보다 오히려 나쁘다. 캡션 길이와 VLM 프롬프트는 유지하고 인코더의 학습 목표만 무작위화한 결과이므로, 진짜 캡션이 LILIE 학습의 핵심임을 보여준다. 확장 실험도 있다. 인코더 크기를 1.5M(LILIE-μ), 9.1M(LILIE-T), 32M(LILIE-S)으로 키우면 JiT-T2I-g의 gFD가 84.66, 80.87, 76.59로 내려간다(200K 스텝 기준, 픽셀 베이스라인 101.66). 1.5M 파라미터 인코더조차 픽셀 베이스라인을 크게 앞선다. 인코더 학습 데이터를 1천만, 3천만, 1억 장으로 늘리면 XL 기준 gFD가 97.79, 93.52, 91.79로 개선된다. 샘플링 스텝을 줄여도 효율이 좋다. 25 스텝에서 Pixel+LILIE가 gFD 58.23으로, 픽셀 모델의 50 스텝 68.67보다 이미 낮다.

개발자 관점에서 이 논문의 패턴은 명확하다. 생성기 구조는 그대로 두고 손실만 언어 감독 특징 공간으로 바꾼다. 32M짜리 작은 인코더 하나를 붙이는 것만으로 1.1B 생성기의 학습 신호가 좋아지고, 추론 시에는 인코더가 필요 없다. 논문은 t=0.99처럼 실제 데이터에 가까운 구간에서 학습된 표현이 픽셀 대비 잔차 표준편차를 약 4.9배 증폭한다고 설명한다. 원시 픽셀값과 LILIE 특징의 스케일은 거의 같은데도 그렇다. 즉 데이터 분포 근처의 작은 편차를 더 또렷하게 만들어 픽셀 차이가 주는 약한 신호를 보강한다. 다만 인코더 학습에 TPU v5e-32로 약 40시간이 들고, 1억 규모의 이미지-캡션 쌍이 필요하다는 점은 실무 도입 전에 따져야 할 비용이다.

저자들이 밝힌 한계도 분명하다. DINOv2와 SigLIP 2 기반 손실 비교는 통제된 실험이 아니라고 스스로 인정한다. 두 모델은 각각 1억 4200만 장(LVD-142M)과 100억 장 규모(WebLI)의 서로 다른 사전학습 데이터를 쓰고, GPIC 테스트셋과 데이터가 겹칠 수 있으며, GPIC 평가 자체가 DINOv2 특징으로 이뤄지기 때문이다. 또한 픽셀, LILIE, 지각 손실을 동시에 결합하는 실험은 향후 과제로 남겨두었다. 그럼에도 이 논문이 주장하는 바는 명확하다. 언어 감독만으로도 하위 생성 품질을 끌어올리는 특징 공간을 학습할 수 있고, 가역성 덕분에 그 공간에서의 손실이 정보를 버리지 않는다는 것이다.