LARC는 통합 멀티모달 모델의 추론을 연속 잠재 공간으로 옮긴다

무엇인가

이 논문은 통합 멀티모달 모델(UMM)이 텍스트 기반 chain-of-thought 추론을 이미지 생성에 충분히 활용하지 못하는 문제를 다룬다. 기존 추론 증강 UMM은 LLM처럼 추론 예산을 늘려도 성능이 매끄럽게 오르는 test-time scaling을 보이지 못하고, 세밀한 제어도 약하다. 저자들은 원인을 이산 토큰 공간의 추론과 연속 공간의 이미지 생성 사이의 modality mismatch로 본다. 이미지 합성에 필요한 밀도 높고 공간적인 정보를 이산 체인이 담기 어려워 추론이 표면적 프롬프트 조작으로 퇴화한다는 주장이다.

어떻게 동작하나

제안 방법 LARC는 추론 자체를 이미지 생성과 같은 연속 잠재 공간에서 수행한다. UMM 백본이 문맥 c를 처리하다가 <latent> 토큰을 내면 다음 입력 임베딩으로 토큰 임베딩 대신 마지막 트랜스포머 층의 은닉 상태 h_t를 넣고, 고정된 스텝 동안 잠재 모드로 추론한다. 이후 언어 모드로 돌아와 텍스트 구간과 잠재 구간이 번갈아 이어지는 궤적 τ=(s1,l1,...,sN,lN)을 만든다. 종료 후 이미지 모듈이 이 은닉 상태 궤적을 cross-attention으로 읽어 목표 이미지를 생성한다.

무엇과 다른가

1단계는 커리큘럼 지도미세조정이다. 1M개의 interleaved CoT 샘플을 모아 추론 체인의 스텝 경계에 <latent>를 삽입하고, 처음에는 모든 잠재 스텝을 끈 텍스트 전용 궤적으로 형식을 학습한다. 이후 phase k마다 앞의 k개 잠재 스텝만 활성화해 새 잠재 스텝이 안정된 접두사 위에 쌓이게 하고, 마지막에 전부 활성화하며 phase 전환마다 학습률을 낮춘다. 손실은 텍스트 구간의 next-token prediction 손실과 목표 이미지의 flow-matching 손실을 합친 것이고, 잠재 스텝에는 명시적 정답을 주지 않지만 그래디언트를 통과시켜 유용한 표현을 스스로 형성하게 한다.

어떻게 쓰나

2단계는 자기 진화형 강화학습이다. Coconut식 잠재 추론은 결정적이어서 policy-gradient 롤아웃 다양성이 부족하고, 잠재 추론 궤적에는 명시적 평가자가 없다는 두 문제를 다룬다. LARC는 기준 모델 π_ref에서 잠재 궤적이 목표 이미지의 조건부 로그확률을 얼마나 높이는지를 정보이득 보상 r_IG로 정의하고, 이를 공유 노이즈 아래의 paired flow-matching 손실 차이로 근사한다. 잠재 붕괴를 막기 위해 잠재 스텝 간 코사인 유사도를 낮추는 diversity 보상을 더하며, 총 보상 R=r_IG+λ_div·r_div를 GRPO로 최적화한다. 정답 잠재 체인이나 외부 critic 없이 (c,x) 쌍만으로 학습한다.

전제와 한계

실험은 BAGEL을 베이스로 FLUX-Reason, WEAVE, ScaleEdit에서 뽑은 1M interleaved 샘플로 학습했다. T2I는 GenEval, DPG-Bench, OneIG-Bench, 편집은 CompBench, 이해·추론은 MME, MMB, MMMU, MIRA로 평가했고, Stable Diffusion 3, FLUX.1-dev, BAGEL, Show-o2, Emu3, Janus-Pro, Uni-CoT와 비교했다. LARC는 GenEval에서 BAGEL 대비 7%p, OneIG-Bench에서 BAGEL 대비 10.2%p, DPG-Bench에서 85.07→90.04(+5.8%)를 보고했다. 속성 바인딩은 베이스라인 대비 +15%p, 편집은 LC-T 20.434→22.509, PSNR 24.3→25.7, LPIPS 0.069→0.049, MIRA는 7.5→11.7로 개선됐다. MMMU는 평가 설정에 포함됐지만 제공된 본문에는 개별 수치가 제시되지 않았다.

가장 중요한 주장은 test-time scaling이다. budget forcing으로 잠재 추론 컴퓨트를 늘리면 이미지 생성, 편집, 시각 추론 세 과제에서 성능이 단조 증가했고, 동일 컴퓨트의 best-of-N 샘플링도 앞섰다. 절제 실험에서 token-level 추론을 latent로 바꾸면 네 벤치마크 모두 좋아졌고 MIRA +2.6, LC-T +0.65였으며, token-level 추론은 오히려 시각 추론에서 베이스라인보다 약간 나빴다. naive latent 대신 interleaved latent를 쓰면 OneIG-Bench +0.02, LC-T +0.44였고, 2단계 RL은 T2I를 0.83→0.88, 시각 추론을 9.7→11.7로 끌어올렸다.

개발자 관점에서 LARC는 이미지 생성·편집에서 속성 바인딩, 공간 배치, 프롬프트 충실도처럼 조합적 추론이 중요한 작업에 추론 컴퓨트를 추가로 투입하는 설계를 보여준다. 다만 BAGEL 같은 UMM 백본의 마지막 은닉 상태를 다음 입력으로 되먹이는 구조와 이미지 모듈의 cross-attention, 기준 모델의 flow-matching 손실에 접근해야 하므로 기존 토큰 CoT 파이프라인에 바로 끼워 넣는 방식은 아니다. 또한 평가가 GenEval, DPG-Bench, OneIG-Bench, CompBench 등 model-based/MLLM-as-a-Judge 중심이라 실제 서비스에서는 라이선스, 안전 필터, 데이터 출처, 추론 비용을 별도로 확인해야 한다.

저자들은 이미지 생성에는 정답 추론 궤적이 존재하지 않아 체인 수준 지도가 불가능하다고 전제한다. 1단계 SFT는 데이터 품질에 크게 의존하고, 2단계 RL은 수십억 파라미터 UMM 백본 위에서 돌아 컴퓨트와 탄소 비용이 크다. 이미지 모듈이 로그확률을 직접 주지 않아 정보이득을 flow-matching 손실 차이로 근사하며, 잠재 모드가 고정 스텝 뒤 언어 모드로 돌아오는 설계도 전제로 깔려 있다. 저자들은 새 데이터나 새 모달리티를 도입하지 않았고 기존 생성 모델의 편향·오용 위험을 상속한다고 밝힌다.