CoRAL은 확산 플래너와 자기회귀 실행기로 병렬 추론 병목을 줄인다

무엇인가

이 논문은 자기회귀 언어모델(ARM)이 사고 연쇄(CoT)를 토큰 단위로 생성하면서 생기는 순차성 병목과, 확산 언어모델(DLM)이 병렬 생성은 가능하지만 의미 일관성과 품질이 약한 문제를 함께 다룬다. 멀티모달 추론에서 긴 추론 흔적은 비용을 키우고 오류 누적을 부르며, 반대로 병렬 생성만 쓰면 인과적 일관성이 떨어질 수 있다는 것이 출발점이다. 저자들은 두 패러다임의 장점을 분리해 결합하는 CoRAL을 제안하고, 병렬 패러다임이 로그 자원 제약 아래에서 더 표현력이 높다는 형식적 분석을 근거로 든다.

어떻게 동작하나

CoRAL의 핵심은 비대칭 플래너-실행기(APE) 구조다. DLM 플래너는 질의 q를 받아 K개의 다양한 추론 궤적 P={p1,…,pK}를 병렬로 생성하고, 큰 ARM 실행기는 원 질의와 전체 제안을 한 번의 프리필 패스로 평가해 p_ME(i|q,P)를 계산한 뒤 argmax로 최적 계획 p*를 고른다. 이후 실행기는 q와 p*에 조건화해 최종 답 A를 합성한다. 플래너의 병렬 디코딩에는 토큰 독립 가정에서 오는 인과 정보 결손 ΔI가 있어 실행기가 이를 재맥락화한다는 설명도 제시된다. 계획 전달은 표면 텍스트로 붙이거나, 플래너의 잠재 표현을 학습된 투영 Π_proj로 실행기 임베딩 공간에 매핑하는 두 경로를 쓴다.

무엇과 다른가

플래너를 목표 지향적으로 만들기 위해 RDC(Reward-Guided Denoising for CoT)를 도입한다. 역확산의 각 디노이징 단계를 하나의 사고 단계로 보고, 궤적 τ를 pθ(x_t-1|x_t,q)의 곱으로 샘플링한다. 학습 목표는 표준 확산 손실 L_D에 보상 유도 항 L_G를 더한 IDG 손실 L_IDG=L_D+λL_G다. L_D는 노이즈 상태 x_t에서 깨끗한 x0를 예측하는 교차엔트로피이고, L_G는 최종 정답 여부 R(τ)와 베이스라인 b를 사용해 전체 궤적의 로그확률을 보상 가중하는 정책경사 형태다. 이로써 각 추론 단계가 최종 정답에 기여한 정도에 따라 강화된다. 플래너의 K개 제안 생성 시간은 O(K^β·T·L), 0≤β<1로 모델링되어 병렬화 이득을 설명한다.

어떻게 쓰나

실험은 LLaDA-V를 DLM 플래너, Qwen2.5VL-7B를 ARM 실행기로 사용한다. 학습 데이터는 LLaVA-1.5, ShareGPT4V, ViCrit 설명 데이터이고, 길이 256의 마스크 시퀀스에서 256단계 역확산, 블록 길이 8 언마스킹을 쓴다. 16개 A100에서 AdamW 학습률 5×10^-6, (β1,β2)=(0.9,0.999)로 공동 학습하며 KL 패널티는 기본 적용하지 않는다. DLM에서 ARM으로의 투영층은 두 모델 가중치를 고정한 채 교차엔트로피로 학습한다. 평가는 CapMAS, CapArena, DetailCaps-4870, GPQA, Trip-Planning에서 진행하고, LLaDA-V·LaViDa·MMaDA·FUDOKI 같은 확산 모델과 Qwen2.5-VL·InternVL2·GLM-4V·LLaVA·MiniCPM-v2.6·VILA 같은 ARM 계열 MLLM을 비교한다.

전제와 한계

결과에서 CoRAL은 CapMAS의 CLAIR 86.75, Coverage 58.36, Factuality 83.59를 기록해 강한 DLM 베이스라인과 Qwen2.5-VL·GLM-4v 같은 상위 ARM을 앞선다고 보고한다. CapArena는 -11.30, DetailCaps-4870은 CAPTURE 63.88이다. 복잡한 제약 추론인 Trip-Planning에서 정확도 0.31로, 최고 ARM인 Qwen2.5-VL-7B의 0.12를 두 배 이상 앞서고, GPQA에서는 0.39로 모든 비교 모델을 앞선다. 처리량은 Trip-Planning 0.42, GPQA 0.58로 가장 높다고 제시된다. 같은 학습셋과 베이스 모델의 마스크 예측 모델과 비교하면 1토큰/스텝에서 8토큰/스텝으로 빨라질 때 CLAIR가 77.4에서 68.1로 떨어지는 데 그쳐, 베이스라인의 74.3에서 46.4로 급락하는 것보다 병렬 생성 안정성이 높다.

절제 실험도 RDC와 APE의 기여를 수치로 보여준다. RDC를 빼고 표준 마스크 예측으로 플래너를 학습하면 Trip-Planning 정확도가 0.31에서 0.25로, CLAIR가 86.75에서 82.36으로 떨어진다. ARM 실행기를 빼고 RDC 플래너만 쓰면 CLAIR가 86.75에서 74.35로, CAPTURE가 63.88에서 61.75로 하락한다. 반대로 DLM 플래너를 빼고 ARM만 대체 지도로 쓰면 Trip-Planning 정확도가 0.31에서 0.18로 떨어져, ARM 단독으로는 해 공간 탐색이 어렵다는 주장을 뒷받침한다. DLM→ARM과 ARM→DLM 역할을 바꾼 비교에서는 CLAIR가 84.9 대 75.1로 DLM 플래너 쪽이 낫고, 역방향은 Coverage만 약간 높은데 이는 ARM의 장황한 순차 열거 편향으로 해석된다.

개발자 관점에서 이 논문은 멀티모달 추론에서 병렬 계획 탐색과 인과적 실행을 분리하는 설계가 품질과 토큰 비용을 동시에 겨냥할 수 있음을 보여준다. 다만 실제 도입에는 DLM 플래너와 대형 ARM 실행기를 함께 운영하는 두 단계 파이프라인의 시스템 복잡성과 추가 지연, 플래너-실행기 간 투영/프롬프트 인터페이스의 도메인 적합성을 확인해야 한다. 저자들이 밝힌 한계도 분명하다. 실험은 영어 데이터에 한정되어 다국어·저자원 언어 효과가 검증되지 않았고, 평가는 정적 이미지 입력에 집중되어 비디오 이해나 스트리밍 멀티모달 입력으로의 확장은 future work로 남아 있다. 또한 CoRAL은 단일 모델 베이스라인보다 추론 지연이 늘어날 수 있다.