멀티코드북 이산 확산 언어모델로 시각 이해와 생성을 한 백본에 통합한다

무엇인가

통합 멀티모달 생성은 크게 세 갈래다. 단일 코드북 이산 방식은 텍스트 모델링과 자연스럽게 정렬되지만 각 위치를 코드 하나로 압축하므로 표현력이 부족하다. 연속·하이브리드 방식은 시각 표현은 풍부하지만 텍스트와 이미지를 서로 다른 공간에서 서로 다른 목적함수로 최적화해 모달리티 간 충돌이 생긴다. 이 논문이 던지는 질문은 하나다. 고용량 시각 표현을 텍스트와 같은 최적화 공간, 같은 백본 안에서 효율적으로 모델링할 수 있는가. 저자들은 마스크 확산이 이 조건에 맞는다고 본다. 이산 토큰에 마스크 예측 목적함수를 적용하면 두 모달리티가 하나의 이산 공간에서 최적화되고, 병렬 반복 정제는 시각 콘텐츠에 양방향 문맥을 허용한다. 문제는 기존 이산 통합 모델이 단일 코드북에 묶여 있다는 점이다.

어떻게 동작하나

Intern Lumina U2는 시각 토크나이저로 AToken을, 백본으로 LLaDA2.0-mini를 쓴다. AToken은 SigLIP2 인코더에서 초기화해 재구성과 이해를 함께 학습한 토크나이저로, 이미지·비디오·3D 자산을 하나의 4D 잠재 공간으로 인코딩한다. 이산 설정에서는 FSQ로 각 잠재 격자 위치를 K=8개 코드북으로 양자화하고, 코드북마다 4096개 엔트리 어휘를 둔다. 즉 시각 위치 하나가 코드 8개의 묶음, 곧 하나의 시각 토큰이 된다. 백본인 LLaDA2.0-mini는 총 16B 파라미터에 토큰당 1.4B만 활성화되는 MoE 마스크 확산 언어모델로, 20개 층 중 첫 층만 dense FFN이고 나머지 19개가 MoE(라우티드 전문가 256개 + 공유 전문가 1개, 토큰당 라우티드 8개 활성)다. 시각 토큰과 텍스트 토큰은 하나의 패킹된 시퀀스로 배열되고, 같은 백본이 처리한다.

무엇과 다른가

입출력 인터페이스가 이 논문의 핵심 설계다. 입력에서는 코드북마다 독립 임베딩 테이블 E_k를 두고, 한 시각 위치의 K개 코드 임베딩을 이어 붙인 뒤 W_in ∈ R^(d×Kd)(d=2048)로 투영해 백본 토큰 하나로 합친다. 코드북별로 테이블을 분리했기 때문에 시각 코드를 텍스트 어휘에 넣거나 인덱스 오프셋을 둘 필요가 없고, 시퀀스 길이가 K에 독립적으로 유지된다. 출력에서는 6층 causal Transformer인 멀티코드북 AR 헤드가 깊이 시퀀스(길이 K)를 따라 코드 간 의존성을 자기회귀적으로 분해한다. 결합분포를 p(c|h) = ∏ p(c_k | h, c_<k)로 인수분해하는 것으로, 병렬 헤드가 암묵적으로 가정하는 조건부 독립을 두지 않는다. 깊이 시퀀스의 첫 원소는 백본 은닉 상태의 선형 투영 q에 학습 임베딩 s1을 더한 값이고, k번째 원소는 직전 코드 임베딩 e_(k-1)에 s_k를 더한 값이다. 각 블록은 adaLN으로 q+u_k에 조건화되어 백본 출력이 모든 예측 단계를 직접 조절하며, 코드북마다 별도 분류기 W_k^out ∈ R^(4096×d)가 로짓을 낸다. 백본은 공간 위치를 병렬로 정제하고, 헤드만 위치 내부의 코드를 순차 생성하는 구조다. 백본 쪽 변경은 시각 입출력 인터페이스(0.65B 파라미터) 추가와 task-aware attention mask 도입 두 가지뿐이며, 1D RoPE를 그대로 유지하고 공간 구조는 구조 구분자 토큰으로 표시한다.

어떻게 쓰나

시스템 측면에서는 1024개 Ascend 910B NPU에서 학습·추론·평가 풀스택을 구성하고, 같은 아키텍처와 최적화 레시피에 더 작은 학습 예산을 쓴 NVIDIA 레퍼런스 런으로 크로스 플랫폼 일관성을 확인했다. 추론 가속은 PHV(Plateau-Halton sampling with V-verify)라는 학습 불필요 샘플러로 처리한다. 시각 토큰의 신뢰도가 Fast-dLLM식 절대 임계값보다 훨씬 낮다는 관찰에서 출발해, 신뢰도가 평탄해지는 구간에서 토큰을 조기 확정하고 은닉 상태 드리프트가 감지되면 캐시를 갱신한다. 그 결과 이미지 한 장당 지연이 159.9초에서 35.9초로 4.45배 줄고, 평균 정제 스텝이 96에서 60.4로 감소했으며 GenEval은 86.6에서 89.3으로 오히려 올랐다. 같은 스텝 예산에서 Halton 공개 순서가 어떤 위치를 확정할지 개선해 GenEval을 2점 이상 끌어올린다. 평탄 구간 판정의 타당성은 200개 프롬프트로 검증했는데, 평탄 토큰과 대조 토큰의 플립률 차이는 H=2에서 -0.012, H=8에서 -0.048(95% 부트스트랩 CI [-0.057, -0.040])이었고 H=8에서 200개 중 157개 프롬프트에서 평탄 토큰이 더 안정적이었다.

전제와 한계

이해 성능부터 보면, 활성 파라미터 1.4B로 이미지 이해 10개 벤치마크 중 6개에서 1위(MME-C는 BAGEL과 동률)를 기록했고 CharXiv, HallusionBench, MathVision, DynaMath에서 격차가 가장 컸다. 같은 언어 백본을 쓰지만 의미론 전용 시각 인터페이스를 쓴 LLaDA2.0-Uni와의 비교가 특히 유의미한데, 10개 중 8개에서 앞서며 세밀한 시각 디테일이 필요한 벤치마크에서 이득이 컸다. 비디오 이해는 3개 벤치마크 전부 1위로 LLaDA-V와 VideoLLaMA2를 앞섰고, 3D MM-Vet에서는 3D 전문 모델인 ShapeLLM과 PointLLM도 능가했다. 다른 통합 베이스라인 중 비디오·3D 이해를 이미지 생성과 같은 체크포인트에서 지원하는 모델은 없다.

생성 쪽에서는 통합 모델 중 DPG-Bench, UniGenBench, TIIF-Bench에서 최고점, GenEval에서 최고점 동률을 기록했다. 생성 전용 모델 FLUX.1을 앞서고, 토큰당 약 14배 많은 파라미터를 활성화하는 Qwen-Image에 근접한다. UniGenBench에서는 논리 추론과 문법 차원의 이점이 두드러지고, TIIF-Bench에서는 짧은 지시와 긴 지시 모두에서 성능이 안정적이다. 추론 증강 프롬프팅 없이 WISE에서 통합 모델 2위, OneIG-Bench에서는 스타일 점수가 가장 높지만 샘플 다양성은 베이스라인보다 낮다. 편집은 ImgEdit과 English GEdit-Bench에서 최상위 통합 모델에 근접하고 BAGEL, OmniGen2를 앞선다. 물리 다이어그램 생성에서는 GenExam의 일반 통합 모델 중 최고 relaxed 점수, VeriphyT2IBench의 Local 1위·Global 2위를 기록했고 가장 어려운 E&M 프롬프트에서 81.30을 냈다. 절제 실험은 설계 선택을 뒷받침한다. 코드북별 임베딩 테이블을 쓰는 D3 입력 설계가 공유 테이블 방식(D1)과 오프셋 방식(D2)보다 next-code 정확도가 10 표준오차 이상 높고 뒤쪽 코드북에서 격차가 벌어졌다. D1은 D3 대비 2.35배 메모리를 쓰고 수렴도 느린 반면, D3는 D2와 메모리가 같으면서 인터페이스 파라미터가 1.9%만 늘어난다. 출력 헤드는 멀티코드북 AR 헤드가 4개 벤치마크 모두에서 최고였고, 병렬 헤드는 DPG-Bench에서 동률이지만 GenEval에서 14점 뒤졌다(카운팅·위치·속성 바인딩에서 하락 폭 최대). Q-Former 스타일 헤드는 조건화가 더 풍부한데도 병렬 헤드를 넘지 못했다. 이득의 원천이 조건화 표현력이 아니라 코드 간 의존성 모델링이라는 뜻이다.

실무 관점에서 이 논문이 주는 시사점은 세 가지다. 첫째, 텍스트와 이미지를 같은 이산 토큰 공간에 두고 싶다면 코드북을 늘리되 백본 시퀀스 길이는 늘리지 않는 이 논문의 절충(위치당 토큰 1개 + 위치 내부 자기회귀 헤드)이 단일 코드북과 코드 평탄화 사이의 현실적인 선택지가 된다. 둘째, 마스크 확산 디코딩의 지연은 절대 임계값 기반 커밋보다 신뢰도 평탄 구간과 은닉 상태 드리프트 같은 시간적 신호에 반응하는 스케줄러로 줄이는 편이 낫다는 근거가 수치로 제시된다. 셋째, 1024개 Ascend NPU에서의 풀스택 적응과 NVIDIA 레퍼런스 런을 함께 보고하므로 특정 가속기 생태계에 묶이지 않는지 판단할 재료가 된다. 다만 공개된 수치는 대부분 자체 평가 프로토콜과 각 벤치마크 공식 채점 기준에 의존하므로, 자신의 도메인 데이터에서 재현해 보는 절차는 여전히 필요하다.

저자들이 밝힌 한계는 분명하다. 멀티코드북 자기회귀 헤드가 추가 디코딩 오버헤드를 만들고, 고해상도 생성은 시각 시퀀스를 길게 만든다. 또한 현재 시스템은 이미지 생성과 편집까지만 다루며 비디오·3D 생성으로는 확장되지 않았다. 향후 계획으로 비디오·3D 생성 확장, 더 긴밀하게 인터리브된 멀티모달 생성, 강화학습 기반 후학습, 백본 스케일업을 제시한다.