이미지 생성 학습이 통합 멀티모달 모델의 지식 접근을 제한적으로 확장한다

무엇인가

이 논문은 통합 멀티모달 모델(UMM)이 이미지 생성 학습을 통해 텍스트에 충분히 기록되지 않은 시각 정보를 배울 때, 그 지식이 언어로도 접근 가능해지는지를 묻는다. UMM은 생성과 이해를 한 모델에 결합하지만, Janus-Pro나 BAGEL처럼 별도 벤치마크 성능이 좋다는 사실만으로 생성으로 배운 특정 지식이 언어 질의응답에 쓰인다는 보장은 없다. 저자들은 Modal Aphasia처럼 시각 개념을 재현하면서도 말로 설명하지 못하는 경우를 구분점으로 삼아, 시각적으로 획득한 지식의 언어 접근성(language accessibility)을 통제 실험으로 측정한다.

어떻게 동작하나

제안 방법인 Knowledge Transfer Probing(KTP)은 지식 단위를 (엔티티, 속성, 값) 삼중항으로 정의한다. 예를 들어 가상의 'Arvenbrock' 유니폼 번호 10처럼, 텍스트-이미지(T2I) 학습 프롬프트에는 엔티티와 장면만 쓰고 목표 속성값은 쓰지 않으며, 목표 이미지에만 그 값이 나타난다. 평가는 이미지 없이 텍스트-텍스트(T2T) 질의응답으로 하며, 질문은 엔티티와 속성을 제시하되 값을 노출하지 않는다. 텍스트 접근성 A_text는 응답이 목표값을 맞힌 비율로 계산한다. 시각 접근성 A_vis는 T2I 프롬프트로 이미지를 생성하게 한 뒤 VLM 판정자가 엔티티·속성·값을 제대로 묘사했는지 평가해 계산하고, 접근성 격차는 A_vis에서 A_text를 뺀 값으로 정의한다.

무엇과 다른가

데이터는 색상·개수·모양, 공간·크기, 숫자·텍스트의 일곱 범주로 구성된다. 범주별로 50개 지식 단위를 만들고 단위당 약 25개의 T2I 예시를 렌더링해 총 8,552개 예시를 사용했다. 사전학습 지식의 간섭을 줄이기 위해 모두 'MagicWorld'의 가상 엔티티를 쓰고, 캡션과 엔티티 이름이 목표값을 직접 또는 간접적으로 암시하지 않도록 언어모델로 검토했으며, 속성값 분포도 대략 균형을 맞췄다. 시각 접근성 평가에서는 전체 엔티티에 대해 단위당 하나의 프롬프트를 샘플링해 350개 프롬프트를 사용했다.

어떻게 쓰나

모델은 BAGEL, SenseNova-U1, 그리고 사내 GLM-Omni다. BAGEL은 이해와 생성 브랜치를 분리한 MoT 구조에 의미론적 시각 인코더와 VAE를 쓰고, SenseNova-U1은 별도 사전학습 시각 인코더나 VAE 없이 픽셀을 모델링하는 NEO-unify 구조를 쓴다. GLM-Omni는 GLM-4.1V-Thinking 사전학습 베이스에서 초기화하고 X-Omni 기반 이산 이미지 토크나이저를 쓴다. 학습 조건은 세 가지다. 직접 전이는 T2I 학습만 주고, 응답 형식 적응을 위해 목표 지식과 무관한 텍스트 QA 10,000개를 추가한다. 텍스트 정렬은 일부 정렬 엔티티에 텍스트 전용 QA 10개씩을 더한다. 인터리브 정렬은 한 응답 안에서 이미지 생성, 시각 관찰, 텍스트 답변을 결합한 예시를 더한다. 두 정렬 조건 모두 테스트 엔티티에는 QA 감독을 주지 않고, 목표값은 T2I 이미지에만 존재한다.

전제와 한계

직접 전이 결과, 텍스트 접근성은 모델과 범주에 따라 크게 달랐고 전반적으로 낮았다. SenseNova-U1만 여러 범주에서 무작위 추측 베이스라인을 넘었고, BAGEL과 GLM-Omni는 대체로 베이스라인 이하였다. SenseNova-U1은 크기에서 68.0%를 기록했지만 숫자·모양·공간·텍스트에서는 베이스라인 이하였다. 반면 시각 접근성은 세 모델 모두 평균적으로 텍스트 접근성을 크게 웃돌았다. SenseNova-U1은 숫자에서 시각 접근성 88%인데 텍스트 접근성은 0%였다. BAGEL과 SenseNova-U1의 공간처럼 생성 자체가 실패하는 설정도 있었지만, 낮은 텍스트 접근성이 곧 학습 실패를 뜻하지는 않는다는 점을 보여준다.

텍스트 정렬은 BAGEL과 SenseNova-U1의 평균 텍스트 접근성을 높였지만 GLM-Omni에서는 낮아졌고, 향상은 주로 모양과 크기에 집중됐다. 테스트 엔티티에서 세 모델 모두 숫자와 텍스트 범주는 0%였고, 정렬 엔티티에서는 각각 72%와 76~96%였다. 인터리브 이미지-텍스트 정렬은 테스트 엔티티의 텍스트 전용 QA 평균 정확도에서 세 모델 모두 텍스트 정렬보다 나았다. GLM-Omni가 가장 크게 좋아져 모양은 12%에서 64%, 공간은 0%에서 40%가 됐지만 일부 과제는 소폭 하락했다. GLM-Omni 절제 실험에서 인터리브 예시의 이미지 부분 손실을 마스킹하면 평균 정확도가 26.86%에서 13.71%로 떨어졌고, 하락은 색상·모양·공간에 집중됐다. 인터리브 학습 후 Visual CoT로 이미지를 생성한 뒤 추론하게 하면 평균이 더 올랐고, 숫자 과제는 직접 텍스트 답변에서 세 모델 모두 0%였으나 Visual CoT로 BAGEL 4%, GLM-Omni 36%, SenseNova-U1 20%가 됐다.

저자들은 같은 테스트 엔티티에서 생성 성공과 텍스트 정답의 연관도 분석했다. Δassoc은 Pr(T|I)에서 Pr(T|¬I)를 뺀 값으로, 이미지를 맞게 생성한 경우와 그렇지 않은 경우의 텍스트 정답률 차이다. 생성 이미지는 QA에 제공하지 않고 별도로 평가했다. 대부분 설정에서 시각적 정답과 텍스트 정답은 양의 연관을 보였다. 텍스트 정렬에서는 BAGEL과 SenseNova-U1은 양수, GLM-Omni는 음수였고, 인터리브 정렬에서는 세 모델 모두 양수가 됐다. GLM-Omni는 -11.28%포인트에서 +8.09%포인트로 바뀌었고 SenseNova-U1은 가장 강한 연관을 유지했지만 격차는 줄었다. 다만 인터리브 정렬에서도 Pr(T|I)는 모든 모델에서 50% 미만이어서, 이미지로 재현된 지식의 상당 부분은 여전히 텍스트 답변에 나타나지 않는다.

개발자 관점에서 이 논문은 이미지 생성 학습을 지식 주입 경로로 쓸 때 텍스트 QA 접근성을 별도 지표로 평가해야 한다는 경고를 준다. 생성 성능이 좋아졌다고 해서 같은 지식이 언어로 검색 가능하다고 가정하면 안 되고, 범주별 편차와 모델 구조 차이를 확인해야 한다. 인터리브 정렬과 Visual CoT는 평균적으로 도움이 되지만 모든 과제를 동시에 개선하지는 않았다. 한계도 분명하다. 실험은 자연 이미지가 아니라 가상 엔티티와 통제된 T2I 데이터에 기반하며, 저자들은 자연 시각 데이터로의 확장, 아키텍처 효과 분리, 정렬 데이터와 추론 전략 연구를 후속 과제로 남겼다. 전이는 제한적이고 불균등했고, 평가는 VLM 판정과 답변 매칭·편집 거리 임계값에 의존한다.