ONEDEV

Zhipu GLM-Omni, 이미지로 배운 지식을 말로 답하게 만드는 훈련법 공개

雷锋网5일 전조회 1

칭화대와 Zhipu AI가 공동으로 진행한 연구에서 GLM-Omni라는 이름의 통합 멀티모달 모델이 논문으로 공개됐다. 교신저자는 탕제(Tang Jie)다. 논문은 이 모델이 어떤 제품 버전에 들어가는지 밝히지 않았지만, 공개 직후 중국 소셜미디어에서는 GLM-5.5가 아니냐는 추측이 돌았다. 회사가 공식 확인한 내용은 아니다. 논문이 실제로 내놓은 것은 이미지 이해와 이미지 생성을 한 구조에서 다루는 GLM-Omni의 기술 구성과, 그 모델이 이미지로 습득한 지식을 언어로 얼마나 꺼낼 수 있는지를 측정한 실험 결과다.

문제 설정은 이렇다. 생성 학습을 하면 모델은 물체, 지도, 문자 배열 같은 시각 정보를 대량으로 접한다. 하지만 그렇게 얻은 지식이 언어 추론 경로에서도 쓰일 수 있는지는 생성 결과만 봐서는 알 수 없다. 연구진은 모델이 원래 알고 있던 지식을 배제하기 위해 존재하지 않는 가상 세계 'MagicWorld'를 만들었다. 색, 수량, 모양, 공간 배치, 상대 크기, 숫자, 문자 7개 과제에 각 50개씩 총 350개의 지식을 배치하고, 배경과 시점을 달리한 이미지를 만들어 8552개의 학습 샘플을 구성했다. 학습 텍스트에는 정답이 새지 않도록 점검을 거쳤다. 가상 유니폼 'Arvenbrock'의 등번호 10은 오직 목표 이미지 안에만 등장하는 식이다.

비교 대상은 구조가 서로 다른 세 모델이다. BAGEL은 이해와 생성을 비교적 독립된 전문가 분기로 나눴고, SenseNova-U1은 이미지 픽셀을 직접 모델링한다. GLM-Omni는 GLM-4.1V-Thinking 사전학습 모델에서 출발해 X-Omni 기반의 이산 이미지 토크나이저를 붙인 구조다. 평가는 두 갈래로 나뉘었다. 목표 이미지를 다시 생성하게 하고 그 안의 속성을 확인하는 시각 정확도, 그리고 이미지를 주지 않고 텍스트로만 질문하는 텍스트 정확도다. 평균 시각 정확도와 텍스트 정확도는 BAGEL이 31.43%와 8.86%, GLM-Omni가 54.00%와 14.57%, SenseNova-U1이 61.14%와 20.00%였다. SenseNova-U1은 숫자 과제에서 시각 정확도 88%를 기록했지만 텍스트 답변은 0%였다.

연구진은 두 가지 정렬 방식을 차례로 시험했다. 먼저 일부 개체에만 텍스트 질의응답 예시를 붙이는 Textual Alignment에서는 BAGEL이 8.86%에서 15.43%로, SenseNova-U1이 20.00%에서 28.00%로 올랐지만 GLM-Omni는 14.57%에서 12.57%로 오히려 떨어졌다. SenseNova-U1은 모양 과제가 20%에서 68%로, 상대 크기는 100%까지 상승했으나 숫자와 책 제목 과제는 세 모델 모두 0%에 머물렀다. 다음으로 이미지 생성과 텍스트 응답을 하나의 학습 시퀀스에 넣는 Interleaved Image-Text Alignment를 적용하자 GLM-Omni의 평균 텍스트 정확도가 12.57%에서 26.86%로 뛰었고, 모양은 12%에서 64%, 공간 배치는 0%에서 40%가 됐다. BAGEL과 SenseNova-U1도 각각 17.14%, 28.57%에 도달했다. 다만 일부 색과 수량 과제에서는 성능이 후퇴했다.

향상이 이미지 재구성 신호에서 온 것인지 확인하기 위한 절제 실험도 있었다. GLM-Omni에서 동일한 인터리브 응답과 텍스트 감독은 유지하되 인터리브 샘플의 이미지 손실만 가린 결과, 평균 텍스트 정확도는 26.86%에서 13.71%로 떨어졌다. 생성 학습의 신호가 언어 경로 호출에 실제로 기여한다는 뜻이다. 이어 연구진은 모델이 그림을 더 잘 그린다는 점을 역이용했다. Visual Chain-of-Thought는 추론 과정에서 목표 이미지를 먼저 생성하고, 그 이미지에서 속성을 읽어 최종 텍스트 답을 만들도록 한다. 이 방식으로 GLM-Omni는 41.14%, SenseNova-U1은 34.86%, BAGEL은 20.57%를 기록했다. 숫자 과제는 직접 답변에서 모두 0%였던 세 모델이 4%, 36%, 20%로 갈라졌다. 논문에는 SenseNova-U1이 유니폼 번호를 69라고 잘못 답했다가 이미지를 생성해 읽은 뒤 31로 정정한 사례가 실려 있다.

실무적으로 눈여겨볼 지점은 측정 방식이다. 그동안 통합 모델의 성능은 생성 품질이나 이해 벤치마크로 따로 평가되기 쉬웠는데, 이 논문은 같은 지식을 생성 경로와 언어 경로에서 각각 물어 격차를 수치화했다. 공유 파라미터를 쓴다고 두 경로가 자동으로 연결되지는 않는다는 것, 그리고 인터리브 형태의 학습 구성과 이미지 손실의 존재가 그 연결에 영향을 준다는 점이 실험으로 드러난다. 멀티모달 파이프라인을 직접 설계한다면 학습 목표를 어떻게 배열하느냐가 다운스트림 질의응답 성능을 좌우할 수 있다는 신호다.

한계도 분명하다. 책 제목처럼 복잡한 문자 시퀀스는 Visual CoT를 적용해도 개선되지 않았다. 지식이 통제된 가상 세계에서 만들어졌기 때문에 실제 동적 장면에서도 같은 효과가 나오는지는 검증되지 않았다. 이미지를 중간 매개로 쓰는 방식은 추가 연산을 요구하고, 생성된 이미지가 틀리면 답도 함께 틀어질 수 있다. 어떤 파라미터 공유를 통해 정보가 전달되는지는 아직 규명되지 않았고, GLM-Omni가 향후 제품 버전에 실제로 투입될지도 공개된 정보가 없다.