옴니모달 LLM이 아는 것을 말하지 못하는 이유를 토큰 정렬로 밝힌다

무엇인가

옴니모달 대규모 언어모델(Omni-LLM)은 언어와 함께 비전, 오디오, IMU 신호 같은 이질적 모달리티를 처리하도록 LLM을 확장한 모델이다. 이 논문이 파고드는 문제는 이 모델들이 비텍스트 모달리티의 정보를 올바르게 지각하고도 그것을 응답에서 표현하지 못하는 현상이다. 저자들은 이를 knows-but-cannot-say라고 부른다. 지각 능력만으로 멀티모달 성능이 결정되지 않는다는 뜻이고, 곧 같은 모델이 모달리티에 따라 다르게 행동하는 이유가 어디에 있는지 묻는 문제다.

어떻게 동작하나

이 현상을 조사하기 위해 논문은 Token-level Modality Alignment(TMA)를 도입한다. 개별 모달리티의 표현과 응답 표현 사이의 정렬 정도를 토큰 수준에서 측정하는 지표다. 분석 결과 비텍스트 표현은 응답 토큰과 덜 정렬되어 있었고, 텍스트 표현보다 어텐션을 덜 받았다. 저자들은 이것이 모달리티 선호가 고르지 않게 나타나는 현상의 잠재적 설명이 될 수 있다고 본다.

무엇과 다른가

이 발견에 기대어 제안하는 방법이 OmniCatalyst다. perceive → infer로 요약되는 단순한 전략으로, 원래의 모달리티 입력에 자기 생성 텍스트를 보완해 비텍스트 지식에 더 접근할 수 있게 만든다. 모델이 이미 지각한 내용을 스스로 텍스트로 꺼내게 한 뒤 그 텍스트를 추론의 발판으로 삼는 구조다.

어떻게 쓰나

실험은 7개 Omni-LLM에서 이루어졌다. OmniCatalyst는 이들 모델에서 일관되게 성능을 7.29% 향상시켰고, 모달리티 선호도 더 균형 잡히게 만들었다. 다양한 학습 전략을 결합했을 때는 추가적인 이득도 보고된다. 추가 분석에서는 지식 추출 단계가 TMA를 높이는 것으로 나타났는데, 저자들은 정렬이 개선되면 응답 생성 과정에서 비텍스트 정보에 더 쉽게 접근할 수 있게 된다고 해석한다.

전제와 한계

실무 관점에서 이 논문이 주는 시사점은 진단과 처방이 분리되어 있다는 점이다. 비전이나 오디오 입력을 넣은 모델이 엉뚱한 답을 낼 때, 그것이 입력을 못 봐서인지 봤지만 말로 옮기지 못해서인지 구분하지 않으면 프롬프트를 고쳐도, 모델을 바꿔도 원인을 놓친다. TMA 같은 정렬 지표는 그 구분을 위한 후보가 되고, OmniCatalyst는 재학습 없이 파이프라인 중간에 자기 생성 텍스트 단계를 끼워 넣는 저비용 보완책이 된다. 도입을 검토한다면 모달리티별 성능 편차가 실제로 줄어드는지, 그리고 자기 생성 텍스트 단계가 추가하는 지연과 토큰 비용을 함께 확인해야 한다.

한계와 전제는 초록에 명시적으로 정리되어 있지 않다. 다만 이 접근은 모델이 이미 올바르게 지각하고 있다는 전제 위에 서 있다는 점을 짚어둘 필요가 있다. 지각 자체가 틀린 상황에서는 자기 생성 텍스트가 잘못된 내용을 굳힐 수 있다. 또한 TMA와 성능 사이의 관계는 저자들 스스로 잠재적 설명, 시사 수준으로 표현하고 있어 인과로 단정하기는 이르다. 검증 범위도 7개 Omni-LLM에 한정되며, 코드는 공개되어 있다고만 언급되고 구체적인 저장소 주소는 초록에 제시되지 않는다.