Omni-Woodpecker가 융합 표현에서 근거와 사전지식 균형을 다시 맞춘다

무엇인가

이 논문은 오디오·비디오·텍스트를 한 모델에서 함께 처리하는 Omni LLM이 교차 모달 환각을 일으키는 원인을 출력 분포가 아니라 융합 표현 내부의 근거와 사전지식의 불균형으로 본다. 예를 들어 개가 보이는 영상에서 “개가 짖는가”를 물으면 오디오에는 침묵 근거가 인코딩되어 있어도 강한 시각 사전지식이 이를 덮어 답이 틀릴 수 있다는 것이다. 기존 대비 디코딩, 모달리티 적응 생성, 선호 최적화는 최종 디코딩 분포나 가중치를 조정하지만, 조기 융합 모델에서는 근거와 사전지식이 디코딩 전에 이미 얽혀 있어 손상된 은닉 상태를 고치지 못한다고 주장한다.

어떻게 동작하나

제안 방법 Omni-Woodpecker(OWP)는 모델 파라미터와 언어 헤드를 건드리지 않는 학습 없는 프레임워크다. 먼저 같은 고정 모델에 전체 입력(q,v,a), 오디오만(q,a), 비디오만(q,v), 텍스트만(q)의 네 뷰를 넣어 질의가 요구하는 모달리티와 그와 경쟁하는 모달리티를 진단한다. 진단 질의로 오디오/비디오/둘 다의 다음 토큰 로짓에 소프트맥스를 취해 ρ_A, ρ_V 점수를 만들고, 차이가 0.12 마진을 넘으면 높은 쪽을 대상 뷰로 삼는다. 경쟁 뷰는 전체 뷰 답과의 일치 여부, 소스별 정규화 어텐션 질량, 0.05와 0.03 마진으로 검증하며, 충돌이 없으면 원래 백본 답을 그대로 반환한다. 레이블이나 참조 답은 쓰지 않는다.

무엇과 다른가

충돌이 확인되면 텍스트 전용 상태를 빼서 질의와 공통 언어 성분을 제거한 뒤, 대상 근거와 이를 지지하는 비대상·융합 성분을 정규화해 근거 방향 u를 만든다. 융합 이동에서 u 성분을 제거한 직교 방향 p를 경쟁 사전지식 방향으로 삼고, 대상 뷰와 전체 뷰의 차이를 u에 투영해 근거 결손 g를 계산한다. 어텐션과 답 정렬 값 기여로 경쟁 헤드 집합 H-와 근거 헤드 집합 H+를 입력마다 고른다. 전체 뷰의 답 선호 Δ_F에 따라 λ(x)=σ((τ-Δ_F)/T)로 하나의 보정 예산을 어텐션 경로 편집과 잔차 상태 편집에 나눈다. 경로 편집은 경쟁 소스 값을 빼고 근거 값을 더하며, 잔차 편집은 p 성분을 줄이고 g·u를 복원한다. Qwen2.5-Omni-7B에서는 근거 층 12·16·20, 사전지식 층 24·26·27을 편집하고 α=0.10, β=0.95, η_P=0.25, τ=-9/16, T=0.10을 쓴다.

어떻게 쓰나

실험은 CMM의 충돌 사례 1,200개와 AV Matching을 포함한 AVHBench 5,302개, 그리고 일반 Omni 모달 추론 벤치마크 네 개에서 이뤄졌다. Qwen2.5-Omni-7B 백본에서 OWP는 CMM 86.1%, AVHBench 83.7%를 기록해 가장 강한 베이스라인 MAD를 각각 4.9점, 7.7점 앞섰고, 원래 백본보다는 12.9점, 8.6점 높였다. CMM의 환각 저항 HR은 57.0%에서 85.5%로 올랐고 지각 정확도 PA는 86.7%로, 백본의 PA-HR 격차 32.5점을 1.2점까지 줄였다(MAD는 16.9점 격차). AV Matching에서는 81.1%로 백본·MAD·AVCD를 6.6점·13.1점·17.9점 앞섰다. 시각 우세 86.0%, 오디오 우세 90.2%, AVHBench 두 방향 84.9%·85.3%, 언어 우세 81.3%→82.0%로 양방향 교정을 보였다. VideoLLaMA2-AV에서는 같은 두 벤치마크에서 4.6점·3.9점이 올랐고, 일반 추론 벤치마크에서는 0.67~2.25점 이득을 냈다.

전제와 한계

충돌 식별 게이트도 보고된다. 네이티브 프로토콜에서 OWP는 입력의 25.8%에서만 충돌을 식별해 편집했고 최종 답을 바꾼 비율은 16.9%였으며 나머지 74.2%는 백본 출력을 유지했다. 대상 모달리티 판별은 벤치마크 정의와 99.48% 일치했다. 절제 실험에서는 근거 강화와 사전지식 억제가 서로의 지각 비용을 상쇄하며 함께 쓸 때 가장 좋았다. 근거 강화만으로 AVHBench +5.41점, CMM HR +13.00점, 사전지식 억제만으로 +6.72점, +27.33점이었고, 둘을 합치면 AVHBench 85.17%, HR 85.50%, PA 비용 2.80점이었다. 잔차 편집이 주 교정 지점이었고, 고정 분할보다 입력별 적응 분할이 AVHBench 83.93→85.17%, PA 84.67→86.70%, HR 82.33→85.50%로 나았다. 층 배치를 바꾸면 정확도가 6.79점 떨어졌다.

비용과 일반화도 수치로 제시된다. 충돌이 있을 때만 추가 뷰와 편집 패스를 돌리는 스케줄로 Qwen2.5-Omni-7B와 VideoLLaMA2-AV에서 백본 대비 각각 1.71배, 1.77배 지연이었고 입력당 최대 5회 순전파였다. MAD는 2.81배·2.36배에 9회 호출이었고, Qwen2.5-Omni-7B에서 OWP는 HulluEdit보다 두 배 이상 빨랐다(6.05초 대 13.02초). 피크 메모리는 24.9GiB와 17.3GiB였다. Qwen2.5-Omni-7B에 고정한 단일 설정을 두 백본에 그대로 적용해도 +2.85점, +2.14점이 났고, 스트림 손상 실험에서 질의된 스트림과 무관한 스트림에 대한 선택성 격차는 41.0점으로 백본 31.3점, MAD 32.6점, HulluEdit 29.6점보다 컸다. 다만 이는 'No' 쪽으로 균일하게 치우친 효과가 아니라는 대조도 제시된다.

개발자 관점에서 OWP는 오픈 웨이트 Omni LLM의 추론 래퍼로, 재학습 없이 은닉 상태와 어텐션에 훅을 걸어 교차 모달 환각을 줄이는 접근이다. 네 뷰 진단, 대상/경쟁 스트림 선택, 층별 편집, 적응 예산 분배를 구현해야 하므로 모델 내부 접근이 필수이고 API 전용 모델에는 적용할 수 없다. 또한 백본이 이미 인코딩한 근거를 복원하는 방법이지, 대상 모달리티 자체를 잘못 지각한 경우에는 복원할 근거가 없다. 저자들은 한계로 교차 모달 환각에 초점을 맞춘 점, 내부 접근이 필요한 점, 추가 순전파가 드는 점을 밝히고, 시간적 환각이나 화자·감정·운율 같은 음향 환각으로 진단을 확장하는 일을 향후 과제로 둔다.