Lluna는 모달리티가 빠져도 협업 이득을 잃지 않게 설계됐다

무엇인가

멀티모달 시스템에서 모달리티 결측은 예외가 아니라 일상이다. 오디오 스트림이 빠지고, 센서가 고장 나고, 임상 측정이 수집되지 않는다. 기존 결측 모달리티 연구는 대개 하나의 멀티모달 예측기를 학습하고 모달리티 드롭아웃, 가용 표현 집계, 공유-특화 모델링 같은 전략을 쓴다. 이 논문은 다른 regime을 다룬다. 독립적으로 사전학습된 단일모달 모델들을 모델 협업으로 묶었을 때, 일부 모달리티가 사라져도 협업이 여전히 이득인가라는 질문이다. 저자들은 고정된 생존 모델 앵커로 진단한 결과, 입력이 사라질수록 협업 이득이 약해지거나 음수로 뒤집힐 수 있음을 보였다. 앵커 자신의 입력은 변하지 않았는데도 생존 단일모달 모델이 협업 예측기보다 정확해지는 경우가 생긴다. 추가 진단은 집계 후 모달리티 고유 정보의 회복이 줄어들고, 협업 표현이 가용 상태에 의존해 달라진다는 점을 드러낸다.

어떻게 동작하나

Lluna의 골격은 이렇다. N개의 이종 단일모달 모델 F_i는 학습 내내 동결된다. 각 모델의 동결 특징 h_i를 모델별 어댑터 φ_i로 적응시켜 p_i를 얻고, 공유 정렬기 C로 공통 상호작용 공간에 사상해 c_i(0)를 만든다. 협업을 조직하는 것은 호환성 그래프다. 데이터셋마다 각 모델의 동결 학습 특징에 task head를 붙여 예측을 만들고, 두 모델 예측의 유사도 A_ij를 계산한다. 분류는 클래스 확률, 회귀는 표준화 스칼라에 대한 유사도다. 이 그래프는 학습 파티션에서 한 번 추정해 협업 학습과 추론 내내 고정되며, 각 가용 상태에서 가용 모델로 제한하고 들어오는 가중치를 정규화한다. 양의 self-loop를 두어 고립된 가용 모델도 유효한 연결을 갖는다.

무엇과 다른가

예측은 사설 경로와 공통 경로로 분해된다. 사설 헤드 g_priv는 적응된 특징 p_i들을 고정된 모델 순서로 읽고 결측 슬롯은 0으로 채워 기본 예측을 만든다. 공통 브랜치는 정렬된 특징에 그래프 메시지 패싱을 적용한다. 각 노드는 LayerNorm과 sigmoid 게이트 γ, 학습된 메시지 맵 U를 통해 이웃 메시지를 받아 갱신되고, L개 층 뒤 attention pooling이 공통 합의 z를 만든다. 최종 예측은 ŷ = g_priv([p1;…;pN]) + tanh(s)·g_com(z)로, 학습된 잔차 스케일 스칼라 s가 공통 보정의 크기를 조절한다. 즉 공통 협업은 개별 모델의 직접 증거를 대체하지 않고 보정한다. Progressive Collaboration Consistency(PCC)는 단일 모달리티 제거 체인 S0⊃S1⊃…를 따라 인접 전이마다 더 가난한 상태의 단위 정규화 공통 표현을 더 풍부한 이웃에 정렬하되, stop-gradient로 풍부한 쪽의 그래디언트를 차단한다. 손실은 1 − sg(z̄_k)ᵀz̄_(k+1) 형태이고, 전체 목적함수는 상태별 task 손실, 공통 예측의 보조 손실, PCC 항의 합이다. 정리 1은 인접 상태의 코사인 불일치 d_k를 통제하면 먼 상태 사이의 표현 드리프트도 제한됨을 보인다(‖z̄_0−z̄_D‖ ≤ Σ√(2d_k) ≤ √(2D·Σd_k)). 학습 효율을 위해 K개의 최대 제거 체인을 샘플링하고, 검증과 테스트는 모든 합법적 가용 상태를 평가한다.

어떻게 쓰나

실험은 감정 컴퓨팅, 장면 이해, 의료 예측 세 도메인의 8개 데이터셋에서 이뤄졌다. 감정 컴퓨팅은 CH-SIMS v2, CMU-MOSI, MELD, UR-FUNNY v2, 장면 이해는 Daily-Omni와 WorldSense 파생 프로토콜, 의료 예측은 4개 사이트 CirCor DigiScope와 ADNI의 MCI→치매 전환 예측이다. 지표인 Mean-Missing은 비어 있지 않은 모든 불완전 모달리티 부분집합에 대해 과제 지표를 동일 가중 평균한 값이다. 21개 방법을 데이터셋별로 순위 매긴 결과, Lluna는 8개 데이터셋 모두에서 최강 평가 베이스라인보다 Mean-Missing을 개선했고 평균 4.26% 상대 개선을 냈다. WorldSense 정확도는 31.20%에서 33.90%로(8.65% 상대 이득), CH-SIMS v2 MAE는 0.3590에서 0.3424로 낮아졌다. 결측 입력 감독을 주고 체크포인트도 검증 Mean-Missing으로 고른 통제 실험에서도 Lluna가 앞선다. 도메인별 한 데이터셋씩 10개 강한 베이스라인과 비교해 CH-SIMS v2는 0.3546 대 0.3421 MAE, WorldSense는 32.64% 대 33.82%, ADNI는 82.08% 대 84.17% balanced accuracy였다.

전제와 한계

절제 실험은 두 경로가 상보적임을 보여준다. 사설 예측을 제거하면 ADNI balanced accuracy가 18.54%p 떨어지고, 공통 협업을 제거하면 4.79포인트 떨어진다. 공통 잔차 스케일을 1로 고정한 Equal addition보다 학습된 결합이 대부분 과제에서 낫다. 호환성 그래프를 균일 가중으로 바꾼 Uniform Graph보다 7개 과제에서 우세하고 ADNI에서는 동률이다. PCC는 인접 상태 정렬이 w/o PCC, Full-to-Minimal, All-Pairs보다 대부분 과제에서 좋았고, stop-gradient를 없애 양방향을 조정하면 대부분 악화됐다. 일관성 대상을 공통 표현에 둔 PCC-Common이 8개 과제 모두에서 우세하다. 협업 이득 진단에서는 기준선 평균 이득이 8개 과제 모두에서 감소하고 최소 입력 상태에서 6개 과제가 음수가 된 반면, Lluna는 모든 과제에서 양수를 유지했다. 두 모달리티를 제거한 뒤 도메인 평균 협업 이득의 절대 하락은 기존 협업 대비 37.9% 줄었다. 모델 풀을 3·6·9개로 늘리면 9개가 최고였고 3개 풀 대비 1.77~27.02% 상대 개선을 보였지만, 중간 확장이 균일하게 이득은 아니었다. UR-FUNNY v2에서 Lluna는 1.29M 파라미터로 70.91% 정확도를 내 최강 베이스라인 LIMSSR의 4.25M·68.46%를 2.45포인트 앞섰고, 파라미터는 69.8% 적다. 체인 샘플링으로 비교 횟수를 줄여도 8개 과제 평균 상대 Mean-Missing 변화는 −0.28%였고, MELD에서는 단계당 비교를 9회에서 2회로 줄이면서 Mean-Missing이 0.49% 상대 개선됐다.

개발자 관점에서 이 논문이 유용한 지점은 이미 동결된 단일모달 인코더를 보유한 상황이다. 학습되는 것은 어댑터, 정렬기, 그래프 메시지 패싱, 두 헤드뿐이고 백본은 건드리지 않으므로 추가 학습 예산이 작다. 음성 스트림이 자주 빠지거나 센서가 간헐적으로 실패하거나 임상 측정이 들쭉날쭉한 서비스에서, 협업이 단일 모델보다 나빠지는 역전 현상을 피하려는 설계로 참고할 만하다. 다만 호환성 그래프는 학습 파티션에서 한 번 추정해 고정하므로 데이터 분포가 바뀌면 재추정 시점을 관리해야 하고, PCC 강도·사설/공통 폭 비율·그래프 깊이·인접 페어 예산 같은 하이퍼파라미터는 과제별 선호가 다르다고 저자들이 보고한다.

한계는 저자들이 부록 H에서 논의한다고만 밝히고 제공된 본문에는 그 내용이 담겨 있지 않다. 본문에서 확인되는 전제는 분명하다. 모든 단일모달 모델 F_i는 학습 중 동결이고, 데이터셋마다 하나의 Lluna 설정을 5회 실행에 공유하며, 모델 풀 확장이 항상 이득이 되지는 않는다. 또한 Omni 비교군은 동결 백본으로 원시 입력을 직접 처리하는 반면 Lluna와 협업·결측 모달리티 베이스라인은 동일한 사전 추출 표현과 모달리티 가용 마스크를 쓰므로, 정보 접근 조건이 완전히 같지는 않다.