CoReFuse-Med가 저해상도 MRI 모달의 융합 오염을 두 단계로 차단한다

Central China Normal University와 Huazhong University of Science and Technology, Guangzhou University of Chinese Medicine 부속병원, University of North Carolina at Chapel Hill 공동 연구팀이 멀티모달 의료 영상 분할 모델 CoReFuse-Med를 공개했다. ACM MM 2026에 발표된 논문 "When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation"의 구현체로, arXiv(2609.10261)와 GitHub 저장소에 코드가 함께 올라와 있다. 핵심은 모달을 더 많이 붙이는 것이 아니라, 품질이 낮은 모달이 융합 네트워크를 오염시키는 경로를 찾아 끊는 데 있다.

출발점은 EPVS 데이터셋에서 나온 다소 의외의 관찰이다. 고해상도 T1 단일 모달의 DSC가 0.703이었는데, T1·T2·FLAIR를 모두 융합하면 오히려 0.695로 떨어졌다. T1, T2, FLAIR는 이미 공간적으로 정렬되어 있고 리샘플링 후에는 T1과 같은 크기를 갖지만, 낮은 해상도에서 올라온 시퀀스는 크기가 맞아도 내용의 신뢰도가 다르다는 것이다. 연구팀은 병변 영역과 배경 영역의 평균 차이를 배경 표준편차로 나눈 F-CNR(Feature Contrast-to-Noise Ratio)로 이를 정량화했다. T1이 1.0283, T2가 0.4301, FLAIR가 0.2980으로 T1이 FLAIR의 약 3.4배에 달했다.

더 흥미로운 지점은 학습과 추론의 불일치다. EPVS용 3D U-Net에서 T1은 전체 그래디언트 기여도의 77.4%를 차지했고 FLAIR는 13.1%에 그쳤다. 그런데 추론 시 FLAIR를 가리면 DSC가 70.2% 떨어져 T1을 가렸을 때와 비슷한 타격이 났다. 업데이트 횟수가 적다고 예측에 영향이 적은 것은 아니라는 뜻이다. 여기에 U-Net의 스킵 연결이 공간 디테일과 함께 리샘플링 과정에서 생긴 구조적 아티팩트를 그대로 디코더로 실어 보내면서, 네트워크가 상대적으로 깨끗하고 최적화하기 쉬운 모달에 의존하는 편향까지 겹친다.

CoReFuse-Med는 이 문제를 세 갈래 모듈로 나눠 처리하는 대칭 U형 3-스트림 분할 네트워크다. LACE는 로컬 DoubleConv와 깊이·높이·너비 세 방향의 스트립 합성곱 분기로 경계 디테일과 축 방향 문맥을 각각 뽑은 뒤 채널 어텐션으로 합친다. IMSH는 파라미터가 없는 3×3×3 평균 풀링으로 구조 성분과 잔차를 분리하는데, 기저 성분은 경쟁적 소프트맥스 가중치로 신뢰할 수 있는 해부학 구조를 고르고 잔차 성분은 공유 시그모이드 게이트로 리샘플링 아티팩트를 걸러낸 뒤 경량 DSConv3D로 통합한다. MBCF는 L3~L4 깊은 스킵 특징을 대상으로, 세 모달의 전역 기술자를 이어 붙여 공유 MLP로 채널 가중치를 만들고 공간 게이팅으로 위치가 불안정한 응답을 배제한다. 이렇게 얻은 특정 모달에 속하지 않는 공통 쿼리 Q로, 세 모달을 이어 붙여 다운샘플링한 K·V에 대칭 교차 어텐션을 수행한다. 세 모달의 가중치 합을 1로 강제하는 대신, 신뢰할 수 있는 정보에 합당한 몫을 주는 설계다.

성능은 EPVS에서 DSC 0.7326, HD95 7.35로 비교군 MedNeXt(0.7085, 8.17)를 앞섰다. BraTS에서는 DSC 0.8528, HD95 4.43으로 MedNeXt(0.8314, 7.59)보다 높았고, WMH에서는 DSC 0.80, HD95 6.22, IAVD 0.171을 파라미터 2.665M로 기록했다. EPVS 소거 실험에서는 베이스라인 DSC 0.7146이 LACE·IMSH·MBCF를 모두 결합했을 때 0.7322로 올라 세 모듈이 서로를 보완한다는 점을 보였다.

실무 관점에서 눈여겨볼 대목은 융합 아키텍처를 키우는 대신 데이터 품질 편차를 학습 신호와 추론 기여도 양쪽에서 다룬다는 점이다. 모달별 해상도나 획득 프로토콜이 다른 파이프라인이라면, 어떤 모달이 그래디언트를 얼마나 받는지와 실제 예측에 얼마나 기여하는지를 따로 측정해 보는 것만으로도 병목 지점을 찾을 수 있다. 스킵 연결을 통해 저품질 입력의 아티팩트가 그대로 전파된다는 지적도 범용 멀티모달 U-Net 설계에 적용되는 이야기다.

한계도 분명히 밝히고 있다. 이 연구가 다루는 범위는 공간 정렬이 끝난 뒤 해상도 저하로 생기는 품질 문제이며, 모달이 아예 없거나 정렬이 어긋난 경우, 모든 종류의 강한 노이즈는 해결하지 못한다. EPVS의 심하게 퇴화한 영역에서도 모델은 T1이 오염으로부터 깨지는 것을 막는 쪽에 가까워, 이미 사라진 T2·FLAIR 정보를 복원하는 것은 아니다. BraTS의 축 방향 슬라이스 20%·30% 보존 실험도 각 설정마다 모델을 다시 학습한 결과로, 동일 가중치를 여러 열화 단계에 그대로 적용한 비교는 아니다. 연구팀은 동적 모달 결측과 더 다양한 획득 아티팩트를 다음 과제로 제시했다.