RGB-T 검출기가 손상된 입력에서 신뢰도 높은 모달리티로 초점을 옮긴다

무엇인가

이 논문은 RGB-T(가시광-열화상) 객체 검출에서 한쪽 모달리티의 신호가 손상될 때 정확도가 무너지는 문제를 다룬다. 열화상 센서는 반사면에서 노이즈와 대비 저하가 생기고, 가시광 채널은 모션 블러·강수·글레어·저조도 노이즈에 취약하며, 하드웨어 고장이면 두 스트림 모두 실패할 수 있다. 저자들은 손상된 모달리티의 특징이 융합을 거치며 검출 전체를 망친다고 본다. 복원 후 검출 방식은 지연이 크고 환각 구조가 검출기를 오도할 수 있으며, 다운스트림 정확도를 일관되게 올리지 못한다. 기존 PEFT도 입력과 무관한 단일 보정을 학습해 테스트 시점의 다양한 손상에 대응하지 못한다. 통제된 손상 스윕에서 손상 유형은 깨끗한 조건 근처에서는 비슷한 영향을 주지만 심각도가 커질수록 유형별로 갈라진다는 관찰이 입력별·손상 인식 적응을 요구한다.

어떻게 동작하나

PG-FM은 검출기 백본을 고정하고 입력을 복원하지 않은 채, 융합층에만 적용되는 입력 조건부 보정 Δθφ(x̃)를 학습한다. 1단계에서는 RGB와 TIR 각각에 하나씩 Prompt Generator를 두고, 백본의 다중 스케일 공간 특징과 신호 에너지 특징을 14×14 패치 토큰으로 투영한다. 신호 에너지 토큰은 채널별 공간 모멘트 μ, σ와 GAP/GMP 디스크립터를 이어 붙이고, 전역 에너지 토큰에 대한 어텐션으로 전역 잔차 조건을 더한다. 각 토큰은 곡률 1의 Poincaré ball로 지수 사상되어 z=tanh(||v||/2)v/||v||가 되고, 원점에서의 거리는 ||v||와 같다. 원점 근처의 깨끗한 트렁크 반경 r* 안쪽은 정상으로 디코딩되고, 바깥쪽은 고정 프로토타입 방향으로 손상 유형을, 프로토타입까지의 측지 거리 g(z)로 유형 내 심각도를 표현한다. 학습 손실은 깨끗한 패치를 트렁크 안에 두고 손상 패치를 프로토타입 반경 밖으로 밀어내는 경계항, 방향에 대한 유형 분류항, 같은 유형에서 심각도 순서를 거리 순서로 맞추는 랭킹항, 장면은 다르지만 같은 손상·심각도·마스크를 가진 쌍의 깊이를 일치시키는 쌍 일관성항으로 구성된다.

무엇과 다른가

2단계에서는 검출기와 두 Prompt Generator를 모두 고정하고 Reliability Mining Module(RMM)만 학습한다. RMM은 RGB/TIR 프롬프트를 원점의 접공간으로 로그 사상해 2N개의 토큰으로 만들고, 융합층마다 하나의 학습 가능한 쿼리를 두어 self-attention으로 층별 갱신을 조정하며 cross-attention으로 공간·모달리티 증거를 선택한다. 선형 헤드는 각 쿼리를 항등 중심의 PEFT 보정으로 매핑한다. FiLM이면 h'=(1+Δγ)⊙h+Δβ, LoRA이면 W'=W+BA가 되어 Δθ=0일 때 고정된 융합층이 정확히 복원된다. 신뢰도 가중 항등 정규화는 깊이 가중 접공간 풀링으로 얻은 r̄_m을 이용해 c_m=σ(-β(r̄_m/r*-1))를 계산하고, 두 모달리티의 조인트 신뢰도 R=c_rgb·c_tir+ε0로 생성된 PEFT 파라미터의 L2 패널티를 조절한다. 입력이 신뢰할 만하면 보정을 항등에 가깝게 붙잡고, 한쪽이 심하게 손상되면 항등 제약을 풀어 적응 여력을 늘린다. 중요한 점은 풀링된 반경이 항등 사전의 세기만 조절하고, 보정의 내용은 전체 프롬프트 필드가 결정한다는 것이다.

어떻게 쓰나

실험은 FLIR-Aligned에서 mAP50와 Precision, KAIST에서 mAP50와 FPPI [10^-2,10^0] 구간의 LAMR(All/Day/Night)로 평가한다. 베이스는 ICAFusion이고, Q/K/V/O 융합 투영에 FiLM 또는 LoRA 보정을 생성하며 백본 검출기는 고정한다. 손상 프로토콜은 TIR의 마이크로볼로미터/IRFPA 고장과 RGB의 사진·악천후 열화를 모사해 심각도 0에서 1까지 연속으로 적용하고, 단일 모달리티 고정 유형 스윕, RGB/TIR 유형·심각도를 독립 균일 샘플링한 Robust 설정, 미학습 손상 스윕과 혼합 손상을 평가한다. Table 2 기준 FLIR에서 LoRA와 FiLM이 베이스 ICAFusion 대비 robust mAP50을 각각 20.8점, 17.2점 올렸고, KAIST에서는 LoRA가 robust mAP50을 34.7에서 54.6으로, LAMR-All을 43.5에서 35.8로 개선했다. 깨끗한 성능은 유지했고, 세 독립 시드의 표준편차는 주요 통제·미학습 손상 평가에서 최대 0.7 mAP였다. PG-FM은 FiLM/LoRA 기준 5.0/6.9M 학습 파라미터를 추가하며, ICAFusion에서 3.2/4.1% GFLOPs와 10.5/12.3% 지연을 더한다.

전제와 한계

재학습 없는 전이도 강조된다. FLIR-Aligned로만 학습한 모델을 목표 도메인 최적화나 추가 손상 없이 LYNRED-MDS, M3FD, ATR-UMOD에 평가했을 때 PG-FM은 Table 4의 다섯 도메인 전이 테스트에서 모두 1위였다. ATR-UMOD에서는 각 속성 안에서 카테고리 AP50을 매크로 평균한 뒤 여섯 개 주석 조건 속성 모두 1위였고, 베이스 ICAFusion보다 10.8~18.2점, 용량을 맞춘 Zero-Prompt보다 4.7~7.3점 높았다. 검출기/헤드를 고정한 아키텍처 통제에서도 ICAFusion, YOLOv11-RGBT, UniRGB-IR 각각 robust mAP50을 17.2/16.2/17.2점 올리면서 clean mAP 변화는 최대 0.3점에 그쳤고, 매칭 용량 Zero-Prompt보다 8.8/8.6/5.8점 앞섰다. 복원 후 검출 통제인 BioIR, PromptIR과 비교하면 동일 RGB 손상에서 3.6~7.4 mAP 높으면서 추가 비용은 5.46 GFLOPs/2.25ms인 반면, 복원 기반은 931~1079 GFLOPs/327~345ms를 썼다.

프롬프트 기하 분석은 이 설계가 단순한 스칼라 품질 점수가 아님을 보여준다. 학습된 프롬프트는 깨끗한 트렁크, 유형별 각도 가지, 장면 간 깊이 일관성, 유형 내 심각도의 단조 증가를 보였다. 고정 심각도에서 손상 계열은 서로 다른 풀링 반경과 보정 거리를 차지했고, 짝을 이룬 깨끗한 스트림은 트렁크 근처에 남았다. 생성된 보정은 장면보다 손상 유형으로 더 잘 군집했다(실루엣 0.68 대 장면 -0.21). 쌍 일관성 손실을 제거하면 FLIR robust mAP50이 57.7에서 55.2로 떨어지고 다섯 전이 결과도 모두 낮아졌다. 8차원에서 유클리드 극좌표는 52.9인데 푸앵카레는 57.7이었고, 유클리드 16/32차원도 53.7/57.2에 그쳐 고정 차원에서 푸앵카레 표현의 이점을 주장한다. 출력 수준에서는 Shapley 기여로 손상된 쪽의 영향을 덜 받는 모달리티로 의존이 이동함을 보였다. 심각도 1에서 RGB/TIR 실패 시 각각 93.6/76.4%의 기여 크기가 손상되지 않은 TIR/RGB 스트림에 귀속됐고, 이는 Frozen의 90.0/75.7%, Zero-Prompt의 86.1/70.3%보다 큰 이동이다. 다만 직접 신뢰도 게이팅은 표현력이 커져도 PG-FM보다 낮아, 신뢰도 진단만으로는 층·채널별 보정을 대체하지 못한다고 저자들은 해석한다.

개발자 관점에서 PG-FM은 백본 재학습이나 생성형 복원 없이 센서 열화에 대응해야 하는 RGB-T 검출 파이프라인에 맞는 접근이다. 특히 열화상과 가시광의 신뢰도가 프레임마다 뒤바뀌는 야간·악천후·반사 환경에서, 융합층만 어댑터로 붙여 깨끗한 성능을 크게 해치지 않으면서 손상 시 성능 하락을 줄이는 용도다. 도입 전 확인할 점은 세 가지다. 첫째, 학습 시 손상 유형·심각도 시뮬레이션과 패치 마스크가 필요하므로 실제 센서 고장 분포를 얼마나 잘 모사하는지가 전이 성능을 좌우한다. 둘째, 추가 지연이 10%대이므로 실시간 요구가 빡빡하면 FiLM/LoRA와 프롬프트 생성 비용을 프로파일링해야 한다. 셋째, 이 방법은 신호 품질 적응이지 기하 정합 보정이 아니므로 RGB-T 정렬 오차가 큰 환경에서는 별도 정합 모듈이 필요하다.

저자들이 밝힌 한계는 명확하다. 손상 시뮬레이션은 센서 물리에서 착안했지만 특정 센서의 보정된 복제본은 아니며, 실제 고장 라벨이 붙은 자연 센서 실패 데이터로의 검증은 향후 과제로 남긴다. 또한 등록 민감도 실험에서 고립된 평행 이동이 생기면 프롬프트가 깨끗한 트렁크 근처에 머물고 RMM이 항등에 가까워져, PG-FM은 Frozen 검출기를 따라갈 뿐 기하 변위를 보상하지 못한다. 심한 대응점 상실에서는 모든 방법의 성능이 떨어지므로 명시적 정합이 이 신호 적응 메커니즘과 상보적이다. 아울러 g(z)는 엄밀한 각도 독립 심각도 스칼라가 아니라 학습된 유형 내 심각도 좌표이고, 같은 풀링 반경이 같은 보정을 보장하지도 않는다. 이는 방법의 적용 범위를 해석할 때 감안해야 한다.