신뢰도 낮은 입력에만 추가 증거를 요청하는 두 루프 추론 구조

무엇인가

이 논문은 분포 이동이나 섭동이 있을 때 학습 모델의 잔차 오차를 계층적으로 해소하는 문제를 다룬다. 저자들은 System 1/System 2 인지 패러다임을 빌려, 빠른 루프가 현재 증거로 해결할 수 있는 잔차를 처리하고 남은 인식론적 잔차가 중간 속도 루프를 깨우는 두 루프 구조를 제안한다. 기존 selective prediction, failure detection, learning-to-defer, early-exit와 달리 실패를 단순 거절·위임·추가 계산의 기준으로 보지 않고, 어떤 종류의 추론을 활성화할지 결정하는 구조적 잔차로 본다는 점을 핵심 주장으로 삼는다.

어떻게 동작하나

방법의 출발점은 잔차를 현재 추론 맵이 해소할 수 있는 부분 Rinf와 증거 부족에서 남는 Repi로 근사 분해하는 것이다. 빠른 루프 FL은 합성곱 신경망으로 관측을 특징과 결정으로 매핑하고, 중간 루프 MSL은 FL이 남긴 불확실성에 대해서만 추가 증거를 사용해 대안 결정을 탐색한다. 두 루프는 공통 목적함수 J=Ltask+λpLpred를 공유하며, FL의 해 공간 SF가 MSL의 해 공간 SM에 포함된다는 중첩 가정 아래 Proposition 1은 MSL의 최적해가 FL의 최적해보다 나쁘지 않다고 증명한다. 다만 실제 구현은 두 모델을 각자 학습해 고정하고 임계값으로 MSL을 켜므로, 이 명제가 구현된 게이트의 성능 향상을 보장하지는 않는다고 저자들이 명시한다.

무엇과 다른가

구현에서 FL은 224×224 입력의 MobileNetV3-Large이고, MSL은 518×518 입력의 DINOv2-B를 LoRA로 적응시켜 클래스 예시와의 거리로 분류한다. FL의 최대 소프트맥스 확률을 신뢰도로 삼고, 보정 세트에서 정한 γ 분위수 c0보다 낮으면 MSL을 호출한다. 이때 선택은 COMMIT과 REVEAL로 나뉘며, REVEAL은 같은 손상 입력의 재처리, 같은 손상 분포에서의 독립 추출, 깨끗한 뷰 중 하나를 두 번째 관측으로 제공한다. 비용은 FL c1과 호출률 γ에 대해 c̄(γ)=c1+γc2로 모델링되고, 증거 획득 자체에는 비용을 0으로 둔다.

어떻게 쓰나

실험은 Stanford Dogs, CUB-200-2011, FGVC-Aircraft, Oxford-IIIT Pets 네 세밀 분류 벤치마크에서 수행됐다. 깨끗한 이미지와 자체 구성한 일곱 가지 섭동을 합쳐 여덟 조건을 평가했고, FL 비용은 입력당 0.22 GMAC(CUB 0.29), MSL 비용은 154.94 GMAC이다. MSL이 FL이 가장 덜 확신하는 절반(γ=1/2)을 처리하도록 운영점을 잡았을 때, 두 루프 모델은 모든 벤치마크에서 FL보다 8~13점 높았고 깨끗한 뷰를 주면 19~30점 높았다. 손상 입력 재처리 기준으로 세 벤치마크에서는 MSL 단독에 근접했고 Aircraft에서는 MSL 단독을 넘으면서 약 절반 비용을 썼다.

전제와 한계

저자들은 이득이 단순히 신뢰도 순위 때문만은 아니라고 본다. 같은 크기의 무작위 추천과 비교해 신뢰도 기반 추천은 손상 입력에서 4~5점, 깨끗한 뷰에서 5~7점을 더했다. 또한 같은 비용에서 깨끗한 뷰는 재처리보다 6~17점, MSL 단독보다 6~18점 높았지만 같은 손상의 독립 추출은 이득이 없었다. cutout, noise, blur에서는 독립 추출이 MSL 전체 적용 시 -0.7~0.0점, 두 루프 모델에서는 0.1점 이내의 변화만 냈다. feature masking은 예외로, 새 추출이 FL을 3~11점, 두 루프 모델을 0.2~2.5점 개선했지만 CUB에서만 유의했고 깨끗한 뷰의 2~5점 이득이 더 컸다.

일반화 실험에서 한 조건을 빼고 임계값을 정해도 두 루프 모델은 FL보다 평균 8~13점(손상 재처리), 19~30점(깨끗한 뷰) 높았다. 학습 때 보지 못한 ImageNet-C 15종(severity 3)에서도 모든 벤치마크와 손상 유형에서 FL을 앞섰고, MSL 단독과는 모든 벤치마크에서 3점 이내였으며 Aircraft에서는 MSL 단독을 넘으면서 58~79% 비용을 썼다. 다만 호출률은 임계값에 따라 달라져 Dogs에서는 밝기 손상 때 30%에서 가우시안 노이즈 때 전부까지 올라갔고, FL 정확도가 1% 아래로 떨어지는 조건에서는 두 루프 모델이 MSL 단독보다 더 많은 계산을 요구했다.

저자들이 밝힌 가장 중요한 한계는 같은 계산 비용으로 MSL을 392px에서 다시 학습한 단일 모델이 Dogs, CUB, Pets에서 두 루프 모델을 1.3~2.6점 앞섰고 Aircraft에서만 3.6점 뒤졌다는 점이다. 두 루프 모델이 비용을 줄이면서 정확도를 잃지 않으려면 유지된 입력에서 FL이 MSL만큼 정확해야 하며, 이는 보정 세트에서 미리 확인할 수 있다. 또한 REVEAL은 첫 관측을 융합하지 않고 대체하므로 재처리와 독립 추출 중 더 나은 쪽을 고르는 오라클의 1~4점 이득에는 도달하지 못한다. 실행 시간 기준으로는 Dogs에서 MSL의 약 70% 수준으로, 산술 연산 기준의 절반보다 이득이 작다. 같은 깨끗한 뷰에서도 FL 단독은 두 루프 모델보다 3.8~5.5점 뒤졌다. 증거 획득 비용을 0으로 둔 모델이므로, 실제로 두 번째 시점·고해상도 촬영·재촬영 요청에 비용이 드는 상황이 아니면 같은 계산량의 단일 모델이 더 나을 수 있다는 것이 실무적 결론이다.