멀티모달 에이전트가 유료 시각 증거를 살 만한지 결정 인증서로 판정한다

무엇인가

멀티모달 에이전트는 사용자 요청과 후보 이미지 목록, 명시적 자원 예산을 받는다. 각 단계에서 텍스트만으로 답하거나, 후보를 하나 이상 확보하거나, 더 고해상도 연산을 요청하거나, 답을 포기하거나, 추가 증거의 기대 가치가 낮다고 판단해 멈출 수 있다. 문제는 이 선택이 공짜 정보와 유료 관측 사이의 경계 위에서 이뤄진다는 점이다. 후보 목록의 식별자·해시·해상도·포맷·크기 같은 메타데이터는 무료지만, 화질·관련도·캡션·썸네일 임베딩은 프리뷰를 실제로 결제한 뒤에만 보인다. 비용은 토큰·비전토큰·지연·호출 수의 벡터이고 서비스 부하에 따라 확률적으로 변한다. 기존의 스파스 근사는 어떤 상호작용을 건너뛰었는지에 대한 국소적 보증을 주지 않는다는 것이 저자들의 문제의식이다.

어떻게 동작하나

핵심 구조는 반사실 증거 상호작용 그래프(CEIG)다. 각 후보의 단독 기여 Δ(a|E)와 부호 있는 2차 상호작용 Γ(a,b|E), 그리고 방향성 있는 조건부 해악 H(b|E,a)를 따로 학습한다. Γ가 음수라고 해서 곧 해로운 증거라는 뜻은 아니라는 점을 논문은 명시적으로 짚는다. 중복 증거처럼 무해한 경우에도 감소 수익이 나오기 때문이다. 그래서 조건부 주변효과 M(b|E,a)와 별도의 해악 레이블을 분리한다. 각 상호작용은 g + r·tanh(h) 형태로 매개화되어, 비싼 잔차 h를 계산하기 전에도 g−r ≤ Γ ≤ g+r이라는 점수 인클로저가 성립한다. 여기에 결정 민감도 가중치 ω를 곱한 인증 손실 L_cert를 더해, 행동 정체성을 바꿀 수 있는 엣지에서 구간이 가장 좁아지도록 학습한다. 순위 힌지 L_dec은 엣지 오차가 아니라 결정 결과로 가중치를 준다.

무엇과 다른가

추론 시 컨트롤러는 모든 상호작용을 평가하기 전에 행동한다. 완전히 평가된 현직(incumbent)과 미해결 도전자의 상한을 유지하고, 현직–도전자 격차를 줄일 수 있는 상호작용만 격차 지향 정제로 평가한다. 우선순위는 단위 계산당 기대 격차 감소, 즉 Δu/c_eval로 정한다. 미해결 상한이 현직 점수에 ε_dec 이내로 들어오면 정제를 멈추고 ε-결정 인증서를 커밋한다. 명제 3.2는 모든 미해결 상호작용이 인클로저 안에 있고 현직이 완전 평가되었다면, 이 인증서가 밀집 컨트롤러의 최댓값 대비 ε_dec 이내의 점수를 보장한다고 주장한다. 프리뷰 가치는 동일 예산에서 참조 분기와 프리뷰 분기를 짝지어 굴린 페어 롤아웃으로 학습하며, W(s)+A(s,j)−κ·σ가 같은 실행 가능 행동 집합에서 경쟁한다.

어떻게 쓰나

실행과 평가는 분리된다. 온라인 상한 비용 모델이 운영상 불가능한 행동을 걸러내고, 동결된 완전 정책군은 별도의 궤적 위험 인증을 받는다. 명제 3.4는 n_cert개의 독립 인증 에피소드에 대해 Clopper–Pearson 단측 이항 상한을 정책군 크기로 Bonferroni 보정해, U_θ ≤ δ_traj인 모든 정책을 동시에 인증한다. 수집 모니터는 프리뷰·이미지 요청, 실측 비용, 거부된 시도, 정규 다이제스트를 기록하고, 순서가 있는 트레이스는 외부에 커밋된 뒤 독립 구현된 검증기가 실행 가능 집합·인증서·원장·종료 의미를 재구성한다. 인증서는 상태·행동집합·점수벡터·상한비용행렬·선택 행동·정지 마진·이전 다이제스트의 해시 체인으로 묶인다. 명제 3.5는 모델 상대적 결정 일관성을, 명제 3.6은 트레이스 동결 이후에만 레이블이 조인되므로 커밋된 트레이스가 오라클 레이블과 조건부 독립임을 주장한다.

전제와 한계

실험은 640개 케이스를 384/128/128로 나눈다. 테스트는 4개 도메인, 12개 질문 유형, 케이스당 평균 19.5개 후보를 포함한다. 전체 컨트롤러는 과제 점수 0.842, 그라운딩 F1 0.816, 증거 재현율 0.873, 수락 호출 1.74회, 비전 토큰 286.5K, p95 지연 742ms를 기록했다. 가장 강한 학습 베이스라인인 순환 획득 정책은 0.828, 1.82회, 299.4K였다. 적응형 해상도·툴 호출 계열을 공통 행동 공간에 매핑한 VisionThink 0.818, AdaptVision 0.823, AdaTooler-V 0.810보다 높다. 항상 켜둔 획득은 증거 재현율 0.948과 커버리지 0.969를 유지하지만 호출 4.93회, 808.6K 토큰을 쓴다. 테스트 계약 기준 비용은 프리뷰 토큰 62.4K, 전체 이미지 토큰 224.1K, 프리뷰 지연 96ms, 전체 이미지 지연 604ms, 컨트롤러 오버헤드 42ms다.

인증서 자체의 품질도 측정된다. 발급된 ε-결정 인증서를 밀집 재생하면 밀집 컨트롤러와 0.992 행동 일치, 모델 리그렛 0.003, 인증서 발급률 0.988을 보이면서 결정당 비싼 상호작용 항을 191.4개 대신 19.6개만 평가한다. 결정 가중 학습을 넣으면 인증서 발급률이 0.923에서 0.988로 오르고 엣지 수는 34.2개에서 19.6개로 줄어든다. 계산당 정제 변형은 16.8개 엣지로 0.994 일치를 낸다. 128개 테스트 케이스에서 포기율 0.078, 최대 VRAM 15.8GB, 실패율 0.023이며, 과제·그라운딩·증거 재현율의 95% 계층 부트스트랩 구간은 각각 [0.830,0.854], [0.801,0.831], [0.856,0.890]이다. 접근 주입 탐지 0.973, 깨끗한 트레이스 오탐 0.012, 실행 후 변조 탐지 0.944–0.992다. 선택적 위험 지표로 AURC 0.118, 80% 커버리지에서 위험 0.134, ECE 0.031, 포기율 0.064를 보고한다.

개발자 관점에서 이 논문의 쓸모는 두 가지다. 첫째, 비싼 관측을 사는 에이전트 루프에서 '언제 그만 봐도 되는가'를 감이 아니라 구간 상한과 허용 오차로 정하는 설계 패턴이다. 상한이 현직보다 낮아지면 더 계산할 이유가 없다는 원리는 이미지 해상도 선택뿐 아니라 RAG 재검색, 툴 재호출, 리랭킹 깊이 결정에 그대로 옮길 수 있다. 둘째, 정책 프로세스를 신뢰하지 않고 별도 모니터와 독립 검증기로 트레이스를 재구성하는 구조다. 비용 원장, 거부된 시도, 해시 체인, 동결 이후 레이블 조인이라는 계약은 에이전트 감사 로그를 설계할 때 참고할 만하다. 다만 인증서가 검증하는 것은 '고정된 학습 점수 아래에서의 정책 일관성'이지 답의 의미적 정답성이 아니다. 의미 품질은 동결 이후 레이블로 따로 측정된다는 점을 혼동하면 안 된다.

저자들이 밝힌 한계는 분명하다. 의미 평가는 4개 도메인 128개 홀드아웃 케이스와 컨트롤러 시드 3개에 기반하므로 모든 슬라이스 비교는 케이스 수와 구간을 함께 봐야 한다. 결정 인증서는 고정된 학습 점수에 대한 상대적 보증이고, CEIG와 페어 프리뷰 목표를 위한 오프라인 지도학습은 580–1290회 질의를 넘겨야 손익분기점에 도달한다. 즉 지속적인 질의 볼륨이 있는 배포에 적합하다는 것이 저자들의 설명이다. 재현성 측면에서는 행 단위 원장 감사에서 예산 위반율 0.018, 교차 구현 재생이 정확 0.985, 행동 동등 0.972, 지표 동등 0.957로 보고된다.