ViewCraft는 멀티모달 에이전트의 증거와 읽기 절차를 함께 진화시킨다

무엇인가

멀티모달 추론에는 관련 있고 읽을 수 있는 증거와, 그 증거의 조직 방식에 맞춘 절차가 함께 필요하다. 비디오 세그먼트를 놓치거나 필드가 잘려 나가면 하류 추론이 막히고, 원래 입력을 기준으로 작성된 리더는 새 뷰가 만들어낸 타임스탬프나 공간 관계를 놓칠 수 있다. 논문은 두 가지를 묻는다. 인터페이스가 필요한 증거를 노출하는가, 그리고 그 리더가 노출된 조직을 실제로 사용하는가. 저자들의 사전 프로브는 단순한 해법이 없다는 것을 보여준다. 단일 선택기도, 프레임을 더 넣는 것도 일관되게 이기지 못했고 선택기 순위는 프레임 예산에 따라 뒤집혔으며 Motion-score는 정점 이후 하락했다. 이 프로브는 26개 비테스트 영화의 VideoHolmes 질문 96개와 FunSD 학습 폼의 필드 크롭 240개를 사용했고 테스트셋과 겹치지 않는다. 더 강한 읽기 리마인더는 입력이 그대로인데도 평균 정확도를 낮췄고, 오라클 필드 크롭의 해상도를 낮추면 요청된 내용이 보존되는데도 field-value ANLS가 떨어졌다.

어떻게 동작하나

ViewCraft는 스킬 상태를 w=(θ, φ, ψ)로 정의한다. φ는 증거를 선택하고, ψ는 뷰를 배치하고 포맷하며, θ는 고정된 실행기에게 주는 읽기 절차다. 렌더러 W(φ,ψ)가 관찰과 질문 맥락으로부터 이미지 첨부를 구성하고, 목표는 실행기 M을 동결한 채 E[R(M(W(O,q), θ), y)]를 최대화하는 것이다. 좌표 분할이 명시돼 있다. 극성, 판정표, 줌 결정, 마크 읽기 같은 추론·결정 규칙은 θ에 속하고, 렌더링과 뷰 메타데이터, 답변·행동 포맷은 인터페이스 쪽에 남는다. 탐색은 텍스트 전용 편집, 인터페이스 전용 편집, 그리고 둘을 함께 건드리는 결합 제안으로 이뤄진다.

무엇과 다른가

저자들은 성공 요인을 P(correct) = αβ + γ로 분해한다. α=P(E)는 필요한 증거가 선택되고 읽히는 확률, β=P(correct|E)는 그 증거를 성공적으로 읽을 확률, γ는 증거 없이도 맞힐 확률이다. 학습된 스킬의 점수 상한은 R*(w)=α(φ,ψ)β(θ|φ,ψ)로 표현된다. wrong-film 프로브에서 증거를 교체한 뒤의 정확도는 0.19, 구간은 [0.11, 0.30]이었다. 통제 실험도 제시된다. 고정된 궤적에서 진화된 뷰에 초기 리더를 붙이면 +8.2점의 결합 이득 중 +2.3점을 회복했고, 토큰을 맞춘 Direct는 +0.9점을 회복했다. 나머지 이득은 증거 구성과 그것을 읽는 절차를 연결하는 데서 나온다는 것이 저자들의 주장이다.

어떻게 쓰나

절차는 실패 추적에서 출발한다. 추적은 질문, 전송된 뷰의 기하와 출처, 응답, 점수를 기록하고 놓친 이벤트를 선택하거나 읽을 수 없는 필드를 크롭하는 수정을 유도한다. 외부 가드 C_exec는 실행 예산과 유효 요청을, C_ground는 질문에서 유도된 증거 요구의 지원 여부를 검사한다. 고정된 검증기는 참조 답 없이 질문 유래 요구를 전송된 뷰와 대조한다. 리플레이는 뷰를 바꾸지 않는 렌더링 편집을 걸러낸다. 수용 여부는 짝지은 개발 평가로 결정하는데, ΔR>0이거나 ΔR=0이면서 ΔC>0일 때 수용한다. 결합 후보가 시각 필드를 바꿨지만 점수를 잃은 경우(ΔR<0), 증거 지원이 떨어지지 않았고(ΔC≥0) 제출·게이트 여유가 남아 있을 때만 후보 (φ,ψ)를 현행 θ로 다시 검사하는 인터페이스 투영을 수행한다. 수용은 스킬을 전진시키고 거부는 현행을 복원한다. 테스트 시점에는 최적화 없이 저장된 스킬이 뷰와 행동, 읽기 규칙을 제공한다.

전제와 한계

실험은 8개 벤치마크에서 이뤄졌다. MMComposition, ReasonMap, FUNSD는 단일 이미지나 폼에 증거가 집중되고, STI-Bench, Video-Holmes, SlideVQA, OpenEQA, MMIU는 여러 소스에 흩어진 관찰을 선택·비교해야 한다. 점수는 3회 반복을 풀링해 이진 점수는 S/(3n)으로, FunSD는 field-value ANLS로 계산한다. 비교 대상은 맨 호출인 Direct, 빈 시작 인터페이스인 Initial skill, 텍스트 전용과 인터페이스 전용 탐색, 결합 결과의 한쪽을 초기 상태로 되돌린 terminal θ-only와 (φ,ψ)-only, 그리고 MPO-adapted와 Dynamo-style이다. 각 진화 방법은 24개 task-seed 탐색을 4라운드로 수행하고 라운드당 최대 4회 제출한다. 게이트 세트는 48~240개 짝 항목이며 절반이나 두 배로 바꿔도 평균 점수 변화는 0.2점 이내다. 각 arm은 250개 후보를 제출하고 200~208회의 짝 평가를 수행한다.

결과는 모든 벤치마크에서 ViewCraft가 앞선다. Direct 대비 평균 +6.1점이고, 입력 토큰 예산을 맞춘 조건에서도 5.2점 앞선다. 5개 다중 소스 과제 모두에서 학습된 인터페이스는 Initial skill보다 입력 토큰을 8~15% 적게 쓴다. 리더와 인터페이스의 상호의존을 재는 터미널 교차 I = R(θ1,v1) − R(θ1,v0) − R(θ0,v1) + R(θ0,v0)는 모든 과제에서 양수였고 평균 +1.8점(단측 부호검정 p=0.004)이었다. 7개 부트스트랩 구간이 0을 배제했고 SlideVQA만 0을 포함했다. 과제 수준 추정은 모두 ViewCraft에 유리했고(정확 부호검정 p=0.008), Holm 보정 후 FunSD와 STI-Bench가 개별적으로 유의했다. 결합 탐색은 교대 탐색보다 +1.3점(클러스터 부트스트랩 CI [+0.6, +2.1]) 높았고 8개 과제 격차가 모두 양수였다. 최강 동일 공간 베이스라인보다는 +2.6점(CI [+1.3, +3.9]) 높다. 추적 유도 제안은 무작위 동일 공간 제안보다 +1.5점, 보존 메커니즘은 +1.6점을 더했다. 제출과 평가를 모두 맞춘 결합 arm은 0.691로 전체 ViewCraft의 0.692와 사실상 같았다.

메커니즘 분석에서 리더와 뷰 계약은 가장 자주 함께 수용된 쌍으로 58회 동시 편집됐다. 단일 단계를 제거하면 0.7~0.9점, 모든 단계를 제거하면 1.6점이 빠지고 모든 짝 구간이 0을 배제한다. 비대칭 투영은 재시도 설계 중 평균 점수가 가장 높았고, 검증된 인터페이스를 유지한 채 리더를 되돌리면 대칭 방향보다 +0.6점을 얻었다. 리플레이는 결합 arm 게이트 평가 30회를 절약했고 21회의 투영 재시도는 모두 저장 스킬에 들어갔다. 검증기는 감사된 판정의 89%에서 인간 합의와 일치했다. 계약을 동결한 조건도 전체 ViewCraft 평균 대비 0.5점 이내를 유지했다. 전이 실험에서 모든 전이 스킬은 대상 실행기의 Direct보다 최소 1.5점 높았고, 3개 전이는 대상에서 진화시킨 스킬을 능가했다. GPT-5.5가 STI-Bench에서 Gemini를, VideoHolmes에서 Sonnet을 개선했고 Gemini가 FunSD에서 GPT-5.5를 개선했다. 나머지 전이는 대상 진화 스킬의 3.3점 이내였다. 토큰을 맞춘 Direct는 +6.1점 중 +0.9점만 회복했고 3샘플 자기일관성도 비슷한 평균을 냈다. 지연은 Direct 대비 항목당 7.6초 늘어난다.

실무에서는 가중치를 건드릴 수 없는 폐쇄형 실행기 위에 시각 입력 파이프라인과 읽기 규칙을 재사용 스킬로 얹고 싶을 때 이 설계가 유효하다. 다만 도입 전에 확인할 전제가 있다. 실행기는 동결되어야 하고, 검색 비용은 arm당 250개 후보 제출과 200회 넘는 짝 평가이며, 실행 시 항목당 7.6초의 추가 지연이 붙는다. 게이트 세트 크기에는 둔감했지만(0.2점 이내) 학습과 평가에 쓰는 소스가 완전히 분리된 분할을 전제한다. 저자들은 별도의 한계 절을 두지 않았지만 원문이 밝힌 조건은 분명하다. 검증기는 참조 답 없이 동작하며 인간 합의와 89% 일치한다는 수준이고, SlideVQA의 상호작용 구간은 0을 포함하며, 일부 전이는 대상에서 진화시킨 스킬보다 3.3점 이내로 뒤진다. 토큰 절감 8~15%는 5개 다중 소스 과제에서만 보고됐고 Direct 대비로는 오히려 토큰이 늘어난다.