Video-RSI가 고정된 모델로 비디오 이해 에이전트의 하네스를 스스로 고친다

무엇인가

비디오 이해 에이전트는 답을 정하기 전에 무엇을 볼지부터 정해야 한다. 긴 영상에서 관련 사건은 짧거나, 시간적으로 멀리 떨어져 있거나, 시각적으로 비슷한 방해물에 둘러싸여 있다. 이 관측 결정은 실행 가능한 하네스, 즉 무엇을 관측하고 그 관측을 어떻게 쓸지 제어하는 코드가 지배한다. 문제는 실행 트레이스에 현재 하네스가 획득한 증거만 담긴다는 점이다. 어떤 사건이 트레이스에 없다면 그것이 샘플링 누락인지, 지각 오류인지, 이미 본 증거를 활용하지 못한 것인지 구분되지 않고, 각 경우에 필요한 수정은 서로 다르다. 이 논문은 모델 가중치를 건드리지 않고 이 실행 계층 자체를 개선 대상으로 삼는다.

어떻게 동작하나

Video-RSI는 동일한 고정 언어모델을 Solver와 Editor로 함께 쓴다. Solver가 학습 질문에서 하네스를 실행해 답, 트레이스, 자원 기록을 남기면, Editor가 실패 사례를 골라 원본 학습 비디오를 다시 찾아간다. 이것이 Active Video Investigation이다. Editor는 시간 구간, 샘플링 밀도, 모달리티, 지각 질문을 바꿔가며 질의를 던지고, 비디오 관측·음성 전사·화면 텍스트·수정되지 않은 기존 하네스의 재실행 결과를 받아 누적한다. 짧은 사건이 샘플링된 프레임 사이에 떨어졌는지 더 촘촘히 보는 식이다. 지각 요청에는 정답이 포함되지 않는다. 누락된 사건이 발견되면 시간 커버리지를 고치는 방향으로, 이미 관측됐다면 그 증거가 어떻게 표현되고 쓰였는지를 고치는 방향으로 진단이 갈린다. 진단은 재사용 가능한 변경, 적용 조건, 보존해야 할 성공 동작까지 명시해야 하며, 새 질문에서 Solver가 쓸 수 있는 단서만 사용해야 한다.

무엇과 다른가

개정을 채택할지 판단하는 것은 Cost-Aware Harness Evolution이다. 후보와 기존 하네스를 같은 비공개 선택 세트에서 동일 조건으로 실행해 정확도와 시각 비용을 비교한다. 시각 비용은 완전한 질의응답 실행 전체에서 성공한 시각 모델 호출이 처리한 평균 프레임 수로 정의된다. 게이트는 두 방향을 허용한다. 정확도가 올라가면서 비용 증가가 α(실험에서 0.1) 이내인 경우, 또는 정확도 손실이 ε(1/|D_g|, 즉 정답 하나 감소) 이내이면서 비용이 β(0.2) 이상 줄어드는 경우다. 통과하면 후보가 다음 시도의 시작점이 되고, 아니면 기존 하네스가 유지된다. Editor는 집계된 정확도와 프레임 수만 받고, 문항별 게이트 결과는 비공개다.

어떻게 쓰나

실험은 LVBench 216문항으로 조사·수정을 하고, 비디오가 겹치지 않는 72문항을 고정 개발 세트로 선택에 쓴다. Solver와 Editor는 DeepSeek-V4-Pro, 시각 관측은 Qwen3.6-Plus를 쓰며 모든 가중치는 고정이다. 초기 하네스는 전역·국소 비디오 검사, 전사, OCR, 관측 메모리를 지원한다. 개정 시도는 20회다. 평가는 Video-MME 롱비디오 분할, LongVideoBench, EgoSchema 공개 서브셋, MLVU test에서 하고, 지표는 객관식 정확도와 질문당 평균 시각 프레임이다. 오프라인 Editor 관측은 프레임 집계에서 제외한다.

전제와 한계

결과적으로 진화한 하네스는 재현한 VideoSeek과 VideoHarness-RSI보다 네 벤치마크 모두에서 정확도가 높다. VideoSeek 대비 MLVU에서는 정확도 4.8%포인트 상승과 함께 프레임을 27.2% 줄였고, LongVideoBench에서는 비슷한 정확도에서 프레임을 크게 줄였으며, EgoSchema는 정확도와 프레임이 모두 개선됐다. Video-MME만 정확도 상승과 함께 프레임이 다소 늘었다. VideoHarness-RSI와 비교하면 모든 벤치마크에서 더 높은 정확도와 더 적은 프레임을 기록했고, Video-MME에서 정확도 이득이 가장 컸으며 EgoSchema는 비슷한 정확도에서 프레임이 크게 줄었다. 최종 하네스는 초기 하네스 대비 네 벤치마크에서 10.8~44.1% 적은 프레임을 쓴다.

절제 실험은 두 축의 기여를 분리한다. 트레이스만 보는 변형 대신 능동 조사를 허용하면 모든 벤치마크에서 최종 정확도가 더 높았고, MLVU에서는 비슷한 추론 시 프레임 사용으로 8.2%포인트 이득을 냈다. 조사 실행은 20회 중 5회를 채택한 반면 트레이스 전용은 3회만 채택했다. 정확도만 보는 게이트는 네 벤치마크 모두에서 정확도를 올렸지만 세 곳에서 프레임을 늘렸다. Video-RSI는 이 변형보다 높은 정확도를 유지하면서 모든 벤치마크에서 프레임을 덜 썼고, Video-MME에서는 대략 절반 수준이었다.

진화 동역학을 보면 개발 세트에서 첫 채택 개정이 순 프레임 감소의 대부분을 만들어내고, 이후 개정은 시각 비용을 비단조적으로 조금씩 바꾸면서 정확도를 꾸준히 올린다. MLVU 궤적은 선택 세트의 개선이 매 단계 평가로 전이되지는 않음을 보여준다. 첫 채택 개정은 개발 지표를 모두 개선했는데도 MLVU 정확도를 떨어뜨렸고, 다음 개정에서 회복된 뒤 마지막 두 개정이 MLVU 정확도 이득의 대부분을 차지했다. 최종 하네스에서 관찰된 코드 변화는 세 가지다. H_S2의 구조화된 지각은 자유 형식 시각 응답을 목표 지향 관측으로 바꾸고 이미지 참조를 프레임 타임스탬프에 매핑해 발견과 시간적 증거의 연결을 보존한다. H_S4의 관계 그래프는 누적된 시각·전사·OCR 관측에서 엔티티, 사건, 관계를 추출하고 적격 질문에 증거 공백을 돌려주며, 그래프 질의 자체는 새 프레임을 처리하지 않는다. H_S3의 Global-64 경로와 H_S5의 occurrence 도구는 각각 전체 영상 질문용 개요 확대와 중복 집계 방지를 담당한다.

실무 관점에서 이 논문이 주는 신호는 명확하다. 모델을 재학습하거나 파인튜닝하지 않고도 프롬프트 구성, 툴 구현, 관측 처리, 메모리, 실행 제어를 묶은 하네스 코드를 진화시켜 정확도와 관측 비용을 동시에 관리할 수 있다는 것이다. 다만 저자들이 밝힌 전제를 확인해야 한다. 보고된 절감은 시각 프레임 기준이며 총 모델 연산량이 아니고, 진화는 오프라인에서 수행되고 선택된 하네스는 동결해 새 질문에 쓴다. 선택 세트와 문항별 게이트 결과는 비공개이며 Editor는 집계 피드백만 받는다. 또한 선택 세트에서의 개선이 평가 시점에 항상 전이되지는 않는다는 점을 MLVU 궤적으로 스스로 보여준다.