쉬운 멀티모달 질문을 장기 검색 과제로 확장해 에이전트를 훈련한다

무엇인가

멀티모달 딥서치 에이전트는 지식 집약적 시각 질문을 추론과 외부 검색의 교차로 해결하는 방향으로 발전해 왔고, 최근에는 웹페이지를 넘나들며 획득한 시각 관찰로 다음 검색을 이끄는 장기 조사(long-horizon)로 이동하고 있다. 이 논문이 지적하는 훈련 병목은 두 가지다. 기존 멀티모달 데이터셋에는 파라메트릭 지식이나 짧은 검색만으로 풀리는 질문이 많고, 그래프 합성과 시각 자료 보강으로 더 어려운 질문을 새로 만들려면 관계 수집, 이미지 큐레이션, 증거 검증 비용이 든다. 또한 유용한 장기 조사도 중복 검증, 조기 중단, 오답으로 끝날 수 있는데 종료 시점 보상만으로는 중간 결정에 대한 피드백이 부족하고, 궤적 단위 어드밴티지는 롤아웃 전체에 하나의 스칼라 신호만 준다.

어떻게 동작하나

제안 방법의 앞단은 Refine 파이프라인이다. LiveVQA와 FVQA의 전체 훈련 분할에서 데이터 생성 모델이 도구 없이 정답을 맞힌 질문을 seed로 남기고, 그 성공적인 사고 사슬을 후보 추론 경로로 쓴다. BuildLink가 seed에서 엔티티 체인 C0=(E0,…,ET)를 추출해 자유 형식 추론 잡음을 제거하고, Expand는 각 전이를 웹 증거로 검증한 뒤 유효하지 않은 체인을 버리고 증거가 뒷받침되는 홉을 정확히 L개 덧붙인다. 이때 원래 정답 ET는 중간 결과가 되고 ET+L이 새 정답 목표가 되어, 해결자는 seed의 답을 넘어 계속 검색해야 한다. Blur는 M개의 내부 노드를 골라 각 노드에 서로 다른 출처 기반 사실 W개를 붙여, 질문 합성 단계에서 명시적 엔티티 이름을 간접적이고 검색 가능한 단서로 바꾼다. Visualize는 말단 노드에서 뒤로 N개 노드를 골라 노드당 P_i≤P개의 검색된 이미지와 이미지당 Q개의 과제 관련 시각 사실을 붙인다. 이렇게 만든 정제 체인을 먼저 명시적 이름으로 질문 초안을 쓰고, Blur·Visualize 대상 노드의 이름을 설명으로 치환하는 2단계 합성으로 최종 질문을 만든다. 여섯 파라미터 (L,M,W,N,P,Q)가 추가 증거 요구량을 통제한다.

무엇과 다른가

난이도는 지정된 추론 경로를 따라 새로 필요한 최소 증거 항목 수로 정량화한다. 정제된 난이도 D_Refined는 원래 체인의 D_init에 Expand가 추가한 홉, Blur가 붙인 사실, Visualize가 요구하는 이미지 검색·검증·판독 비용을 각각 더한 값이다. 품질 관리는 입력 이미지부터 질문을 따라가며 해결 가능성과 정답 유일성을 확인하고, 체인 일관성·증거 출처·이미지-텍스트 정렬·지정된 Blur/Visualize 증거의 실제 사용을 점검한다. 도구 없이 바로 답하는 probe에 정답을 맞히는 질문은 버리고, 전문가 모델이 훈련용 검색·비전 인터페이스로 질문당 k회 롤아웃을 수행해 Pass@k로 난이도를 측정한다. 성공 궤적은 SFT 시연으로 보관하되 Pass@k 수준에 걸쳐 샘플링해 쉬운 질문이 감독을 독점하지 않게 한다.

어떻게 쓰나

훈련은 큐레이션된 질문을 SFT 서브셋과 더 어려운 RL 서브셋으로 나눈다. 큰 모델(Qwen3.5-27B)을 두 서브셋의 성공 궤적으로 파인튜닝해 교사 π_T로 동결하고, 학생(Qwen3.5-9B)은 첫 서브셋에 SFT로 초기화한 뒤 두 번째 서브셋에서 RL과 OPD로 공동 최적화한다. 보상은 정답 점수 c_i에 비효율적 도구 사용과 반복 검색을 벌하는 H_i≤0을 더한 R_i=c_i+H_i이고, GRPO 방식으로 그룹 중심 어드밴티지를 만든다. 교사 지도는 학생 자신의 궤적 위에서 토큰 단위로 이뤄지는데, c_i<1이고 교사 점수가 유효한 궤적에만 g_i=1을 주고, 강도는 ω_i=[1−R_i]_+로 조절한다. 토큰 피드백은 교사·학생 로그 확률비를 ±c_opd로 클리핑한 Δ에 stop-gradient를 적용한 형태다. 전체 손실은 L_RL + λ_s·L_OPD + β·L_KL이며 β=0.01, λ_s는 0.05에서 시작해 10 RL 스텝마다 100배씩 지수 감쇠해 훈련이 진행될수록 교사 의존을 줄인다.

전제와 한계

실험은 MMSearch, LiveVQA, BrowseComp-VL, MM-BrowseComp, MMSearch-Plus, BrowseComp-V3, VisBrowse-Bench 등 7개 주요 벤치마크에서 이뤄졌고, Qwen3.6-35B-A3B 판정 모델로 정답 여부를 3회 판정해 평균하며 평가 질문당 최대 50 상호작용 턴을 허용한다. MMSearch-OPD-9B는 평균 60.2 정확도로 같은 Qwen3.5-9B 에이전트 워크플로 대비 15.3점, DeepVoyager-VL-8B 대비 평균 9.6점 높았고, 비교한 7B~9B 검색 에이전트 중 7개 벤치마크 모두에서 최고 정확도를 기록했다. 27B SFT 교사는 63.2로 자기 에이전트 워크플로 기준보다 6.5점 높았고, 훈련된 9B 학생은 튜닝되지 않은 27B 워크플로보다도 평균 3.5점 앞선다. 장기 조사 비중이 큰 MM-BrowseComp·MMSearch-Plus·BrowseComp-V3·VisBrowse-Bench에서는 같은 9B 워크플로 대비 평균 17.2점이 올랐다.

SFT 이후 공동 훈련의 효과도 수치로 제시된다. 9B SFT 체크포인트가 평균을 44.9에서 57.9로 올리고, 이어지는 RL·OPD 공동 훈련이 60.2까지 끌어올려 모든 벤치마크에서 개선되며 평균 2.3점을 더한다. 데이터 정제 ablation에서는 같은 seed를 정제한 질문과 원본 질문에 동일 초기화·SFT 설정·훈련 예산을 적용했을 때 SimpleVQA, FVQA, VDR, BrowseComp-V3 네 곳 모두 개선됐고, 장기 브라우징과 텍스트·시각 증거 교차가 필요한 BrowseComp-V3에서 +15.0점, VDR +6.8점, SimpleVQA +6.3점, FVQA +2.0점이었다. 궤적당 평균 도구 호출은 6.61에서 33.71로, ImageSearch 호출은 0.38에서 4.88로, FetchImage 호출은 0.51에서 3.47로 늘어 검색이 길어지고 시각 증거 획득이 늘었음을 보여준다.

Refine 단계별 ablation은 같은 100개 seed 질문에 Expand, Blur, Visualize를 순차 적용한 결과다. 정확도는 79%에서 65%, 44%, 33%로 단계마다 떨어졌고, Expand는 상호작용 길이를 거의 늘리지 않으면서 정확도를 낮췄으며, Blur는 평균 턴을 10.2에서 15.1로 늘렸고, Visualize는 턴을 20.2, 질문당 도구 호출을 34.7까지 올리면서 ImageSearch와 FetchImage의 도구 행동 비중을 6.3%에서 47.5%로 끌어올렸다. RL 훈련 중에는 행동 벌점 적용 전 평균 정답 보상이 19 스텝에 걸쳐 0.347에서 0.587로 상승했고, 검색 궤적은 처음 길어졌다가 다시 줄어 6~13 스텝과 14~19 스텝을 비교하면 평균 도구 호출이 26.0에서 21.3으로 18.3%, 생성 응답 길이가 29.0k에서 23.4k 토큰으로 19.5% 감소했는데 평균 정답 보상은 0.525 대 0.544로 비슷했다.

실무에서는 기존 이미지-질문 쌍을 버리지 않고 검색 요구량만 조절해 훈련 난이도를 올리는 데이터 재활용 전략, 그리고 결과 보상이 희박한 장기 검색 과제에서 교사 토큰 지도를 보상 격차로 가중하고 점차 감쇠시키는 훈련 스케줄을 참고할 만하다. 다만 저자들이 밝힌 한계도 함께 봐야 한다. Refine은 지정된 추론 경로의 증거 요구량을 늘릴 뿐, 파라메트릭 지식이나 대안 웹 증거를 통한 지름길을 필터링으로 모두 배제하지는 못한다. 훈련은 교사와 정답 판정 모델의 품질에 의존하므로 잡음 섞인 지도가 들어올 수 있고, 오픈 웹 검색은 콘텐츠 변화와 도구 가용성에 좌우되어 재현성이 제한된다.