CycleGRPO가 영역과 텍스트를 왕복시켜 캡셔닝과 로컬라이제이션을 함께 학습한다
Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
무엇인가
이 논문이 푸는 문제는 세밀한 멀티모달 이해의 두 방향이 따로 학습된다는 점이다. 하나는 지정된 영역(마스크·박스·비디오 구간)을 보고 그 내용을 설명하는 영역 이해이고, 다른 하나는 자연어를 다시 영역으로 매핑하는 로컬라이제이션이다. 기존 방법은 전자를 비싼 텍스트 주석으로, 후자를 기하학적 정답으로 각각 최적화한다. 두 신호는 같은 대응 관계를 서술하지만 서로를 제약하지 않아서, 유창한 캡션이라도 원본 영역을 유일하게 지목하지 못할 수 있고 강한 로컬라이저도 자신이 소비하는 캡션을 개선할 신호를 주지 못한다. 특히 같은 행동이 반복되는 비디오에서는 그럴듯하지만 어느 발생인지 특정하지 못하는 캡션이 흔하다.
어떻게 동작하나
제안 방법은 영역 공간을 추상화한 왕복 루프다. 영역 R이 주어지면 같은 자기회귀 정책 πθ가 먼저 설명 후보 C를 N개 샘플링하고, 각 후보마다 K개의 로컬라이제이션 롤아웃으로 예측 영역 R̂을 만든다. 두 영역의 일치도 SΩ(R, R̂)가 검증 가능한 보상이 되고, 후보별 평균 s̄ᵢ가 캡션 보상(α·s̄ᵢ + 누출·반복 등 참조 없는 유효성 항)이 되며, 각 로컬라이제이션 궤적은 자신의 sᵢ,k로 보상을 받는다. K개를 평균하는 이유는 단일 디코딩이 여러 모드 중 하나를 고를 수 있어서, 평균이 그 설명이 원본 영역을 얼마나 안정적으로 되찾는지 추정하기 때문이다. 이점은 두 단계에 서로 다른 그룹 정규화로 적용되고(캡션은 N개 그룹, 로컬라이제이션은 같은 부모 캡션 아래 K개 그룹), 클리핑된 GRPO 목적식과 KL 정규화를 거쳐 λcap·Jcap + λloc·Jloc로 한 번에 업데이트된다. 즉 로컬라이저는 고정된 채점 모듈이 아니라 함께 최적화되면서, 그 집계 정확도가 캡션 쪽의 참조 없는 보상으로 되돌아간다. 좌표 복사를 막기 위해 시간 도메인에서는 캡션 내 명시적 타임스탬프를 벌점 처리하고 로컬라이제이션 프롬프트 구성 전에 제거한다. 영역 표현만 바꾸면 같은 원리가 적용된다. 공간은 SAMTok의 마스크 토큰과 토큰 일치 대리 지표, 시간은 구간 병합 후의 temporal IoU, 시공간은 (타임스탬프, 박스) 앵커 집합에 3초 허용 오차를 둔 일대일 매칭 기반 IoU를 쓴다.
무엇과 다른가
실험은 세 영역 공간 전부에서 이뤄졌다. 공간에서는 SAMTok 기준 GroundingSuite 전체 gIoU가 57.5%에서 68.2%로, GRES 평균 gIoU가 71.2%에서 78.7%(cIoU 70.2→74.4%)로 올랐고, 타깃이 없는 경우의 정확도가 평균 58.7%에서 92.5%로 뛰었다. DLC-Bench 정확도는 61.9%에서 67.8%, 검증 CIDEr/mIoU/Recall은 48.2/69.4/46.6에서 54.3/70.2/50.2로, 테스트는 51.4/68.4/48.3에서 53.7/69.2/49.8로 함께 개선됐다. 마스크 토큰 대신 연속 박스 좌표로 바꿔도 Qwen2.5-VL-3B의 GroundingSuite 정확도가 69.0%에서 69.9%, Qwen3-VL-4B·8B가 71.4%에서 74.1%로 올라 표현에 종속되지 않음을 보였다. 시간 도메인에서 Qwen3-VL-4B-Instruct 초기화는 Charades tIoU 45.6→51.9%, [email protected]/0.5/0.7이 67.1/47.5/24.1%에서 74.8/58.6/30.7%로 개선됐고 12개 항목 중 10개가 좋아졌다. 과제 특화 OMTG-4B(RL) 초기화에서는 12개 중 11개가 개선되어 Charades 50.5→51.8%, ActivityNet 46.8→49.0%, QVHighlights 62.2→64.5%였다. 새 벤치마크 DOVE에서는 TEC가 14.8%에서 33.3%로, temporal coverage 14.7→33.4%, clip completeness 5.5→14.6%로 올랐고, 같은 질의의 반복 구간과 혼동하는 비율(N/M)이 75.1%에서 50.7%로 줄었다. 이는 Open-o3-Video-4B(RL)의 13.6% TEC와 GPT-5.6-sol의 17.3%를 웃도는 값이다. 시공간에서는 Open-o3-Video-4B(RL) 대비 V-STaR mAM/mLGM이 34.6/47.2%에서 36.2/49.8%로, TVGBench mIoU가 21.1%에서 28.5%로 올랐고, VideoMME 61.0→62.3%, WorldSense 39.3→40.2%, VideoMMMU 58.0→59.7%로 일반 비디오 이해 능력도 유지·개선됐다(보고된 열 평균 49.1→51.1%). 절제 실험에서는 캡션만 또는 로컬라이제이션만 최적화한 변형이 Charades tIoU 49.0%/51.2%, DOVE TEC 17.0%/29.4%에 그친 반면, 완전한 왕복 목적식이 51.9%와 33.3%로 가장 좋았다.
어떻게 쓰나
개발자 관점에서 이 방법의 핵심은 학습 데이터 요구사항이 (영상/이미지, 영역) 쌍뿐이라는 점이다. 참조 캡션도, 별도 LLM 심사자도, 학습된 리워드 모델도 강화학습 루프 안에 들어가지 않는다. 세그멘테이션 마스크나 구간 타임스탬프 주석은 이미 갖고 있지만 캡션은 없는 상황에서, 캡셔닝과 그라운딩을 한 번에 끌어올리는 파인튜닝 레시피로 쓸 수 있다. 다만 정책이 두 매핑을 어느 정도 수행할 수 있어야 하고, 중첩 롤아웃(N×K)이 단방향 GRPO보다 비싸다는 비용을 감수해야 한다.
전제와 한계
저자들이 밝힌 한계는 명확하다. 재구성 가능성은 캡션의 완전성·유창성·사실성을 보장하지 않는다. 좌표나 타임스탬프 누출 같은 노골적 지름길은 유효성 규칙으로 억제하지만 모든 암묵적 지름길을 열거할 수는 없다. 또한 초기 정책의 로컬라이제이션이 불안정하면 캡션 쪽이 잡음 섞인 학습 신호를 받게 되며, 이것이 초기화와 타깃 도메인에 따라 이득 편차가 생기는 이유다. Qwen 초기화 실험에서 QVHighlights는 일부 지표가 소폭 하락하는 등 데이터 분포 의존성이 남는다. DOVE 역시 시각적으로 구분 가능한 이벤트를 대상으로 하며, 오디오 의존 증거나 이벤트 경계 발견은 아직 다루지 않는다.