영상 편집 에이전트에서 세밀한 크레딧 할당의 효과와 부작용을 가른다
When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing
무엇인가
이 논문은 멀티모달 에이전트 강화학습에서 세밀한 크레딧 할당이 언제 학습을 돕고 언제 해치는지를 영화 예고편 편집으로 실험한다. 영상 편집은 이미지·오디오·도구 출력을 읽고 여러 턴에 걸쳐 계획하고 도구를 호출한 뒤 마지막 산출물에만 지연 보상을 받는 문제라, 궤적·턴·토큰 수준 신호의 차이를 같은 조건에서 비교하기 좋은 테스트베드다. 저자들은 최종 영상 품질이 주관적이고 보상은 커밋 이후에만 주어져 개별 행동의 기여를 알기 어렵다는 점을 핵심 문제로 둔다.
어떻게 동작하나
실험은 실제 영화 49편과 공개 예고편에서 2,352개 과제를 만들고 Gemini 3.8 Flash로 필터링해 797개를 샘플링했다. 716개는 43편의 학습, 81개는 학습에 없는 6편의 검증에 쓴다. 과제는 인간 편집자의 작업 순서를 따라 콘텐츠 선택(CS), 내러티브 시퀀싱(NS), 러프 컷(RC), 파인 컷(FC) 네 유형이며 기준 점수는 0.152~0.657, 평균 상호작용 길이는 15.3~87.2턴이다. 채점은 결정론적 검증기, 참조 답안을 주는 멀티모달 LLM 심사, 참조 없이 작품 자체의 완성도를 묻는 블라인드 심사를 가중 합산한다. 심사는 Gemini 3.1 Pro가 맡고 프로세스 보상은 다른 모델이 낸다. CS는 선택 샷 집합의 F1, NS는 참조 순서 일치도, RC는 컷 포인트 유사도와 두 심사, FC는 두 심사로 사운드·전환을 본다. 에이전트는 새 워크스페이스에서 셸과 8개 미디어 도구를 쓰고 OpenCode 하네스에서 실행되며, 이미지를 대화에 넣기 전 등록하는 플러그인을 둔다.
무엇과 다른가
비교는 Qwen3.5-9B를 50 업데이트 학습하는 네 가지 방식이다. 궤적 수준은 outcome-only GRPO로, 과제마다 G개 롤아웃의 최종 점수 o_i를 그룹 평균·표준편차로 정규화한 A_i^out=(o_i-mu_o)/(sigma_o+eps)를 모든 토큰에 똑같이 준다. 턴 수준은 Gemini 3.8 Flash 심사 3표를 평균한 턴별 프로세스 보상 r_i,t를 같은 턴 인덱스의 평균·표준편차로 정규화한 A_i,t^proc를 A_i,t=A_i^out+lambda A_i,t^proc로 더한다. 고정 lambda=0.5 방식과 20 업데이트까지 0.5를 유지한 뒤 20~30 업데이트에서 0으로 감쇠하는 방식을 비교한다. 토큰 수준은 OPSD로, 초기 정책을 고정 교사로 두고 학생이 보지 못하는 참조 답안 또는 턴별 제안을 특권 정보로 주어 학생 자신의 접두사에서 전방 KL(q||p)을 최소화하며 보상항은 쓰지 않는다.
어떻게 쓰나
검증 81개 과제를 네 번 평가한 avg@4에서 outcome-only GRPO는 전체 점수를 0.284에서 0.413으로 올렸다. FC는 0.050만 개선됐고 나머지 세 유형은 각각 0.15 이상 올랐다. 고정 프로세스 보상은 FC를 제외한 모든 유형에서 outcome-only보다 낮았고, 감쇠 방식은 고정 방식보다 모든 유형에서 좋아 전체 0.447로 가장 높았다. FC에서 outcome-only는 0.201, 고정은 0.239, 감쇠는 0.293이었다. 논문은 FC에서 outcome-only 대비 45.4% 상대 이득을 보고하며, 이는 outcome-only 기준 평균 60턴이 넘는 과제다. 반대로 평균 30~40턴인 나머지 세 유형에서는 outcome-only가 경쟁적이어서 감쇠 방식의 상대 이득이 최대 10.4%에 그쳤다. OPSD는 참조 답안을 줘도 0.277로 미학습 0.284와 비슷했고, 턴별 제안을 주면 0.044로 붕괴했다.
전제와 한계
고정 프로세스 보상의 실패는 완료율에서 분명하다. outcome-only에서 잘린 롤아웃이 0.3%였는데 고정 lambda에서는 44.1%로 늘었다. 턴별 프로세스 보상은 초반에 시각 검사, 추론, 자기수정을 늘리지만, 후반에는 프로세스 보상은 오르고 결과 보상은 업데이트 30 이후 하락한다. 모델이 증거를 모으려 도구를 계속 호출하면서 최종 산출물 커밋 전에 멈추는 해킹으로 해석된다. lambda를 20~30 업데이트에서 0으로 감쇠하면 잘린 롤아웃이 6.2%로 줄고 전체 점수는 0.334에서 0.447로 오른다. 앞 세 유형 평균은 0.568로 outcome-only 0.559와 비슷하고, FC에서는 미학습 대비 +0.141로 outcome-only의 +0.050보다 크다.
저자들은 FC에서 outcome-only 이득이 작은 이유를 롤아웃 내 좋은 턴과 나쁜 턴이 섞이는 정도로 설명한다. 미학습 모델 검증 롤아웃의 모든 턴을 Gemini 3.8 Flash로 긍정·중립·부정 판정하고 2 min(n+,n-)/(n++n-)로 섞임을 계산했더니 FC가 0.651로 다른 유형 0.297~0.390보다 높았다. 궤적 수준 이득은 한 롤아웃의 모든 턴에 같은 값을 주므로 긍정 턴과 부정 턴을 구분하지 못한다. 행동 분석에서는 outcome-only가 본 프레임 수를 32.2에서 84.2로 늘리면서 도구 호출과 추론 길이는 늘리지 않았고, 감쇠 방식은 고정 방식보다 도구 호출은 줄이면서 시각 검사와 긴 추론, 자기수정은 유지했다.
OPSD의 문제는 특권 정보 선택에 대한 민감도다. 참조 답안과 턴별 제안은 같은 손실, 같은 고정 교사, 같은 학생, 같은 하이퍼파라미터를 쓰지만 턴별 제안 쪽의 평균 전방 KL이 약 15배 컸고 평균 그래디언트 노름은 0.084에서 1.177로 커졌다. 참조 답안에서는 가장 큰 이탈을 보인 5% 턴이 전체 KL의 47.4%를 차지하지만 토큰의 17.9%에 불과해, 긴 궤적에서 유효 토큰 평균이 신호를 희석할 가능성이 제기된다. 다만 저자들은 KL이 교사 조언의 유용성이 아니라 불일치를 측정하며, 그래디언트 크기와 신호 희석 중 무엇이 실제 결과를 낳았는지는 아직 검증되지 않았다고 말한다.
개발자 관점에서 이 논문은 긴 멀티모달 에이전트 RL에서 보상 가중치를 고정하는 것이 위험할 수 있음을 보여준다. 프로세스 보상은 초반 도구 사용과 시각 검사를 유도하는 데 유용하지만, 긴 작업에서 완료율을 지키려면 결과 보상으로 전환하는 감쇠 스케줄과 커밋 전 중단·중복 도구 호출을 별도로 모니터링해야 한다. OPSD를 쓸 때는 특권 정보가 교사와 학생의 불일치를 얼마나 키우는지, 긴 궤적에서 토큰 평균이 신호를 희석하지 않는지 확인해야 한다. 저자들은 프로세스 보상 결론이 영화 예고편 편집에서 LLM 심사 턴 보상을 쓰는 GRPO+PRM에 한정되며 GiGPO나 Turn-PPO로의 확장은 미검증이라고 밝힌다. OPSD는 실패 패턴만 확인했고 교사 지도와 학습 안정성을 개선할 해법은 제시하지 못했다.