WeVisCut은 9B 정책 하나로 내레이션을 장편 영상으로 완성한다

무엇인가

이 논문은 고정된 내레이션 대본을 장편 영상으로 만드는 문제를 다룬다. 샷 길이를 바꾸면 뒤 타임스탬프가 바뀌고, 부적합한 시각 자료 때문에 검색과 기획을 다시 해야 하는 식으로 기획·검색·음성 합성·타임라인 조립이 서로 얽혀 있다. 기존 에이전트 편집기는 범용 모델을 여러 단계 워크플로로 엮는 경우가 많아, 작고 과제에 맞춘 정책이 품질과 비용을 어떻게 맞바꾸는지 불명확했다. 게다가 완성 영상에는 도구 호출, 중간 산출물, 실패 기록이 남지 않아 실행 가능한 지도학습 데이터를 만들기 어렵다. WeVisCut은 상태를 가진 실행, 실행 가능한 감독, 정책 학습을 한데 연결하려 한다.

어떻게 동작하나

핵심 구조는 하나의 9B 정책이 오케스트레이터, 생성기, 비평가 역할을 나눠 맡는 것이다. 입력은 고정 대본, 화면비, 허용 길이, 선택적 소스 자산, 버전 관리된 도구 공간이고 출력은 타이핑된 샷 계획과 실행 궤적이다. 정책은 역할별 문맥(생산 상태, 최근 호출·반환 이력, 도구 스키마)을 받아 도구 선택과 인자, 구조화 콘텐츠, 검수·수리 요청을 만든다. 런타임은 도구 계약에 따라 스키마, 산출물 참조, 실행 전제조건을 검사하고 검증된 결과만 공유 생산 상태에 커밋한다. 거부된 호출은 무엇을 고치거나 만들어야 하는지 타입이 붙은 블로커로 돌아온다. 예를 들어 샷 렌더나 배경음악이 없으면 스티칭 요청은 실패하고, 오케스트레이터는 먼저 필요한 도구를 호출해야 한다. 이 방식으로 계획을 완료된 작업처럼 취급하지 않고 실행 증거에 결정을 묶는다.

무엇과 다른가

생산 상태는 전역 기록(내레이션 커버리지, 샷 순서, 타이밍)과 샷별 기록(자산, 오디오, 템플릿, 렌더, 미해결 이슈), 이벤트 추적을 유지한다. 계획된 내용과 실제 생산된 산출물을 구분하고, 초기 관찰에는 전체 상태를 주지만 이후 역할 문맥에는 최신 관찰, 상태 변화, 진행 요약, 관련 지역 기록만 넣어 매번 프로젝트 전체를 직렬화하지 않는다. 검수는 샷 기록·타이밍·렌더 상태의 구조적 점검과 스포트라이트 렌더에 대한 VLM 판정을 결합한다. 비평가는 영향을 받은 샷과 결함을 지목하고, 수리 도구는 유효한 결과를 보존한 채 관련 내용을 고치고 하류 산출물을 다시 검사한다. 예컨대 장식을 고쳐도 바뀌지 않은 내레이션 오디오를 다시 만들 필요는 없다. 수리 횟수에는 한도가 있지만, 한도를 소진해도 납품에 필요한 산출물 전제조건이 사라지지는 않는다. 최종 스티칭 전에는 샷 렌더, 내레이션 오디오, 배경음악을 확인하고 스티칭 후 비디오와 납품 명세를 검증한다. 유효한 최종 영상 없이 끝난 실행은 미완료로 기록되고 궤적은 진단용으로 남는다.

어떻게 쓰나

학습 데이터는 완성 영상에서 바로 얻을 수 없기 때문에 네 단계 파이프라인을 쓴다. 먼저 편집 역추적이 원본 영상에서 타임스탬프 내레이션, 샷 구조, 문장-샷 정렬을 복원해 각 샷이 무엇을 전달하고 얼마나 지속하며 어떤 제약을 만족해야 하는지 담은 스토리보드를 만든다. 이것은 원 편집자의 도구 호출을 복원한 것이 아니라 의도된 영상 구조다. 다음 검증된 재실행이 이 의도를 배포 환경과 같은 도구 계약으로 실행한다. 계획(기사 분할, 샷 계획, 자기 성찰), 자산 생산(시각 검색과 TTS, 스포트라이트 장식, 음악 검색, 심각도 순위), 타임라인 실행(판정 포함 합성, 최종 렌더, 스티칭)의 실제 도구 반환이 상태를 갱신한다. 스포트라이트 샷은 레이아웃·모션·스타일을 분리한 HyperFrames 템플릿을 쓰고, 정책은 원시 HTML/CSS/JS 대신 템플릿을 고르고 타입이 있는 슬롯을 채운다. 재실행 중 관찰-성찰-수리 단계가 구조적 점검과 VLM 판정으로 문제를 찾아 국소 수리를 하고 성공한 산출물을 보존한다. 마지막 궤적 물질화는 행동 전 상태, 도구 이름과 인자, 실제 반환, 생성 산출물, 품질 판정, 실패-수리 연결을 남기며 누락 인자나 깨진 참조, 잘못된 단계 순서, 실패한 납품 검사를 성공으로 덮지 않는다. 이렇게 3,750개 영상 프로젝트에서 134,771개 예제를 만들고, 원천 프로젝트 단위로 나눠 보류 프로젝트를 벤치마크로 쓴다. 오케스트레이터 예제는 도구 선택과 구조화 인자를, 생성기 예제는 스크립트 분절·샷 계획·검색 질의·템플릿 내용을, 비평가 예제는 실패 위치 파악·수리 요청·검증 결정을 감독한다.

전제와 한계

훈련은 Qwen3.5-9B 백본을 LoRA로 조정하는 3단계다. 1단계는 통합 SFT와 런타임 검증 RFT다. SFT 손실은 지시문과 도구 반환, 패딩을 마스킹하고 모델이 쓴 응답 토큰에만 걸린다. RFT는 학생이 스스로 실행하다 만난 첫 복구 가능 실패에서 오류 직전의 마지막 재실행 가능 상태로 되돌리고, 유효한 앞 단계는 유지한 채 교사가 남은 전체 시퀀스를 다시 생성한다. 학생 단독 성공과 교사 보조 수리는 런타임 검사와 개발 과제에서 고른 품질 임계값을 통과해야 훈련에 들어가며, 복구 불가 실패는 나중 롤아웃 샘플링을 위한 제한된 풀에 들어간다. 2단계 Guided-OPD는 교사와 학생이 같은 역할 문맥에서 출력을 번갈아 생성하게 한다. 업데이트 n에서 교사가 출력할 확률 β_n을 베르누이로 뽑고, 교사 출력에는 상위 K개 토큰으로 재정규화한 교사 분포에 대한 순방향 KL을, 학생 출력에는 자기 생성 접두사에 대한 역방향 KL을 적용한다. β_n을 1 미만에서 0까지 줄여 마지막에는 완전히 학생이 제어한다. 3단계 RCF-DAPO는 같은 역할과 생산 문맥 안에서만 후보 출력의 보상을 비교한다. 오케스트레이터 후보는 같은 상태에서 대안 행동을 실행하고 동결된 연속 정책, 같은 도구 레지스트리, 예산, 짝지은 난수 시드로 평가한다. 생성기는 스키마 유효성·요구사항 충족·내용 사용성을, 비평가는 진단·수리 유용성·검증과 불필요한 수리 감점을 보상으로 받는다. 보상은 문맥이 맞는 그룹 안에서 평균과 표준편차로 정규화해 상대 이점으로 바꾸고, 보상 분산이 부족한 그룹은 다시 샘플링한다.

실험은 보류 원천 프로젝트로 만든 100개 스크립트-투-비디오 과제에서 진행한다. 각 과제는 내레이션 대본, 소스 풀, 목표 길이, 화면비를 주고 모든 시스템에 같은 입력과 납품 제약을 준다. 정책 비교에서는 같은 지시문, 도구 스키마, 런타임, 렌더 예산 아래 Qwen3.5-9B, Qwen3.6-27B, Qwen3.6-35B-A3B, Qwen3.5-397B-A17B, Gemini 3.1 Pro, 고정된 Claude Opus 5 스냅샷을 비교한다. 평가 지표는 대본 내용 충실도(SCF), 시각-내레이션 의미 일치(VNSM), 타임라인 계획 실현(TPR), 장기 일관성(LHC), 종단 렌더 수율(ERY)이며 모두 0에서 100이고 높을수록 좋다. Overall Score는 다섯 지표 평균의 동일 가중 평균으로 설명적 요약에만 쓴다. WeVisCut은 Overall을 Qwen3.5-9B 초기화의 74.5에서 90.5로 16.0점 올렸고 다섯 지표 모두 개선했다. SCF는 18.6점, VNSM은 15.4점 올랐다. Qwen3.6-35B-A3B는 ERY를 9.0점 올렸지만 VNSM은 2.5점 잃어 납품 성공이 시각-내레이션 정렬을 보장하지 않음을 보여준다. WeVisCut은 Qwen3.5-397B-A17B와 Gemini 3.1 Pro보다 다섯 지표 평균이 모두 높다. Claude Opus 5와 비교하면 Overall 90.5 대 89.9로, 네 지표는 높고 VNSM은 약간 낮으며 어느 구성요소도 1.3점 이상 차이 나지 않는다. 성공 출력 1분당 생성 토큰은 2,377개로 Claude Opus 5의 78,763개의 약 33분의 1이고, 기반 정책의 11,883개보다도 줄었다.

각 시스템이 원래 도구와 오케스트레이션을 쓰는 종단 비교에서는 WeVisCut의 Overall이 90.5로 Crayotter 84.9, VideoAgent 82.5보다 높고 다섯 지표 평균 모두 앞선다. Crayotter 대비 SCF와 VNSM이 각각 6.8점 오르고 계획 실현, 장기 일관성, 렌더 수율도 높다. 성공 출력 1분당 비용은 2.1분(실행 시간)과 0.09달러로, Crayotter의 8.6분·0.97달러와 VideoAgent의 10.4분·0.58달러보다 낮다. 이 비용은 실패 시도와 각 시스템의 전체 네이티브 워크플로를 포함한 값이다. 훈련 단계를 누적하면 1단계 SFT가 ERY를 70.4에서 87.6으로 올려 납품 신뢰성에서 가장 큰 단계 개선을 냈고, RFT가 SFT 대비 SCF를 6.2점, TPR을 5.7점 올렸다. 2단계 Guided-OPD에서는 VNSM이 65.1에서 67.4로, ERY가 89.8에서 91.5로 올랐다. 3단계 RCF-DAPO는 SCF를 7.4점, VNSM을 7.2점 더 올려 Overall을 84.9에서 90.5로 끌어올렸다. 블라인드 인간 평가에서도 WeVisCut은 여섯 차원 모두 평균이 가장 높고 전체 선호는 4.56으로 Crayotter 3.48, VideoAgent 3.46보다 높았다. 내러티브 일관성에서 각각 1.23점, 1.28점 차로 가장 큰 이득이 났지만, 저자들은 이 기술 통계가 통계적 유의성을 확립하거나 개별 자동 지표를 검증하지는 않는다고 밝힌다.

개발자에게 이 논문의 실무적 가치는 고정 내레이션을 유지한 채 영상 자산 검색·합성·조립을 자동화할 때 참고할 설계에 있다. 여러 단계 에이전트를 느슨하게 잇기보다 공유 상태와 도구 계약, 타입이 붙은 블로커, 실패-수리 추적을 중심에 두고, 단일 정책을 역할별로 라우팅하는 방식은 실패 복구와 비용 통제가 중요한 파이프라인에 바로 적용해 볼 만하다. 완성 영상에서 편집 의도를 역추적해 검증된 재실행으로 실행 데이터를 만드는 네 단계 파이프라인도 이미 완성된 콘텐츠가 많은 조직에 현실적인 감독 수집법을 보여준다. 다만 과제 계약이 고정 대본과 고정 소스에 묶여 있고, 장면 템플릿은 HyperFrames로 제한되며, 더 넓은 편집 작업으로 확장하려면 템플릿 커버리지와 검색 견고성이 더 필요하다고 저자들이 밝힌다. 편집 역추적은 원 편집자의 실제 도구 호출이 아니라 의도된 구조를 복원한 것이고, 품질 경고와 납품에 필요한 산출물 누락은 별개 조건으로 다뤄진다. 인간 평가는 통계적 유의성을 주장하지 않으며, 자동 지표도 저자들이 새로 제안한 다섯 가지다. 원문에는 이 시스템을 다른 도메인에 바로 적용한 결과나 실제 상용 서비스에서의 장기 운영 비용은 제시되지 않았다.