CoWorld Reasoner는 비디오 월드 모델을 도구로 삼아 시공간 추론을 수행한다

무엇인가

비전-언어 모델(VLM)은 이제 입력 이미지에 담긴 것만으로는 답할 수 없는 질문을 받는다. 물체가 어떻게 움직였는지, 어떤 행동이 이어졌는지, 시점이 바뀌면 장면이 어떻게 보이는지 같은 시공간 추론이다. 비디오 월드 모델(VWM)은 이런 상황에서 과제에 필요한 시각 콘텐츠를 생성해 추가 증거로 삼게 해주는 통합 상상 엔진으로 주목받아 왔다. 문제는 기존 방식이 VWM을 고정된 파이프라인에 묶어 쓴다는 점이다. 신규 시점 합성처럼 미리 정해둔 한 가지 상상 형태를 전제로 삼기 때문에, 추론 과제가 달라지면 같은 엔진을 유연하게 재활용하기 어렵다.

어떻게 동작하나

CoWorld Reasoner는 이 제약을 에이전트 구조로 푼다. VWM을 하나의 통합 시각 추론 엔진으로 두고, Video World Model-Driven Harness가 여러 시각 연산을 도구 형태로 노출한다. VLM은 이 도구들을 상황에 맞게 골라 쓴다.

무엇과 다른가

여기서 스킬(skill)이 판단을 이끈다. 스킬은 VLM이 상상을 할지 말지 결정하고, 어떤 연산을 고를지 정하고, 생성 요청을 어떻게 구성할지 만들고, 돌아온 시각 결과를 증거로 어떻게 해석할지 안내한다. 상상 자체를 고정 파이프라인이 아니라 VLM의 의사결정 대상으로 옮긴 셈이다.

어떻게 쓰나

두 번째 축은 VLM-VWM Harness Co-Evolution이다. 실행 피드백을 바탕으로 도구와 스킬, 실행 코드를 함께 고쳐 나간다. 중요한 전제는 두 모델의 가중치를 고정한 채로 이 진화를 수행한다는 점이다. 모델을 다시 학습시키지 않고 하네스 쪽만 적응시킨다.

전제와 한계

실험은 공간 지능, 시간·인과 추론, 지각 추론에 걸친 일곱 개 벤치마크에서 이뤄졌다. CoWorld Reasoner는 같은 VLM으로 직접 추론한 경우보다 나은 성능을 냈다. 가장 강한 변형은 일곱 벤치마크 전부에서 개선을 보였고, MMSI에서 상대 정확도 11.8%, ERQA에서 13.0% 향상을 기록했다. 또 같은 백본을 쓰는 다섯 개 evolving 베이스라인을 다섯 개 벤치마크에서 앞섰다.

개발자 입장에서 이 구조가 유용한 지점은 상상의 종류를 코드에 박아 넣지 않아도 된다는 것이다. 로봇 조작, 영상 이해, 시뮬레이션 기반 질의응답처럼 시점 변화나 동작 결과를 따져야 하는 파이프라인에서, VWM을 별도 도구로 붙이고 VLM이 호출 시점을 정하게 하는 설계를 참고할 수 있다. 다만 실제 도입 전에는 어떤 시각 연산이 도구로 노출되는지, 스킬이 어떤 기준으로 상상 여부를 판단하는지, 그리고 하네스 진화가 특정 벤치마크에 과하게 맞춰지지는 않는지 확인해야 한다.

초록이 명시적으로 밝힌 전제는 두 모델의 가중치를 고정한다는 것이다. 즉 성능 향상은 모델 자체의 능력이 아니라 도구·스킬·실행 코드의 개정에서 나오며, 그 진화는 실행 피드백에 의존한다. 따라서 VWM이 생성하는 시각 증거의 품질과 피드백 신호의 질이 결과를 좌우할 수 있고, 평가 범위도 일곱 개 벤치마크로 한정된다. 초록에는 이 외의 한계 진술은 제시되지 않는다.