스케치에 '만약에'를 물으면 물리 제약으로 움직임을 계산한다

무엇인가

스케치-투-비디오 생성은 스케치로 장면 구조를 고정하고 텍스트로 움직임을 지정하는 문제다. 기존 연구는 장면 분해, 객체 인식 모션 플래닝, 궤적 최적화로 시각적 일관성을 끌어올렸지만(FlipSketch, Live-Sketch, GroupSketch, MoSketch 등), 애니메이션 도중 지지(support)·접촉(contact)·충돌(collision) 같은 물리 관계가 어떻게 변하는지는 거의 다루지 않았다. 장면 조건을 고정된 제약으로 취급하기 때문에 "테이블을 치우면 공이 떨어진다"처럼 조건 자체를 바꾸는 가상 개입(hypothetical intervention)과 그 후속 물리적 결과를 추론하지 못한다. 이 논문이 푸는 문제가 바로 이것이다. 스케치 한 장과 자연어 "What if...?" 질문을 입력으로 받아, 개입이 물리 관계를 어떻게 뒤흔들고 어떤 운동을 촉발하는지 계산해 물리적으로 그럴듯한 스케치 애니메이션을 만든다.

어떻게 동작하나

문제는 (S, p_cf) → V_cf로 형식화된다. 스케치 S를 객체 집합 O와 물리 관계 R로 이루어진 장면 그래프 G_S=(O,R)로 표현하고, 프롬프트에서 개입 Δ, 보존 제약 P, 영향받는 객체 A를 뽑아낸다. 개입을 적용하면 반사실 장면 그래프 G_cf = F(G_S, Δ, P)가 만들어지고, 여기서 물리 이벤트 체인 {e_t} = Reason(G_cf, A)를 추론한 뒤, 롤아웃 τ = Rollout(G_cf, {e_t})으로 궤적을 얻고 마지막에 Render(S, τ)로 영상을 합성한다. 즉 인과 추론과 궤적 계획을 시각 합성에서 분리한 것이 핵심 설계다.

무엇과 다른가

파이프라인은 다섯 단계다. 먼저 스케치 장면 그라운딩에서 VLM이 후보 객체를 식별하고 공간 범위를 추정하며 지지·접촉·부착·포함·상대 위치 같은 정성적 관계를 추론한다. 이 의미 예측을 벡터 스트로크에 정합시켜 각 스트로크를 해당 객체에 귀속시키고, 객체 소속이 불확실한 스트로크는 기하학적단서·공간 근접성·연결 요소로 배정한다. 각 객체는 다각형 또는 윤곽 기반 기하, 중심점, 바운드, 운동에 관련된 물리 속성으로 표현되고 장면 그래프 G_S=(O,R)로 정리된다. 다음으로 물리 기반 반사실 이벤트 체인 추론에서 개입 파서가 객체·기하·관계 변경을 담은 Δ를 추출해 벡터 스트로크에 적용하고, 지지 상실·새 접촉·충돌 경계 제거 같은 즉각적 효과를 장면 그래프에 반영한다. 수정된 그래프로부터 중력, 접촉, 충돌, 구름(rolling), 경사면 운동, 도르래 제약이 연쇄하는 이벤트를 추론하는데, 각 이벤트는 e_t = (A_t, a_t, C_t, G_t), 즉 영향 객체·이벤트 유형·물리 조건·갱신된 장면 그래프로 표현된다.

어떻게 쓰나

세 번째 단계는 제약 컴파일과 물리 롤아웃이다. 각 이벤트를 일반화 좌표 q에 대한 기하·물리 제약 φ_k(q,t)=0으로 바꾸고, 시점 t에 활성인 제약 집합 C(t)를 구성한다. 여기에는 지지, 접촉, 비관통, 구름, 도르래 결합이 포함된다. 활성 제약 야코비안 J, 질량 행렬 M, 외력 f가 주어지면 제약 가속도 a를 KKT 형태의 선형 시스템으로 푼다. 이때 λ는 제약력, b는 시간 의존 제약 항이다. 접촉 전이는 부호 있는 기하 갭 d_ij(t)로 감지해 활성 제약 집합을 이벤트 체인이 진행되는 동안 갱신하고, 롤아웃은 연속 궤적 τ={(q_t, q̇_t)}를 낸다. 이어지는 검증·폐루프 복구 단계에서 기하·물리·의미 제약 위반을 검사하는데, 수치적 위반은 파라미터나 제약 조정으로, 의미적 위반은 국소 재계획으로 처리하며 위반을 줄이는 갱신만 채택한다. 검증기는 반사실 준수도 함께 확인한다. 개입이 실제로 일어나야 하고, 영향받는 객체는 그에 맞게 반응해야 하며, 영향받지 않는 객체는 인과적으로 영향받지 않는 한 그대로여야 한다는 조건이다. 마지막으로 검증된 궤적을 프레임별 이미지 공간 바운딩 박스로 투영해 정적 객체는 원위치에 두고 동적 객체는 시뮬레이션 경로를 따르게 함으로써, 다운스트림 영상 생성기(MoSketch 백본)에 명시적 공간 가이드를 제공한다.

전제와 한계

실험은 새로 만든 CounterSketchBench에서 이뤄졌다. 20개 벡터 스케치 장면에 걸친 80개의 "What if...?" 질문으로, 기하·관계·운동학적 개입을 아우른다. 다운스트림 MoSketch 렌더러를 고정한 채 세 가지 구성을 비교했다. VLM이 반사실 장면 수정과 궤적 예측을 모두 하는 Direct VLM + Direct VLM, 구조화된 벡터 개입만 CounterSketch가 하고 궤적은 VLM이 직접 예측하는 CounterSketch + Direct VLM, 그리고 완전한 프레임워크인 CounterSketch + CounterSketch다. VLM 백본은 Gemini 3.8 Flash를 쓰고 프롬프트·객체 라벨·프레임 예산·바운딩 박스 궤적 포맷을 동일하게 맞췄다. 평가 지표는 VBench 계열에서 가져온 Text-to-Video 정합성, Sketch-to-Video 정합성, 모션 스무스니스, 동적 정도(Dynamic Degree)다. 결과는 물리 기반 롤아웃을 VLM 직접 예측으로 바꿨을 때 T2V 정합성이 0.2011에서 0.1729로, 동적 정도가 0.7750에서 0.7250으로 떨어졌다. 구조화된 장면 수정까지 제거하면 각각 0.1682와 0.5625로 더 낮아졌다. 반면 S2V 정합성과 모션 스무스니스는 큰 변화가 없었는데, 해당 지표의 구체적 수치는 본문에 제시되지 않았다. 정성 결과에서는 테이블 제거 시 공이 떨어지고, 끈에서 물체를 떼어내면 운동이 달라지는 등 개입의 물리적 귀결이 키프레임에 반영됨을 보였다.

개발자 관점에서 이 논문의 쓸모는 "생성 모델에게 운동을 말로 시키지 말고, 운동을 계산해서 조건으로 넣는다"는 분업 구조에 있다. VLM은 장면 의미와 개입 해석에만 쓰고, 실제 궤적은 지지·접촉·비관통·구름·도르래 제약을 명시적으로 푼 시뮬레이션에서 얻은 뒤, 이를 이미지 공간 바운딩 박스라는 생성 모델이 이해하는 형태로 변환한다. 덕분에 왜 그런 움직임이 나왔는지 검증·디버깅이 가능하고, 반사실 준수(개입은 일어났는가, 무관한 객체는 가만히 있는가)를 자동 검사 항목으로 삼을 수 있다. 스케치 기반 애니메이션 도구나 교육용 시뮬레이션, 물리 일관성이 중요한 콘텐츠 생성 파이프라인을 만든다면 이 분리 구조와 검증 루프를 그대로 참고할 만하다. 다만 최종 화질은 여전히 다운스트림 영상 생성기의 조건화 능력에 좌우되므로, 궤적 guidance를 얼마나 잘 따르는지 백본별로 먼저 측정해야 한다.

저자들이 밝힌 한계는 분명하다. 우선 스케치 그라운딩에 의존하기 때문에 모호한 그림은 서로 다른 장면 해석을 낳을 수 있다. 질량·마찰·탄성 같은 잠재 물리 속성은 스케치만으로 추론하기 어렵다. 객체 상호작용이 복잡해질수록 추론 비용이 커지고, 실제 성능은 영상 생성기의 조건화 성능에 종속된다. 향후 과제로는 멀티모달 사전지식에서 잠재 물리 속성을 추론하는 것과 비강체(non-rigid) 운동으로 프레임워크를 확장하는 것을 제시했다.