UniAction이 네 가지 이질적 행동을 한 월드 모델로 통합한다

무엇인가

이 논문은 행동 조건화 월드 모델이 행동 타입별로 따로 만들어지는 문제를 다룬다. 힘, 카메라 이동, 손 자세, 로봇 자세처럼 행동은 의미와 시공간 구조가 크게 다르고, 행동 주석 데이터는 일반 비디오보다 규모가 작고 장면·상호작용 패턴이 좁다. 기존처럼 타입별 모델을 따로 학습하면 이 희소 데이터가 분절되고, 장면 구조·물체 속성·세계 동역학에 대한 공유 지식도 모델마다 고립된다. 행동 타입이 늘수록 이 방식은 확장 비용이 커진다.

어떻게 동작하나

핵심 관찰은 이질적 원형에도 모든 행동이 무엇인지와 어디서 언제 작동하는지를 전달한다는 것이다. UniAction은 행동 A를 희소한 행동 요소 집합 {(s_i, p_i)}로 표현한다. s_i는 이산적 의미 정체성이고, p_i=(t_i,y_i,x_i)는 비디오 시공간의 연속 좌표다. 의미 코드북 E가 각 정체성을 d차원 행동 토큰 a_i=E[s_i]로 매핑하며, 같은 정체성은 위치·시간이 달라도 같은 토큰을 재사용하고 차이는 좌표가 담당한다. 새 의미 정체성은 같은 어휘에 추가할 수 있다고 논문은 설명한다.

무엇과 다른가

구현은 Wan2.2 잠재 비디오 트랜스포머의 3D RoPE와 네이티브 self-attention을 재사용한다. 행동 토큰은 잠재 비디오 토큰 뒤에 이어 붙이고, 행동 좌표는 백본의 VAE 압축·토큰화를 거쳐 잠재 좌표 p_i^lat=g_B(p_i)로 변환한다. 이 좌표에 비디오 토큰과 같은 회전 위치 인코딩을 적용해 행동과 비디오가 동일한 위치 기하 안에서 상호작용하게 한다. 여기에 cardinality-calibrated attention을 더한다. 행동 토큰 수 N이 많으면 self-attention의 총 행동 질량이 N에 비례해 커지므로, 모든 행동 로짓에 log(N_ref/N)을 더해 총 질량을 N_ref 기준으로 맞춘다. 같은 오프셋이라 행동 토큰 간 상대 주의 관계는 유지된다.

어떻게 쓰나

네 행동 형태의 인스턴스화도 구체적이다. 손 자세는 관절 인덱스를 의미 정체성으로 두고, 프레임마다 보이는 관절 위치에 요소를 놓는다. 로봇 자세도 로봇 관절 인덱스와 보이는 관절 위치를 쓴다. 카메라 제어는 W/S/A/D/I/K/J/L의 여덟 명령을 의미 정체성으로 두며, 명령 자체에는 고유 공간 위치가 없으므로 프레임의 해당 방향에 고정된 표준 위치를 부여하고 활성 명령마다 현재 시간에 요소를 만든다. 힘은 하나의 순간 벡터이므로 같은 시점의 꼬리와 머리에 두 요소를 두고, 두 의미 정체성으로 역할을 구분하며 두 위치의 차이가 힘 벡터가 된다.

전제와 한계

실험은 GoalForce, SolarWM, EgoDex, DROID에서 각 10K 클립씩 총 40K 클립을 사용했고, 각 클립은 480×832 해상도의 81프레임이다. 백본은 Wan2.2-I2V-A14B의 high-noise expert에 LoRA를 적용했다. 비교는 VACE 스타일 시각 조건화(약 3.1B 학습 파라미터), 별도 인코더를 쓰는 cross-attention 토큰 조건화(약 640M), UniAction의 공유 action-branch LoRA(약 404M)다. 평가는 초기 프레임과 텍스트 프롬프트를 고정하고 행동만 바꾼 410개의 반사실 생성으로 행동 추종을 측정했으며, DIS optical flow, CoTracker3, ViPE 추정기와 LPIPS를 사용했다. 추가로 네 행동 형태에서 균등 샘플한 60개 사례를 100명이 1~5점으로 평가했다. 논문은 UniAction이 네 행동 모두에서 행동 추종이 가장 좋고 LPIPS가 가장 낮으며, 인간 평가에서도 모든 형태에서 행동 추종 점수가 가장 높고 시각 품질은 비슷하거나 더 좋았다고 보고한다. Cross-Attn은 로봇·손 자세처럼 공간 위치가 중요한 행동에서 특히 나빴고, VACE는 시각적으로 렌더링하기 자연스러운 행동에서는 경쟁력이 있었지만 힘과 카메라 제어에서 UniAction과 격차가 가장 컸다.

공동 학습의 효과도 별도로 검증한다. 행동별 전문가 베이스라인은 UniAction과 같은 아키텍처로 각 행동 데이터만 학습하되, 동일 샘플을 같은 횟수만큼 보게 했다. 네 전문가는 행동별로 하드 라우팅하는 4배 파라미터 모델과 같고, 총 연산량은 공동 학습 UniAction과 맞췄다. 그런데도 공동 학습 UniAction이 네 행동 모두에서 해당 전문가보다 행동 추종이 좋았고 LPIPS도 낮거나 비슷했다. 저자들은 한 행동만 배우는 전문가와 달리 공동 모델이 네 형태에서 장면 속성과 동역학을 함께 배워 서로 보완한다고 해석한다.

절제 실험은 두 설계의 필요성을 보여준다. 행동 좌표를 백본의 사전 학습 위치 기하에 두지 않고 cross-attention으로 주입하거나, 3D RoPE 대신 고정 sinusoidal APE 또는 학습된 APE를 쓰면 네 행동 모두 행동 추종이 낮아지고 손·로봇 자세에서는 거의 실패했다. 힘 데이터가 항상 t=0에만 적용된 학습 조건에서 t=8과 t=24로 시험했을 때 UniAction은 지정 시점부터 움직임을 시작했지만 학습된 APE는 거의 변하지 않았다. cardinality calibration을 제거하면 힘과 카메라 제어의 행동 추종이 뚜렷이 떨어졌고 자세 행동은 크게 영향받지 않았다. 이는 토큰 수가 많은 자세가 주의를 독식하고 토큰 수가 적은 힘·카메라가 억제되는 편향을 보정한 결과로 설명된다.

개발자 관점에서 이 논문은 여러 제어 신호를 하나의 비디오 월드 모델에 넣을 때 재사용할 만한 인터페이스를 제시한다. 행동을 의미 ID와 시공간 좌표로 분해하고, 백본이 이미 가진 위치 인코딩에 좌표를 매핑하며, 행동별 토큰 수 차이를 주의 질량 보정으로 다루는 방식은 로봇 학습·게임 월드 모델·영상 생성 제어에서 참고할 수 있다. 다만 저자는 별도의 한계 절을 두지 않았고, 원문에서 확인되는 전제는 각 행동이 이산 의미 정체성과 연속 좌표를 가진 희소 요소로 표현 가능해야 한다는 점이다. 카메라 명령에는 표준 위치를 수동으로 부여하고 힘은 두 요소로 인코딩하는 등 형태별 설계가 필요하며, 평가는 네 행동 형태와 40K 클립, 한 백본 계열에 한정된다. 새 행동 타입으로의 확장은 주장되지만 네 형태 밖에서 검증되지는 않았다.