RynnUnify가 영상 예측과 로봇 제어를 하나의 16B 모델로 묶는다

무엇인가

로봇 두뇌에는 세 가지가 동시에 필요하다. 물리 세계를 이해하고, 상호작용의 결과를 예측하고, 그 예측을 행동으로 옮겨야 한다. 기존 통합 멀티모달 모델(UMM)은 이해와 생성를 함께 학습해 성과를 냈지만, 긴 호라이즌에서는 장면 변화와 예측 오차가 누적되고, 정적인 시각 예측은 중간 동역학을 놓친다. 저자들은 이 간극을 구현형 이해와 시간적으로 일관된 영상 예측을 연결하는 교차 추론(interleaved reasoning)으로 메우자고 제안한다.

어떻게 동작하나

RynnUnify의 골격은 Cosmos3의 Mixture-of-Transformers다. 8B 자기회귀 추론기(reasoner)와 8B 확산 생성기(generator)가 별도 파라미터를 쓰되 joint attention으로 상호작용하며, 생성기가 추론기의 표현을 참조한다. 추론기는 과제 목표, 초기·현재 관측, 이전 서브태스크 이력을 입력받아 다음 실행 가능한 서브태스크와 그 시각적 전개에 대한 상세 설명, 예상 소요 시간을 함께 출력한다. 이 구조화된 텍스트 조건이 생성기의 입력이 되고, 생성된 클립의 마지막 프레임이 다음 추론 단계의 관측으로 갱신되면서 계획과 예측이 순환한다.

무엇과 다른가

영상 쪽은 공간 16배·시간 4배 압축의 인과적 비디오 VAE로 잠재를 만들고 패치화해 토큰으로 다룬다. 장기 계획의 핵심 장치는 cross-chunk scene memory다. 초기 관측 1장, 이전 이력에서 고른 키프레임 2장, 가장 최근 스텝의 참조 1장, 총 4장의 참조 프레임을 각각 독립 인코딩해 텍스트 조건 뒤·본 영상 토큰 앞에 이어 붙인다. 여기에 직전 청크의 꼬리를 본 영상 시퀀스 앞부분에 연속 접두사로 붙여 최근 동작 맥락을 보존한다. 생성 모드는 첫 프레임 고정(I2V), 첫·마지막 프레임 고정(FL2V), 이전 영상 꼬리에서 이어가는 cross-chunk continuation 세 가지이며, VAE 호환 형식인 4n+1 프레임 가변 길이와 3D rotary position encoding, 프레임레이트 변조를 유지한다. 디노이징 중 조건 잠재는 고정되고 예측 대상 위치만 손실에 기여하므로, 관측 입력과 자기 생성 입력을 같은 인터페이스로 처리하는 self-forcing이 가능하다.

어떻게 쓰나

확장은 두 갈래다. 에이전트 확장은 추론기에서 출발한 8B 에이전트를 최종 정답 피드백 기반 강화학습으로 추가 학습시켜, 직접 답할지 아니면 동결된 RynnUnify를 호출해 영상을 생성하고 그 결과를 해석해 답할지를 스스로 고르게 한다. World-Action 확장은 전체 UMM을 잠재 계획(latent planning)과 영상-행동 공동 학습으로 로봇 제어에 연결한다.

전제와 한계

데이터는 RynnBrain 사전학습 코퍼스의 10% 부분집합을 이해 능력의 토대로 삼는다. 일반 이미지·영상 이해, VQA, 시간 추론, 지시 수행에 더해 객체 이해·공간 추론·계수·자기중심 과제 이해 같은 구현형 인지, 그리고 객체·영역·어포던스 로컬라이제이션, 궤적 예측, 조작 계획 같은 공간 그라운딩 지도학습이 포함된다. 생성 학습은 장기 자기중심 활동, 로봇 조작, 구현형 추론 영상을 다루며, 장기 생성의 시각적 일관성과 견고성을 위해 scene memory와 self-forcing을 적용한다.

평가를 위해 저자들은 Rynn-VP와 Rynn-GEU를 새로 만든다. Rynn-VP는 긴 호라이즌에서 시각 계획이 과제 및 선행 동작과 일관되게 유지되는지를, Rynn-GEU는 동작·시점 변화 이후의 행동 결과·물리 변화·공간 관계처럼 입력에서 직접 관측되지 않는 상태에 대한 추론을 측정한다. Rynn-GEU는 영상 생성 없이 답하는 direct 설정과 예측 영상을 활용하는 generation-assisted 설정을 나눠 영상 예측의 기여 자체를 검증한다. 결과로 RynnUnify는 평가된 UMM 중 공개 벤치마크 평균 구현형 이해 점수가 가장 높았고, Rynn-VP 종합 점수는 Cosmos 3 Nano 대비 9.75점 올랐다. 에이전트 확장은 Rynn-GEU 평균을 direct 추론 대비 6.0점 개선했고, World-Action 확장은 선별된 복합 RoboCasa365 과제 20개에서 51.5% 성공률, 실제 로봇 3개 과제에서 평균 46.7% 성공률을 기록했다. Astribot S1 실험에서는 몸체 재정렬, 정밀 물체 조작, 이력 의존 실행을 포함한 다단계 조작이 동작함을 보였다.

개발자 관점에서 이 논문의 실용적 요지는 영상 생성기를 정책의 세계 모델로 재활용하는 설계도다. 별도 메모리 인코더나 추가 cross-attention 없이 참조 프레임 토큰을 생성 시퀀스에 이어 붙이는 방식, 마지막 프레임을 다음 관측으로 되먹이는 롤아웃, 조건 잠재를 고정하고 예측 위치만 손실에 넣는 학습 규약은 그대로 참고할 만하다. 다만 실제 도입 전에는 (1) 자체 생성 영상이 학습 분포를 벗어날 때의 드리프트, (2) 4프레임 참조로 커버되지 않는 장면 재등장 상황, (3) RoboCasa365 20개 과제가 '선별'되었다는 점에서의 일반화 편향을 확인해야 한다.

저자들이 명시한 전제와 한계도 분명하다. 긴 호라이즌에서는 장면 변화와 예측 오차가 누적되는 것이 구조적 난점이며, 정적 시각 예측은 중간 동역학을 놓칠 수 있다는 것이 방법 설계의 출발점이다. 즉 성능은 생성된 영상의 품질과 일관성에 의존하고, World-Action 확장의 수치는 선별된 20개 복합 과제와 실제 로봇 3개 과제라는 제한된 표본에 근거한다. 또한 Rynn-VP와 Rynn-GEU는 저자들이 직접 제안한 벤치마크여서 외부 모델과의 비교 가능성은 별도 검증이 필요하다. 본문 앞부분에는 과제별 세부 성능표가 포함되어 있지 않아, 위에 인용한 수치 이상의 세부 breakdown은 이 텍스트만으로 확인할 수 없다.