영상 전이에서 3D 잠재 행동을 뽑아 로봇 정책 사전학습을 확장한다

무엇인가

이 논문은 로봇 조작용 비전-언어-행동 모델을 확장할 때 가장 큰 병목이 행동 라벨이 붙은 시연 데이터의 부족과 로봇 기종별 제어 공간의 불일치라고 본다. 로봇 시연은 수집 비용이 높고 관절 차원, 좌표계, 명령 의미가 기종마다 다르다. 반면 인간·웹·시뮬레이션 영상은 상호작용 장면을 넓게 담지만 대응하는 로봇 명령이 없다. 저자들은 영상의 관측 변화 자체를 공유 감독 신호로 쓰는 잠재 행동을 인터페이스로 제안한다. 기존 잠재 행동이 미래 관측 재구성에 의존하는 것과 달리, 시각 변화에는 카메라 움직임과 정적 외형 변화가 섞여 있어 이미지를 잘 복원하는 표현이 저수준 조작 행동 예측에 바로 유용하지 않을 수 있다고 지적한다. 그래서 기하학적 감독과 카메라 운동 분리를 핵심으로 둔다.

어떻게 동작하나

RynnLAM은 Depth-Anything-3를 기반으로 프레임 쌍을 608차원 잠재 행동 기술자로 인코딩한다. 구성은 8개의 국소 모션 토큰(8×64=512차원), 64차원 전역 행동 잠재, 32차원 카메라 잠재다. 인코더는 두 프레임의 백본 특징 사이에서 게이트된 시간차를 계산해 정적 외형을 억제하고, 학습된 리드아웃 토큰이 전역 전이를 요약하며 모션 쿼리가 대상 프레임 특징을 읽어 국소 모션 토큰을 만든다. 학습 목적은 다섯 항의 합이다. 정규화된 잔차 미래 특징 예측은 대상 특징의 절대값이 아니라 변화량을 예측하고, 모션 토큰 병목이 전체 대상 특징 맵을 그대로 복제하지 못하게 한다. 카메라 보정된 3D 흐름 감독은 추정 깊이, 카메라 자세, 기성 광학 흐름으로 만든 의사 라벨을 사용해 정적 영역의 동적 흐름이 0에 가까워지도록 한다. 흐름으로 워핑한 특징을 대상 특징에 더 가깝게 만드는 대조 항도 더한다. 카메라 자세 디코더는 카메라 잠재에는 6자유도 상대 자세를 맞추지만, 그래디언트 반전을 통해 행동 잠재에는 같은 디코더가 실패하도록 학습해 자기운동을 카메라 잠재로 우회시킨다. 손실 가중치는 λ_rec=λ_flow=λ_pose=5, λ_feat=3, λ_grl=2다. 전체 기술자는 카메라 잠재를 포함하므로 카메라 불변이라고 가정하지 않는다.

무엇과 다른가

데이터는 25개 영상 소스에서 약 30.1K시간, 16.63M 에피소드, 3.057B 프레임을 모은다. 4프레임 간격의 연속 프레임 쌍을 병렬 처리해 745.52M개의 잠재 행동을 오프라인으로 만든다. 정책 학습에는 C=6 잠재 행동 청크를 쓰고, 이 인덱스는 121.06M 샘플과 전역 배치 128 기준 에포크당 약 946K 옵티마이저 스텝에 해당한다. HowTo100M 한 소스가 전체 실제 로봇 소스보다 많은 에피소드를 제공하지만 인간 영상과 로봇 영상의 총 재생 시간은 비슷하다는 점도 언급한다. RynnVLA-Latent는 RynnBrain 비전-언어 백본과 좁은 행동 전문가를 결합한 Mixture-of-Transformers 구조다. VLM 접두부는 인과적이고 행동 접미부는 양방향으로 전체 접두부를 참조한다. 사전학습에서는 다중 뷰 관측과 언어로부터 잠재 행동 청크를 플로 매칭으로 예측한다. τ=1이 순수 노이즈, τ=0이 깨끗한 잠재이며 모델은 보간의 미분인 ε−z를 예측한다. 결측 뷰는 표준 카메라 슬롯에서 마스킹해 손실과 어텐션에서 제외한다. 사후학습에서는 같은 플로 매칭 목적을 대상 로봇의 행동 공간으로 재조준하고, 이때만 고유수용감각을 넣는다. 별도 행동 디코더를 두지 않고 사전학습된 리드아웃 트렁크를 유지한 채 대상 행동 차원으로 가는 얇은 새 투영을 붙이며, 사용하지 않는 차원은 마스킹하는 통합 행동 레이아웃을 쓴다.

어떻게 쓰나

표현 품질은 LARY의 동결 표현 프로브로 평가한다. 전체 기술자는 상대 행동 MSE 평균 0.38, 절대 행동 MSE 평균 0.27을 기록했다. 상대 MSE 평균은 DreamDojo 0.55, Moto 0.77, LAPA 0.93보다 낮았고, VLABench, RoboCOIN, AgiBotWorld-Beta에서 이점이 있었다. 다만 DreamDojo는 CALVIN 상대에서 0.35로 0.40보다 좋았고 Moto는 CALVIN 절대에서 가장 낮았다. 모든 데이터셋을 균일하게 압도하는 것은 아니다. 절제 실험에서 인코더를 동결하면 상대 0.52, 절대 0.37로 나빠졌다. 3D 흐름 감독을 빼면 상대 0.50, 절대 0.37이 됐고 네 데이터셋 모두에서 오차가 늘었다. 카메라 분기를 빼면 상대 0.47, GRL을 빼면 0.49였고 절대는 둘 다 0.32로 전체 0.27보다 나빠졌다. 모션 토큰 잔차 강제를 빼면 상대가 0.38에서 0.57로 가장 크게 악화됐고 절대도 0.37이 됐다. 저자들은 이 결과가 기하학적 흐름 감독과 카메라 분리, 잔차 병목이 제어 예측 가능한 표현에 기여한다는 증거라고 주장하되, 프로브가 3D 운동의 계량 정확도나 인과적 행동 식별성을 직접 측정하는 것은 아니라고 선을 긋는다.

전제와 한계

정책 성능은 시뮬레이션과 실기에서 보고된다. LIBERO 평균 성공률은 2B 98.3%, 4B 98.8%다. 4B는 표에 보고된 평균 중 가장 높고 Xiaomi-Robotics-0보다 0.1%p 높지만, 저자들은 이를 통계적 유의성의 증거가 아니라 보고 점수 차이로 해석해야 한다고 말한다. 2B는 Long에서 97.8%로 4B의 97.0%보다 높아 모델 크기가 모든 스위트를 개선하지는 않는다. LIBERO-Plus에서는 벤치마크별 추가 적응 없이 2B 82.9%, 4B 84.7%를 기록했고, 4B는 π0.5의 84.4%를 근소하게 앞서며 언어·조명·노이즈·레이아웃 교란에서 앞섰다. 그러나 카메라와 로봇 상태 교란은 π0.5가 더 좋았고 배경 교란은 StarVLA가 앞섰다. VLABench 다섯 트랙에서 4B는 평균 SR 51.9, PS 65.3, IS 70.0을 기록했고 교차 범주 SR은 48.0%로 π0.5의 38.2%보다 높았다. 반면 상식 PS·IS와 보지 못한 텍스처 PS는 π0.5가 근소하게 앞서거나 우세했다. 실기 여섯 과제에서는 4B가 비교 방법 중 관측된 최고 성공률을 모든 과제에서 냈다. π0.5 대비 Table-Cleaning은 25.71%에서 40.00%로, Steak-Serving은 40.00%에서 57.14%로 올랐다. 2B는 Table-Cleaning과 Plate-Retrieval에서는 개선됐지만 Plate-Placement와 Plate-Wiping에서는 π0.5에 뒤졌고 Steak-Serving에서는 GR00T-N1.7에 뒤졌다.

RoboTwin 2.0 Native에서 4B는 Clean 88.7%, Randomized 88.4%, 평균 88.6%를 기록했고 2B는 평균 87.6%였다. 이 프로토콜은 학습 중 무작위 시연을 포함하므로 무작위 장면으로의 제로샷 전이를 평가하는 것은 아니다. 여기서 원문 내 불일치가 있다. 결과 표와 초록은 4B 평균 88.6%로 비교 방법 중 최고라고 적지만, 결론에서는 RoboTwin 2.0 Native를 88.3%로 적고 RoboTwin 점수가 가장 강한 베이스라인보다 낮다고 서술한다. 인용할 때 표와 결론 중 어느 수치를 쓰는지 확인해야 한다. 약 1,000시간 하위 집합의 통제 비교에서는 RynnLAM 기반 사전학습이 LIBERO-Plus에서 공유 정규 행동 벡터 마스킹과 기종별 입출력 투영보다 높았다. 2B는 82.3% 대 80.5%/82.1%, 4B는 84.2% 대 83.5%/83.6%였다. 반대로 명시적 행동 정렬 변형은 LIBERO 성공률에서 더 높았다. RynnBrain 백본은 Qwen-VL보다 LIBERO-Plus에서 2B/4B 각각 3.5%p와 4.5%p 높았고, 표준 카메라 슬롯 제거는 0.4%p와 1.3%p, RynnLAM 기술자를 LAPA 목표로 교체하는 것은 2.1%p와 2.9%p 하락시켰다. 데이터 스케일링에서는 10%부터 100%까지 늘릴 때 2B와 4B 모두 전체 코퍼스에서 최고 성공률을 보였지만, 2B는 단조 증가한 반면 4B는 10%에서 30%로 갈 때 소폭 하락한 뒤 개선됐다.

개발자 관점에서 이 논문의 실무적 가치는 행동 라벨이 없는 이종 영상으로 VLA 백본과 행동 전문가를 먼저 학습하고, 대상 로봇의 소량 행동 라벨 데모로 출력 공간만 재조준하는 분업을 제시한다는 데 있다. 로봇 시연을 모으기 어려운 팀이라면 인간·웹·시뮬레이션 영상을 잠재 행동으로 라벨링해 사전학습 코퍼스로 쓰는 경로를 검토할 수 있다. 다만 깊이, 카메라 자세, 광학 흐름이 모두 추정 의사 라벨이므로 기하학적 감독이 계량적으로 정확한 3D 운동이나 완전한 카메라·조작 분리를 보장하지 않는다. 저자들도 동결 프로브가 예측 가능성을 측정할 뿐 인과적 행동 식별성을 증명하지 않고, 디코딩된 흐름은 질적 해석에 그친다고 밝힌다. 성능은 과제와 교란에 따라 달라지고, 배포에는 여전히 기종별 행동 라벨 시연이 필요하다. 현재 결과가 일반적인 스케일링 법칙을 확립하거나 사전학습 데이터량만을 최적화 노출 차이와 분리하지도 못한다. 따라서 실제 도입 전에는 대상 로봇의 카메라·상태 교란 견고성, 의사 라벨 파이프라인의 비용과 오차, 그리고 논문 내 RoboTwin 수치 불일치를 함께 확인하는 것이 안전하다.