Ψ-0.6이 시각·기하·언어 추론을 하나의 토큰 흐름으로 묶는다

무엇인가

이 논문이 다루는 문제는 물리 세계 추론에 필요한 지각, 언어, 기하, 시뮬레이션 능력이 각각 별도 모델로 분리되어 있어 하나의 추론 과정 안에서 유연하게 조합하거나 과제 피드백으로 함께 최적화하기 어렵다는 점이다. 저자들은 인간이 가구를 조립할 때 설명을 읽고, 시점을 바꾸고, 머릿속으로 패널을 회전해 보는 것처럼 통합적이고 조합적이며 적응적인 추론을 AI에서 구현하려 한다. 핵심 질문은 AI가 물리 세계 문제를 풀기 위해 어떤 표현이 유용한지 스스로 학습할 수 있는가이다.

어떻게 동작하나

Ψ-0.6은 8B 파라미터 자기회귀 트랜스포머 하나에 이미지, 텍스트, 카메라 포즈, 깊이, 광학 흐름, 점 추적을 모두 토큰으로 직렬화해 넣는다. 하나의 어휘와 하나의 트랜스포머로 지각, 설명, 시뮬레이션을 서로 다른 조건부 예측으로 처리하는 구조다. any-to-any 프롬프팅에서는 모든 과제를 토큰 순서로 표현한다. 예를 들어 RGB0와 C0→1로 RGB1을 생성하거나, RGB0와 RGB1로 C0→1을 추정할 수 있다. 이렇게 생성된 예측을 다음 추론의 문맥으로 재사용하는 것이 streams of thought이며, 질문이 요구하는 회전을 역동역학으로 추정해 맞는 입력 뷰를 고르거나 목표 포즈의 새 뷰를 합성해 답을 읽는 식으로 조합된다.

무엇과 다른가

학습은 사전학습, 중간학습, 후속학습으로 나뉜다. 사전학습은 자연 장면, 인간 활동, 로봇 상호작용을 포함한 대규모 비디오에서 RGB와 카메라 조건으로 시작해 깊이와 흐름을 시퀀스에 통합한다. 중간학습은 FineWeb-Edu와 DataComp-LM 텍스트로 언어를 배운 뒤 캡션이 붙은 이미지와 비디오로 비전-언어 정렬을 수행한다. 후속학습은 이미지·비디오 질의응답, 카메라와 객체 움직임의 텍스트-비디오 제어, 공간 추론, 반사실적 객체 운동 질문을 가르친다. 이 위에 RL을 붙여, 정책이 깊이, 카메라 움직임, 광학 흐름 중 어떤 스트림을 선택할지 표기 z로 내고 답 품질 보상을 받게 한다. 각 질문에 대해 표기를 샘플링해 정답 손실을 얼마나 낮추는지 점수화하고, 필터링된 행동 복제 후 on-policy GRPO로 LoRA 파라미터를 업데이트한다.

어떻게 쓰나

MindCube 다중 뷰 공간 추론에서 동결된 Ψ-0.6은 RGB-only, RGB-depth, RGB-camera 구성에서 각각 49.7%에서 51.3% 범위의 zero-shot 정확도를 보였다. 저자들은 이 결과가 DeepSeek-VL2-Small, LLaVA-OneVision-7B, Qwen3-VL-8B 같은 오픈소스 일반 VLM과 RoboBrain, Space-Qwen, Spatial-MLLM 같은 공간 특화 모델 대비 경쟁력 있다고 주장한다. 조합적 프롬프팅에서는 역동역학으로 57.7%를 기록해 zero-shot 51.3%를 넘었다. MindCube SFT 후에는 RGB-only 68.7%, RGB+camera 76.3%를 held-out Tiny 테스트 분할에서 달성했으며, RGB+camera 결과는 InternVL3의 map-then-reason 구성과 Qwen2.5-VL의 SFT+RL을 앞서고, 3DThinker의 SFT+RL 76.0%와 비슷하며 GeoThinker의 83.0%에는 못 미친다.

전제와 한계

FlowBench의 반사실 객체 운동 질문에서는 텍스트-투-플로 예측이 최고 56.4% 정확도를 기록해 가장 강한 이미지 편집 베이스라인의 16.4%를 크게 앞섰다. rEPE move는 0.454로 FOFPred의 0.915보다 낮았고, 전문 모델과 오라클 입력을 쓴 모듈형 기하 파이프라인도 50.8% 정확도와 0.552 rEPE에 그쳤다. 다음 프레임 예측 충실도는 움직이는 영역에서 Ψ-0.6의 모든 구성이 zero-motion 기준보다 0.25dB에서 1.60dB 개선된 반면 이미지 편집기는 0.96dB에서 4.00dB 악화됐다. FlowBench-Sim으로 미세조정하면 전체 정확도가 24.5%에서 73.1%로, 범주 평균이 24.6%에서 73.6%로 올라 35.8%의 우연 수준을 크게 넘고, 같은 데이터로 미세조정한 Qwen3-VL-8B에 근접했다. FlowBench-Real 예시를 전혀 쓰지 않고도 전체 51.4%, 범주 평균 48.9%를 기록해 기본 모델보다 각각 13.9%p, 11.9%p 개선됐고, Closer 범주는 23.3%에서 63.0%, Near 범주는 74.6%에 도달했다.

RL 실험은 시각 질의응답에 대한 개념 증명이지만, 학습된 정책은 훈련 분포의 held-out 예시에서 비디오-only 질의응답 대비 평균 상대 정확도 5.6% 개선을 보였고 가장 어려운 EgoDex에서 이득이 컸다. 더重要的是 이 이득이 완전히 보지 못한 네 개 벤치마크로 전이되어 평균 상대 정확도 9.0% 개선을 기록했으며, best-of-k 성능이 단일 롤아웃보다 높아 정책 최적화의 여지가 남아 있음을 시사한다. 개발자 관점에서는 공간 추론, 반사실 시뮬레이션, 멀티모달 로봇 데이터 전이를 다룰 때 중간 기하 표현을 모델이 직접 생성하고 소비하게 하는 설계가 유용할 수 있지만, 아직 실제 로봇 제어가 아니라 질의응답과 시뮬레이션 중심의 검증이라는 점을 확인해야 한다.

저자들이 밝힌 한계는 분명하다. Ψ-0.6은 최전선 멀티모달 시스템보다 훨씬 작은 규모의 데이터, 컴퓨팅, 연구·엔지니어링 노력으로 개발되었기 때문에 이 프레임워크의 개념적·기능적 효과를 보인 것이지 달성 가능한 성능의 상한을 보인 것은 아니다. 통합은 긍정 전이를 촉진할 수 있지만 제한된 용량이나 상충하는 계산 요구로 간섭을 낳을 수 있는데, 이 논문은 훈련 중 긍정·부정 전이를 분리하지 않았다. 또한 광학 흐름과 점 추적은 아직 물리적 행동을 직접 구동하지 않는 대리 행동이며, 행동·고유수용감각 토큰, 일반 물리 검증기, 추론 중간 표현의 자동 발견은 향후 과제로 남아 있다.