AffordanceWAM은 어포던스 예측으로 인간 비디오를 로봇 조작에 연결한다

무엇인가

이 논문은 로봇 조작에서 일반화 가능한 정책을 학습하려면 장면이 어떻게 변할지 예측하고, 상호작용이 가능한 위치를 찾고, 그에 맞는 행동을 정해야 한다는 문제를 다룬다. 행동 라벨이 붙은 로봇 비디오는 비싸고 다양성이 제한되며, 1인칭 인간 비디오는 다양한 상호작용을 담지만 로봇 행동이 없고 몸체와 외형이 다르다. 기존 월드 액션 모델은 미래 RGB나 시각 잠재 표현을 예측해 장면 변화는 잡지만, 조작 과제에서 중요한 객체와 상호작용 영역을 명시적으로 드러내지 않는다는 것이 저자들의 출발점이다.

어떻게 동작하나

AffordanceWAM은 미래 월드에 세 가지 스트림을 함께 생성한다. RGB 미래 관측, 각 미래 프레임마다 과제 관련 객체와 상호작용 영역을 [0,1] 스칼라 필드로 표현하는 스칼라 어포던스, 그리고 그 필드를 해당 RGB 프레임 위에 렌더링한 어포던스 히트맵이다. World Expert는 사전학습된 비디오 확산 Transformer로 초기화되고, Action Expert는 별도 파라미터를 가진 확산 Transformer다. 두 Expert는 같은 레이어에서 Masked Joint Self-Attention으로 연결되어, Action Expert가 진화하는 RGB와 스칼라 어포던스 은닉 특징을 읽어 연속 행동 청크를 예측한다. 마스크는 행동에서 월드로 가는 정보 흐름과 히트맵에서 행동으로 가는 경로를 막아, 히트맵은 보조 월드 감독으로만 쓰고 행동은 RGB와 스칼라 어포던스에 접지되게 한다.

무엇과 다른가

학습은 이질적 감독을 분리한다. 1단계 공동 사전학습에서 인간 비디오는 월드의 세 스트림만 감독하고, 로봇 궤적은 월드 스트림에 더해 행동까지 감독한다. 인간 비디오에는 의사 행동이나 리타기팅을 만들지 않는다. World-only 워밍업 뒤 행동 사전학습을 하고, 노이즈가 있는 월드 특징에 조건화하는 공동 학습과 완성된 월드에 조건화하는 고정 월드 학습을 커리큘럼으로 섞는다. 2단계에서는 월드를 얼리고 Action Expert만 로봇 시연으로 적응시키며, 이때 어포던스 라벨은 쓰지 않는다. 추론에서는 월드와 행동을 공동 생성한 뒤 완성된 예측 월드를 고정하고 짧은 행동 전용 디노이징으로 행동 청크를 다듬는다.

어떻게 쓰나

실험은 RoboCasa, CALVIN ABC→D, 실제 로봇 조작으로 구성된다. RoboCasa에서는 과제당 300개 시연으로 적응해 평균 성공률 69.4%를 냈고, 이는 Cosmos Policy보다 2.3%포인트 높다. CALVIN ABC→D에서는 평균 시퀀스 길이 4.22로 가장 강한 포함 베이스라인의 4.01을 넘었고, 1~5개 연속 과제 성공률은 96.1%, 92.8%, 85.5%, 77.8%, 69.5%였다. 실제 로봇에서는 과제당 50개 궤적으로 동일하게 미세조정하고 과제당 15회 평가했을 때, 단순 과제 macro-average 성공률이 Cosmos Policy 42.7%에서 74.7%로 올랐고, 서랍 닫기 46.7→80.0%, 과일 세 개 배치 26.7→53.3%, 꽃꽂이 6.7→20.0%를 기록했다.

전제와 한계

절제 실험의 핵심은 어포던스가 인간 비디오를 쓸 수 있게 하는 인터페이스라는 주장이다. 로봇 데이터만 쓸 때 어포던스 감독은 RoboCasa를 57.3%에서 63.7%로, CALVIN 평균 시퀀스 길이를 3.75에서 3.91로 올렸다. 인간 비디오를 더하면 어포던스가 있을 때는 63.7→69.4%, 3.91→4.22로 개선되지만, 어포던스가 없으면 같은 인간 비디오가 57.3→55.1%, 3.75→3.68로 오히려 성능을 떨어뜨린다. 이 상호작용 효과는 RoboCasa 7.9%포인트, CALVIN 0.38 시퀀스 길이다. 히트맵을 빼면 69.4→65.4%, 4.22→3.99가 되고, 히트맵에서 행동으로 가는 어텐션을 열면 69.4→63.5%, 4.22→3.85로 내려간다. 어포던스 주석 인간 비디오를 60%에서 100%로 늘릴 때 RoboCasa 성능은 추가로 4.2%포인트 올라 전체 개선의 약 74%를 차지했고, 처음 60% 구간의 이득은 1.5%포인트에 그쳤다.

개발자 관점에서 이 논문은 로봇 시연이 적고 인간 1인칭 비디오는 많은 상황에서, 행동 라벨이나 리타기팅 없이 인간 데이터를 정책 학습에 끌어오는 설계를 제안한다. 특히 어포던스를 월드 예측의 공유 타깃으로 두면 인간과 로봇 데이터가 행동 공간이 아니라 상호작용 공간에서 만난다는 점이 실무적으로 중요하다. 다만 스칼라 어포던스와 히트맵을 만들 주석 파이프라인이 필요하고, 2단계 적응에는 어포던스 없는 로봇 VLA 시연이 필요하다. 히트맵을 행동 입력에서 차단하는 마스크는 RGB 지름길을 줄이는 장치이므로, 자체 데이터로 재현할 때 이 마스크와 어포던스 스트림의 기여를 따로 검증해야 한다.

저자들은 별도의 한계 절을 두지 않지만 본문에서 전제가 드러난다. 인간 비디오 사전학습은 어포던스 주석이 붙은 데이터를 요구하고, 주석 생성 절차는 부록 A에 맡긴다. 2단계에서는 월드를 고정한 채 Action Expert만 적응시키므로 월드 표현의 추가 개선은 범위 밖이다. 실제 로봇 평가는 8개 과제와 과제당 15회로 제한되어 있어, 더 넓은 과제·환경으로의 일반화 주장은 추가 검증이 필요하다. 또한 인간 데이터가 적을 때는 이득이 작고, 어포던스가 없을 때 인간 비디오가 오히려 해가 될 수 있다는 결과는 어포던스 주석의 범위와 품질이 이 방법의 실효성을 좌우한다는 전제를 남긴다.