ActiveAlign가 능동적 손동작과 촉각으로 실사와 시뮬레이션 정렬을 맞춘다

무엇인가

이 논문은 로봇 조작을 위한 Real2Sim2Real 파이프라인에서 생기는 현실과 시뮬레이션의 정렬 오차를 다룬다. Real2Sim2Real은 계획, 해석 가능성, 안전한 실행을 위해 구조화된 세계 표현을 제공하지만, 기존 접근은 대부분 수동적 인식에 의존해 불완전한 관측에서 real2sim 격차가 생긴다. 특히 버튼을 누르거나 슬라이더를 미는 작업은 밀리미터 오차로 실패할 수 있어, 논문은 정지 영상만으로는 충분하지 않다고 보고 사람이 머리를 움직이거나 손을 흔들고 만져 보는 것처럼 로봇이 능동적으로 인식해야 한다고 주장한다.

어떻게 동작하나

방법의 바탕이 되는 파이프라인은 오프라인과 온라인으로 나뉜다. 오프라인에서는 여러 RGBD 프레임으로 3DGS와 BundleSDF를 써서 3D 복원을 만들고, GPT-6-Astra가 RGB 프레임을 처리해 Blender와 MuJoCo로 시뮬레이션 자산을 큐레이션하도록 지시한다. 온라인에서는 FoundationPose, GroundingDINO, SAM2로 현실 관측을 시뮬레이션에 실시간 매핑한다. 저자들은 이 구성이 합리적 베이스라인이지만 두 오차원이 남는다고 본다. 마커 기반 보정이 번거롭고 자기중심 카메라가 로봇을 부분만 보는 데서 오는 부정확한 카메라 보정, 그리고 긴 기구학 체인과 모터 백래시, 부정확한 제어가 밀리미터 인식 오차를 증폭하는 누적 오차다.

무엇과 다른가

ActiveAlign-Waving은 자기중심 카메라의 외부 파라미터와 내부 파라미터를 온라인에서 맞추는 모듈이다. 오프라인에서 MuJoCo 렌더와 샘플링한 카메라 파라미터 K, R, t 및 로봇 구성 p로 DRRobot의 LBS 변형을 따르는 로봇 3DGS 모델을 학습한다. 로봇 자세를 아는 관측이 주어지면 깊이 손실을 최소화하는 역문제로 카메라 외부 파라미터를 푼다. 이때 관측 깊이 D는 SAM으로 배경을 제거해 마스킹하고, 깊이 정렬된 가우시안의 깊이와 불투명도로 렌더링 깊이를 합성한다. 초기값은 URDF의 카메라 자세나 로봇 팔에 FoundationPose를 적용한 결과를 쓴다. 하지만 고자유도 기구학 부정확성과 양팔 말단만 보이는 부분 시야 때문에 자기중심 카메라에서는 퇴화 해가 나올 수 있어, 중요도 샘플링과 능동 인식을 추가한다. 중요도 샘플링은 조작용 카메라가 팔 말단을 본다는 귀납적 편향을 두고, 능동 인식은 손을 적극적으로 움직이거나 녹화 궤적의 정지 구간에서 여러 관측을 모아 순차 깊이 손실로 최적화한다. 이 다중 관측 공식이 보정 정보가 없는 공개 로봇 조작 데이터셋에도 적용되는 근거다.

어떻게 쓰나

ActiveAlign-Touching은 촉각으로 물체 정렬을 미세 보정하는 모듈이다. 버튼이나 레버 같은 작은 물체의 미세 조작은 밀리미터 정렬이 필요하지만, 최신 자세 추정기인 FoundationPose를 써도 시각적으로는 맞아 보이는 장면에 밀리미터 오차가 남는다. 저자들은 사람이 스위치를 눈으로 대략 찾은 뒤 만져 확인하고 누르는 방식을 따른다. 촉각으로 전체 3D 표면을 만드는 것은 너무 오래 걸리므로, 패널 표면을 2D 평면으로 보고 z 방향 높이 맵을 만든다. 조작할 구성 요소를 관심점으로 정의하고 그 주변에 손끝으로 작은 영역을 촘촘히 덮으며, 촉각 센서 힘이 임계값 T_force를 넘을 때까지 손을 천천히 내린다. 이 높이 맵이 지각된 환경과 로봇 실행 사이의 밀리미터 차이를 잡아 파이프라인의 누적 오차를 보정한다.

전제와 한계

실험은 카메라 보정과 미세 조작 두 과제로 구성된다. 카메라 보정의 sim-to-sim 실험에서는 로봇 3DGS 학습에 쓰는 RGB 렌더의 조명을 무작위화하고 초기 카메라 추정값에 노이즈를 넣는다. 실제 관측의 기준 주석은 이미지에 수동으로 분할 마스크를 붙여 만든다. 기준 손 자세는 나사로 로봇 손에 단단히 부착할 수 있는 ArUco 마커가 붙은 3D 프린팅 큐브를 만들고, 큐브가 붙은 시뮬레이션 모델을 큐레이션해 큐브 자세를 대리값으로 쓴다. 미세 조작은 레버와 버튼을 대상으로 하며, 방법의 일반성을 보이기 위해 부록 A의 그림 7처럼 서로 다른 세 패널에서 실험한다. 베이스라인은 마커 없는 카메라 보정에 DRRobot을 쓰고, 수동 배치는 URDF에서 외부 파라미터를 바로 계산해 갱신하지 않는다. 미세 조작 베이스라인은 추정된 로봇 좌표계 물체 자세를 바탕으로 물체 자세 기준 여러 키포인트를 지나는 궤적을 계획하는 키포인트 기반 모델 기반 계획이다.

정량 결과에서 저자들은 모델 기반 운동 계획의 성공률이 매우 낮다고 보고한다. 원인은 파이프라인 각 모듈에서 생기는 누적 오차이며, 촉각을 인식한 계획은 테스트한 모든 물체에서 일관되게 훨씬 높은 성공률을 보인다고 주장한다. 촉각 센서로 행동과 높이의 매핑을 만들어 누적 오차를 보상한다는 설명이다. 다만 제공된 원문 본문에는 표 2의 구체적 성공률 수치가 제시되지 않아 정확한 값은 확인할 수 없다. 카메라 보정에서는 ActiveAlign-Waving을 xdof, Mobile ALOHA, Humanoid Everyday의 공개 시연 데이터에 적용한다. 로봇 상호작용 없이 녹화 궤적의 정지 구간을 다중 상태 관측으로 쓰며, 시뮬레이션 로봇 마스크와 SAM3로 분할한 실제 로봇 마스크의 IoU 및 궤적 간 추정 카메라 중심의 분산을 보고한다. 표 1에서 세 로봇 모두 가장 높은 IoU를 달성하고 단일 프레임 최적화보다 에피소드 간 추정이 더 일관적이라고 주장한다. 남은 분산은 실제로 카메라 마운트가 의도치 않게 움직인 결과이며, 특히 Mobile ALOHA와 G1 같은 모바일 로봇에서 그렇고 고정된 xdof에는 이 문제가 없다고 설명한다. 이 표의 구체적 IoU와 분산 수치도 제공된 본문에는 없다.

개발자 관점에서 이 논문은 실사와 시뮬레이션을 잇는 조작 파이프라인에서 카메라 보정을 수동 마커나 URDF 한 번 계산으로 끝내지 말고, 로봇의 능동 손동작으로 얻은 다중 관측을 온라인 최적화에 넣으라는 신호를 준다. 특히 자기중심 카메라와 humanoid처럼 말단만 보이는 환경에서는 팔 말단을 본다는 가정으로 중요도 샘플링을 하고, 보정 정보가 없는 공개 데이터셋의 정지 구간을 활용하는 방식이 실무 데이터 큐레이션에 유용하다. 미세 조작에서는 시각 정렬 후 남는 밀리미터 오차를 촉각 높이 맵과 힘 임계값으로 보정하는 접근을 참고할 수 있다. 논문은 실제 Unitree G1에서 버튼 누르기와 슬라이더 이동 같은 밀리미터 규모 물체의 미세 조작을 시연했다고 보고한다. 실무에서는 로봇 3DGS 학습, 시뮬레이션 자산 큐레이션, FoundationPose 계열 자세 추정, 촉각 센서의 힘 임계값과 관심점 설정을 함께 점검해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 중요도 샘플링은 최적화할 카메라가 조작을 위해 팔 말단을 보고 있다고 가정하며, 오프라인에서 DRRobot의 LBS 변형을 따르는 로봇 3DGS 모델과 MuJoCo 렌더가 필요하다. 촉각 보정은 전체 3D 표면 복원 대신 패널을 2D 평면으로 두고 관심점 주변의 국소 높이 맵만 만든다. 공개 데이터셋 적용은 녹화 궤적에 정지 구간이 있어야 하고, 카메라 마운트가 실제로 움직이면 추정 분산이 남는다. 미세 조작 실험은 세 패널로 제한되며, 제공된 원문 본문에는 표 1과 표 2의 구체적 수치가 없어 개선폭을 숫자로 제시할 수 없다.