PhySGA가 물리 시뮬레이터 안에서 3D 객체 조립을 단계별로 검증한다

무엇인가

이 논문이 다루는 문제는 3D 객체 조합이다. 자연어 지시와 독립적으로 생성된 두 개의 시뮬레이션 준비 완료 자산이 주어졌을 때, 물리적으로 실현 가능한 조합을 만들어내는 것이 목표다. 저자들은 이 과제가 디지털 콘텐츠 제작과 로봇 시뮬레이션에 중요할 뿐 아니라, 파운데이션 모델의 물리 지능을 평가하는 엄격한 테스트베드라고 본다. 정적 이미지에 대한 시각 질의응답과 달리 3D 조합은 의미 이해를 실행 가능한 물리 행동으로 옮기고 시뮬레이션 피드백으로 그것을 검증하게 만들기 때문이다. 기존 접근은 두 갈래였다. LLM이 텍스트에서 객체 좌표를 직접 예측하는 언어 주도 경로(SAGE, SceneSmith 등)와, 확산 사전으로 합성 이미지를 만들어 3D 객체 위치를 정렬하는 비전 주도 경로(Interact3D 등)다. 논문은 두 경로 모두 디지털 공간의 정적 사전에 의존한다고 지적한다. 정밀 매달기는 다중 시점 관찰과 정확한 공간 정렬이 필요하고, 중력에 의한 침강은 중력 하의 물리 시뮬레이션을 명시적으로 써야 하며, 숨은 수납은 가려진 목표 영역 때문에 이미지 기반 매칭이 원리적으로 무효라는 것이다.

어떻게 동작하나

제안 방법의 핵심은 문제 정식화를 바꾸는 것이다. 최종 상대 포즈를 한 번에 예측하는 대신, 조합을 반복적 물리 구성 과정으로 정의한다. 초기 시뮬레이터 상태에서 출발해 s_k = Φ(s_{k-1}, a_k) 형태의 상태 전이를 연속 적용한다. 여기서 a_k는 이동·회전·스케일 같은 기하 변환, 동적 속도 부여, 또는 물리 시뮬레이션 스텝이고, Φ는 환경 전이 함수다. 이 전이는 목표 조합에 도달할 때까지 이어진다. 이 과정을 굴리기 위해 두 개의 고수준 에이전트가 비대칭적으로 협업한다. Assembly Agent는 피드포워드 외부 루프를 맡아 기하·운동학 추론으로 N단계 계획을 세운다. 계획은 각 단계의 목표 상태와 관찰 가능한 검증 조건 쌍 (g_k, c_k)의 목록으로 표현되며, 저자들은 이를 저수준 명령의 고정 시퀀스가 아니라 전역 궤적으로 규정한다. 실행 시에는 직교 다중 시점 장면 렌더링을 관찰 공간으로 삼아 상호작용 영역이 가장 잘 드러나는 뷰를 골라 미터법 값을 추정하는 거친 조정을 수행한다. Critic Agent는 조건부 내부 루프를 맡는다. 시뮬레이션이 실패하면 실패 원인 ξ와 교정 측면 α를 진단하고, 관찰을 근거로 시뮬레이션 이전 상태를 보정해 다시 시뮬레이션에 넘긴다. 이때 미터법 값을 다시 추정하는 대신 조작 대상의 대표 픽셀을 목표 객체의 의도된 위치에 대응시키는 픽셀 좌표를 직접 출력하고, Action Router가 캘리브레이션된 카메라 투영으로 이 대응을 삼각측량해 실행 명령으로 바꾼다. 실패가 반복되면 새 상태에서 계속 보정할지 이전 상태로 롤백할지도 에이전트가 결정한다. 두 에이전트는 Observe, Decide, Execute, Validate 네 단계를 도는 지속적 상태 기계로 구현되며, 성공이든 실패든 실행 결과가 즉시 메모리에 축적된다.

무엇과 다른가

고수준 의미 추론과 저수준 시뮬레이터 실행을 잇는 것이 Action Router다. Geometric Router는 3D 직교 축에 대한 이동·회전·균일 스케일 예측을 정확한 변환으로 바꾸고, Articulated Router는 서랍 열기 같은 의미 지시를 관절 운동으로 매핑하며, Velocity Router는 던지기 같은 방출 지시를 변형 객체에 적용할 월드 공간 속도로 변환한다. 이 분리는 에이전트가 물리 변수 세부사항 대신 계획과 공간 정렬에 집중하게 만든다. 여기에 Self-Evolving Skill Library를 유지한다. 새 지시를 실행하기 전에 라이브러리에서 호환 지식을 검색해 프롬프트에 덧붙이고, 실행 후에는 상호작용 메모리와 최종 물리 결과를 증류해 새 지식을 만들거나 기존 스킬을 보강한다. 자산 쪽은 GPT Image 2와 SAM 3D Objects로 생성한 강체 자산, ArtVIP와 GarmentLab에서 가져온 관절·변형 자산을 하나의 파이프라인으로 처리하며, 의미·미터법 기하·정준 방향·물리 속성을 기록하는 공통 메타데이터 스키마와 미터법 주석이 달린 CAD 스타일 직교 다중 시점 렌더링을 제공한다.

어떻게 쓰나

실험은 NVIDIA Isaac Sim 4.2.0에서 수행했다. 벤치마크는 강체 20개, 관절 10개, 변형 10개로 구성된 40개 과제이며, 각 과제에 자산 설명만 다르고 목표 관계는 같은 프롬프트 변형 3개를 붙여 총 120개 장면을 평가한다. 비교 대상은 SAGE, SceneSmith, Interact3D이고, 모든 VLM 추론의 베이스 모델은 GPT-5.5다. 지표는 침투율(PR, 낮을수록 좋음), 접촉률(CR, 높을수록 좋음), 자산 충실도(AFS), 조합 종합 점수(COS), 관계 충실도(RFS)다. PhySGA는 CR 0.958, PR 0.033, RFS 8.75를 기록했다. RFS는 가장 강한 베이스라인인 Interact3D의 4.45에 비해 거의 두 배다. 눈에 띄는 것은 SAGE의 PR이 0.000이라는 점인데, 논문은 이를 상호작용을 아예 만들지 못한 부작용으로 해석한다. 자산을 멀리 떨어뜨려 의미 있는 접촉이 없으니 CR도 0.000이고 RFS도 최저가 된다는 것이다. 정성적으로도 베이스라인은 공간 허용 오차를 못 견뎌 자산이 떠 있거나 시뮬레이션 후 심하게 어긋나는 반면, PhySGA는 좁은 접시 걸이에 접시를 꽂거나 국자를 고리로 거는 밀리미터급 작업을 해낸다고 주장한다.

전제와 한계

바닐라 VLM 코딩 에이전트와의 비교도 있다. Qwen3.8-Max, Gemini-3.1-Pro-Preview, DeepSeek-V4-Flash-Vision-Exp, GPT-5.5를 Codex 스타일 파이썬 샌드박스 에이전트로 돌린 결과와 같은 모델을 PhySGA에 넣은 결과를 비교했는데, 바닐라 에이전트는 물리적으로 타당한 배치를 거의 만들지 못했다. PhySGA에 통합하면 모든 모델에서 침투가 줄고 관계 충실도가 크게 올라가며, GPT-5.5가 가장 좋고 Qwen3.8-Max가 그 뒤를 잇는다. 어블레이션은 6종이다. 전역 계획 제거, 미터법 조정을 픽셀 이동 예측으로 대체, 물리 피드백 없이 직접 조정, 픽셀 정렬 대신 실수값 공간 이동 예측, Action Router 없이 저수준 제어 코드 직접 출력, 자기 진화 스킬 검색 제거다. 논문은 어떤 모듈을 빼도 접촉률과 시각 점수가 떨어지고 침투율이 오른다고 서술하지만, 표 3의 구체적 수치는 본문에 제시되지 않았다.

개발자 관점에서 이 논문이 쓸모 있는 지점은 시뮬레이터 환경 자동 구축이다. 로봇 학습용 씬, 조작 과제, 합성 데이터 생성 파이프라인에서 객체를 물리적으로 타당하게 배치하는 단계는 지금까지 수작업이나 휴리스틱에 의존했다. PhySGA는 그 단계를 에이전트 루프로 대체하는 설계도이며, 특히 좌표를 직접 예측시키는 대신 픽셀 대응과 시뮬레이션 피드백을 쓰는 패턴은 다른 조작 과제에도 이식할 수 있다. 도입 전에 확인할 것은 Isaac Sim 의존성, 자산 생성·검색 파이프라인과 메타데이터 스키마 표준화 비용, 그리고 매 스텝 VLM을 호출하는 구조의 추론 비용이다.

한계는 논문이 별도의 한계 절을 두지 않아 명시적으로 밝힌 것은 없다. 다만 본문 구성에서 전제가 드러난다. 과제 정식화가 두 자산 쌍 단위 조합으로 한정되고, 벤치마크는 40개 과제 120개 장면 규모이며, 평가는 Isaac Sim 단일 시뮬레이터에서만 이루어진다. 또한 모든 VLM 추론을 GPT-5.5 같은 상용 모델에 의존하고, 자산 확보도 외부 생성·검색 도구에 기대므로 재현에는 해당 자원이 필요하다. 어블레이션의 정량 수치가 본문에 제시되지 않은 점도 각 구성 요소의 기여도를 숫자로 따져보려는 독자에게는 제약이다.