CausGround는 행동의 전제조건과 효과를 재사용 가능한 인과 지식으로 증류한다

무엇인가

MLLM 기반 구현 에이전트는 "무엇을 할지"는 잘 맞히지만, "그 행동이 지금 실행 가능한지"와 "실행하면 세계가 어떻게 바뀌는지"는 자주 놓친다. 논문이 드는 예는 명확하다. 플래너는 물체를 냉장고에 넣어야 한다는 결론은 옳게 내리지만, 냉장고가 열려 있어야 한다는 전제조건을 만족시키기 전에 넣기 동작을 시도한다. 이런 전제조건 위반은 긴 호라이즌에서 누적되어 무효 동작, 재시도, 비싼 시행착오로 이어진다. 기존 대응은 두 갈래인데, 하나는 환경별 파인튜닝·강화학습으로 파라미터를 갱신하는 값비싼 방식이고, 다른 하나는 추론 시점에 궤적이나 에피소드 메모리를 붙이는 방식이다. 저자들은 후자가 비정형 궤적·과제 수준 기억으로 남아 어떤 부분이 인과적으로 중요한지 식별하기 어렵고, 재사용과 현재 장면 접지가 힘들다고 지적한다. 그래서 던지는 질문은 이것이다. 상호작용 경험을 "행동 전 무엇이 참이어야 하는가"와 "행동 후 무엇이 바뀌는가"를 알려주는 재사용 가능한 인과 지식으로 증류할 수 있는가.

어떻게 동작하나

첫 번째 구성 요소는 관측과 지식을 잇는 공용 인터페이스인 분해형 세계 상태 표현이다. 시점 t의 세계 상태를 객체 집합과 관계 집합의 쌍 S_t=(O_t, R_t)로 두고, 각 객체는 의미 범주 c_i와 속성 키-값 쌍 집합 A_i로 표현한다. 관계는 두 객체 사이의 타입 있는 간선으로, ON(cup, table)이나 INSIDE(cup, fridge)처럼 쓴다. 핵심은 각 속성-값 쌍과 각 관계를 하나의 명시적 상태 팩터로 취급한다는 점이다. 객체 내부 속성과 객체 간 관계를 분리해 두면서도 하나의 세계 상태 안에 담기 때문에, 관측에서 뽑은 상태와 인과 지식에 저장된 전제조건·효과를 같은 스키마로 직접 대조할 수 있다. RGB 관측에서 이 분해형 상태를 추출하는 것은 파라미터가 고정된 MLLM이 맡는다.

무엇과 다른가

두 번째는 행동 중심 인과 지식 구축이다. GRAB, OPEN 같은 행동 패밀리를 원자 단위로 삼아, 전제조건 후보 팩터를 통제하며 모은 궤적 집합 (S_pre, a(x), S_post, y)을 쌓는다. 여기서 x는 행동에 딸린 객체·인자, y는 실행 결과다. 전제조건은 성공 실행과 실패 실행을 일관되게 구분해 주는 사전 상태 팩터만 남기고 우연적 팩터는 버려 집합 C(a(x))를 만든다. 효과는 성공 실행의 사전·사후 상태를 비교해 실행 뒤 일관되게 따라오는 변화만 남겨 E(a(x))로 정리한다. 한 행동의 효과가 다른 행동의 전제조건을 채우면 두 행동을 인과 의존성으로 연결하는데, 다단계 상호작용은 이 의존성의 합성으로 표현된다. 여기에 일반화 수준을 한 겹 더 둔다. OPEN(fridge)와 OPEN(microwave)처럼 같은 행동 패밀리의 여러 인스턴스를 비교해 공통으로 성립하는 규칙은 일반 지식 K_gen(a)로 추상화하고, 특정 객체에서만 유효한 규칙은 인스턴스 특화 지식 K_spec(a(x))로 보존한다. 예컨대 두 행동은 "열림 상태가 open이 된다"는 효과를 공유하지만, 성공을 위한 객체별 전제조건은 다르다.

어떻게 쓰나

세 번째는 과제 접지 계획 단계다. 과제 설명 g를 같은 분해형 스키마의 목표 상태로 해석한 뒤, 행동 효과와 전제조건 위로 역방향 추론을 돌려 목표 지향 인과 의존성 K_causal을 얻는다. 병행해서 일반·인스턴스 특화 지식을 의미 기반으로 검색해 K_sem을 모으고, 둘을 합쳐 K_task를 만든다. K_task는 과제 시작 시 한 번 구축되어 현재 세계 상태에 접지되고, 매 스텝 플래너는 관측 I_t, 구조화된 상태 S_t, 과제 설명 g, K_task를 받아 다음 행동을 고른다. 전제조건에 대한 역방향 추론은 실행 가능한 행동을 걸러내고, 효과에 대한 순방향 추론은 상태 전이를 예상하며, 행동 간 의존성은 긴 호라이즌 계획의 구조적 참조가 된다. 플래너 파라미터는 평가 내내 동결된다.

전제와 한계

실험은 시각 기반 고수준 계획과 상호작용 추론 두 축으로 구성된다. VirtualHome은 텍스트가 아닌 이미지 기반 계획 설정을 쓰되, 시뮬레이터 상태와 어긋난 렌더링 관측을 이미지 편집 모델로 보정했다. RoboCasa는 공식 주석의 스킬 단계를 원자 행동으로, 시뮬레이터 관측을 중간 상태로 취급하도록 각색했다. SWITCH에서는 Action, Recovery, Verification State, Verification Action 네 범주를 본다. 백본은 Qwen3.5-9B, 27B, 35B-A3B이고 비교 대상은 Vanilla 플래너, SelfReVision, LookPlanGraph다. 결과는 VirtualHome 평균 과제 성공률 24.9%에서 53.3%, 평균 최종 진행도 38.4%에서 71.3%로 올랐고, 숏·미디엄·롱 호라이즌 전 구간에서 우위를 유지했다. RoboCasa는 백본 평균으로 원샷 성공률 26.9%에서 38.9%, 폐루프 재계획 성공률 43.0%에서 57.0%로 개선됐다. SWITCH 평균 정확도는 25.8%에서 31.9%가 됐다. 모델 계열 일반화 실험에서는 Qwen3.5, InternVL3.5, Gemma4 세 계열 여섯 모델(E4B~38B)에서 성공률 23.3%에서 50.7%, 최종 진행도 38.4%에서 67.3%로 평균이 올랐다.

주목할 대목은 베이스라인이 Vanilla보다 못한 경우가 있다는 관찰이다. SelfReVision의 자유형식 자기반성은 근거 없는 선행 조건을 만들어 원래 유효한 계획을 오염시켰고, 예컨대 물체가 캐비닛 안에 있다고 잘못 추론해 불필요한 OPEN 동작을 끼워 넣었다. LookPlanGraph의 이산 장면 그래프는 접지 오류를 이후 결정으로 전파해, 닫힌 전자레인지를 열린 것으로 해석해 필요한 동작을 건너뛰게 만들었다. 저자들이 강조하는 CausGround의 이점은 추론 문맥을 더 주는 것이 아니라, 매 계획 결정 전에 현재 관측에 접지된 과제 관련 인과 서브그래프를 주는 것이다. 컴포넌트 분리 실험에서도 분해형 상태 표현과 인과 지식이 각각 기여하며 둘을 합친 구성이 가장 좋았는데, 두 요소가 같은 스키마를 공유해 현재 상태를 지식의 전제조건·효과와 직접 대조할 수 있기 때문이라고 설명한다. 실제 로봇 실험에서는 목표 상태로부터 역방향 추론해 Open(Microwave), Pick(Bread), Place(Bread, Plate) 같은 실행 가능한 고수준 행동 열을 도출했다. 케이스 스터디의 Vanilla는 NEAR 전제조건을 채우지 않은 채 SIT를 반복했다.

개발자 관점에서 이 논문의 쓸모는 "모델을 다시 학습시키지 않고 환경 적응을 외부 지식으로 흡수한다"는 패턴에 있다. 프롬프트에 궤적을 통째로 밀어 넣는 방식이 왜 잘 안 되는지, 자기반성 루프가 왜 오히려 계획을 망칠 수 있는지에 대한 구체적 실패 사례를 준다는 점도 실무적으로 유용하다. 다만 도입하려면 확인할 것이 있다. 지식 라이브러리는 행동 패밀리별로 전제조건 후보를 통제한 상호작용 궤적을 모아 구축해야 하므로, 새 환경마다 그 수집 비용이 든다. 또 세계 상태 추출을 MLLM에 의존하므로 장면 접지 오류가 곧 지식 매칭 오류가 된다. K_task가 과제 시작 시 한 번 구축된다는 점도, 실행 중 환경이 크게 바뀌는 과제에서 재구축이 필요한지 따져봐야 하는 지점이다.

논문 본문에 별도의 한계(Limitations) 절은 제시되어 있지 않다. 다만 방법 서술에서 전제가 드러난다. 인과 지식은 통제된 조건에서 수집한 행동 수준 궤적에서 추출되므로 지식 구축에 환경별 데이터 수집이 선행되어야 하고, 전제조건·효과의 정확도는 궤적 커버리지와 MLLM의 분해형 상태 추출 품질에 종속된다. 또한 VirtualHome 관측은 시뮬레이터 상태와의 불일치를 이미지 편집 모델로 보정했고, RoboCasa는 공식 스킬 단계를 원자 행동으로 재해석하는 각색을 거쳤으므로 이 수치들이 원래 벤치마크 설정 그대로의 성능은 아니다. 실제 로봇 검증은 정성적 사례 제시 수준이며, 원문에 로봇 실험의 정량적 성공률 수치는 제시되지 않았다.