다중 로봇 VLN을 제약 조건 협동 문제로 정식화한 MAVLN과 TRISS

무엇인가

기존 Vision-and-Language Navigation(VLN)은 한 에이전트가 하나의 지시를 따라 목적지까지 가는 설정이 대부분이다. 다중 에이전트로 확장한 선행 연구로 릴레이 방식 협동을 다룬 CoNavBench, 동적 태스크 할당을 추가한 DeCoNav, 피어 관찰 공유의 효과를 보인 Co-VLN 등이 있지만, 저자들은 두 가지 한계를 지적한다. 첫째, 기존 구현체 다중 에이전트 내비게이션 태스크의 제약이 지나치게 단순해서 협동이 사실상 체인형 의존성을 넘지 않고, 환경 커버리지가 좁아 경험 재사용을 통한 일반화가 어려우며, 에이전트 간 충돌은 아예 측정되지 않는다. 둘째, LLM 기반 계획 시스템들은 사전 구축된 재구성 맵이나 시뮬레이터 API에 의존해 미지 환경 일반화를 회피한다. 이 논문은 이 두 갈래가 만나는 지점, 즉 미지 환경에서 의존성과 자원 제약을 가진 다중 에이전트 VLN을 '제약 조건이 있는 협동 문제'로 정식화한다.

어떻게 동작하나

정식화의 핵심은 임무를 서브태스크 DAG로 표현하는 것이다. 팀 A={a1,…,aM}이 서로 다른 시작 위치에 놓이고, 각 서브태스크 τ_k=(g_k, A_k, D_k, h_k, l_k, U_k)는 목표 객체 인스턴스 g_k, 실행 가능한 에이전트 집합 A_k, 선행 서브태스크 집합 D_k, 그리고 자원 속성 (h_k, l_k, U_k)로 정의된다. h_k가 성립하면 실행 에이전트는 τ_k 완료 후 객체를 들고 있어야 하고, 그 객체의 소비자 서브태스크 외에는 아무것도 완료할 수 없다(holding chain). l_k가 성립하면 해당 에이전트는 동료가 U_j에 τ_k를 포함하는 어떤 τ_j를 완료할 때까지 g_k에 위치를 유지해야 한다(presence lock). 저자들이 강조하는 점은 의존성 제약과 자원 제약이 직교한다는 것이다. 전자는 '언제 완료될 수 있는가'를, 후자는 '제약이 살아 있는 동안 에이전트가 자기 자신으로 무엇을 할 수 있는가'를 규정한다. 서브태스크는 허용된 에이전트가 성공 반경 안에서 도착을 선언하고 D_k가 모두 완료되며 holding/locking 위반이 없을 때 성공하고, 모든 서브태스크가 성공해야 임무가 성공한다.

무엇과 다른가

벤치마크 MAVLN은 Gemini-3 계열을 백본으로 한 4단계 생성 파이프라인으로 만든다. Habitat 3와 HM3D 위에서 뷰포인트별 관측을 렌더링하고 VLM으로 객체 설명을 얻는 장면 이해, 가구 프로필과 구역 특성에 맞춰 임무 시나리오를 만드는 임무 합성, 서브태스크별 목적지 뷰포인트와 원자적 지시를 생성한 뒤 제약 일관 실행 순서와 에이전트 할당을 탐색해 makespan을 최적화하는 임무 정제, 그리고 궤적 관측으로 지시를 검증하고 분산·중앙집중·중앙집중-암시 세 가지 지시 스타일로 통합한 뒤 역방향으로 도착 순서를 재구성해 정답 제약과 대조하는 검증 단계로 구성된다. 결과물은 145개 장면, 11,724개 에피소드, 최대 4대 에이전트 팀이며 평균 경로 길이는 35.9m다. 3,908개 고유 임무가 3,079개 학습(128 장면), 386개 val-unseen(7 장면), 443개 test-unseen(10 장면)으로 장면 단위 분할된다. 통계에서 서브태스크는 평균 5개, 최대 8개이고 절반 이상이 3대 이상 팀이며, holding chain은 92.9%, presence lock은 28.3% 임무에 나타나고 26.3%는 두 원시 제약을 동시에 쓴다. 순수 DAG로 환원되는 경우는 5.1%뿐이다. 또한 팀은 전체 이동 거리의 약 4분의 1을 이미 지나온 경로 재방문에 쓰며, 이 비율은 궤적이 길수록 커진다. 평가 지표는 SR, SPL, CSR, ISPL/CSPL, TC, TS, MAC으로 확장된다. 특히 TS는 계획된 makespan이 아니라 동기화 시뮬레이션 스텝 수로, 실행 중의 혼잡·대기·교착을 반영한다.

어떻게 쓰나

방법 TRISS는 세 모듈로 구성된다. 첫째, LLM 기반 서브태스크 스케줄러는 원자적 지시 추출기로 임무 지시에서 서브태스크 풀을 만들고, 이전에 배정된 내비게이션이 끝날 때마다 라운드를 열어 에이전트당 최대 하나의 원자적 지시를 배정한다. 이때 잠김·차단·완료된 에이전트에는 공백을 준다. 중요한 설계는 선할당(pre-allocation)이다. 도착만으로는 서브태스크가 완료되지 않으므로 presence lock에 묶여 있지 않다면 의존성이 아직 안 풀린 목적지로 미리 이동할 수 있고, 이렇게 이동과 대기를 겹치면 실현 makespan이 줄어든다. 그래서 스케줄러는 배정 I_n과 함께 대기 목록 P_n, 발화 목록 F_n을 함께 출력한다. 둘째, 공유 토폴로지 메모리는 모든 에이전트가 하나의 토폴로지 그래프를 즉석에서 함께 구축하는 방식으로, 다른 팀원이 제안한 뷰포인트가 중복 생성되지 않고 병합되며 각자의 탐험이 팀 지식이 된다. 단일 에이전트 매핑과 달리 뷰포인트 예측 전에 위치 추정 단계를 추가해, 후진 실패 시 의도한 뷰포인트를 실제 위치인 것처럼 잘못 갱신하는 문제를 막는다. 이 메모리 위에서 DUET 스타일의 coarse/fine 이중 스케일 크로스모달 플래너가 노드 수준과 근방 수준 선호를 게이트 σ_t로 동적으로 융합해 다음 뷰포인트를 고른다. 셋째, 충돌 인지 실행 메커니즘은 여러 에이전트가 같은 뷰포인트를 목적지로 고르지 않게 하는 충돌 없는 목표 할당(CFTA)과 충돌 기반 경로 탐색(CBPF)을 결합해 동시 의도를 충돌 없는 경로로 실현한다. 플래너는 ETPNav 방식으로 20만 스텝 사전학습 후, 4대 에이전트가 토폴로지 메모리를 공유하는 조건에서 3만 스텝 모방학습하며, student-forcing으로 탐험을 유도한다.

전제와 한계

실험은 A100 한 장에서 수행하고, 스케줄러로는 Qwen3.6-27b와 Gemma4-31b를 써서 3회 독립 실행 평균을 낸다. 오라클 스케줄링·오라클 내비게이션 조건에서 TRISS는 val-unseen/test-unseen에서 100.0 SR을 215·206 타임스텝에 달성한다. 선할당을 제거하면 TS가 261·248로 늘어 이동과 대기 중첩의 효과가 확인된다. 실행을 단일 에이전트로 제한하면 SR이 67.1·69.1로 떨어지고 TS는 412·419로 늘어 다중 에이전트 실행의 병렬성 이점이 드러난다. 오라클 내비게이션을 학습된 내비게이터로 바꾸면 test-unseen SPL이 99.6에서 5.2로 급락한다. 이 격차는 이 내비게이터만의 문제가 아니라, MAVLN으로 학습한 ETPNav도 SR이 2.8과 5.6에 그친다. LLM 스케줄러로 교체하면 SPL이 4.4(Gemma4, 분산 지시)까지 내려가지만, 무작위·순차 배정보다는 명확히 낫다. 무작위·순차 배정은 ISPL이 오라클 스케줄러에 근접하는데 CSR이 붕괴하는데, 이는 실패 원인이 내비게이션이 아니라 제약 위반임을 보여준다. 중앙집중-암시 지시가 가장 어려워 Qwen3.6에서 SPL 3.5를 기록한다.

어블레이션에서 공유 토폴로지 메모리를 끄면 SR이 9.1에서 6.2로, SPL이 4.0에서 3.0으로 떨어지고 TS는 1065에서 1588로 늘어 메모리 공유가 프레임워크의 중심 기제임이 확인된다. 계획 공간을 제한하면 SR이 7.8에서 9.1로 오르고, 이중 스케일 계획의 효과가 가장 커서 coarse 단일 스케일은 SR 0.0, CSR 8.5에 그치는 반면 이중 스케일은 9.1과 36.4를 낸다. 학습 레시피에서는 완전 student-forcing이 50% teacher forcing보다 SR이 9.1 대 6.0으로 우수하고, 2대 대신 4대로 학습하면 SR이 4.2포인트, SPL이 1.5 오른다. 사전학습 데이터는 NavRAG 구성이 SPL 4.0으로 가장 좋다. 충돌 해소는 CFTA만 켜면 MAC이 2.2에서 1.4로, CBPF까지 더하면 0.8로 줄지만 323 타임스텝이 추가된다. 지연 시간은 라운드당 LLM 스케줄링이 33.52초로 내비게이션 계획 4.56초, 시뮬레이션 2.79초를 압도하며, 플래너 추론 메모리는 2.1GB, 학습 전체는 21.1GB다.

개발자 관점에서 이 논문의 실용적 가치는 '무엇이 아직 안 되는지'를 수치로 보여준다는 데 있다. 오라클 플래너를 주면 SR이 val-unseen에서 9.1에서 89.1로, test-unseen에서 9.3에서 81.0으로 뛰어 계획 모듈이 최대 병목임이 드러나고, 뷰포인트 예측 노이즈가 에피소드 내내 누적되면 목표가 아예 제안되지 않을 수 있다는 점이 지적된다. 충돌 해소도 유한 탐색이 실패해 val-unseen에서 3.78~3.98%, test-unseen에서 4.41~5.05%의 전이가 미해결로 남고 기하학적으로 교차하는 전이가 1.02~1.55% 존재해 물리 배치에서는 받아들이기 어려운 수준이다. 또한 지시-서브태스크 매칭을 탐욕적으로 하면 CSR이 분산·중앙집중·중앙집중-암시에서 각각 0.1, 3.6, 3.7포인트 부풀려지므로, 제약 인지 평가를 하려면 명시적 지시 기반 매핑이 필요하다. 결론에서 저자들은 절대 성공률이 한 자릿수에 머문다고 밝히며, 개선 여지가 스케줄링·계획·실행에 고루 분포해 있고 특정 모듈 하나에 집중되어 있지 않다고 정리한다. 즉 이 벤치마크는 아직 풀린 문제가 아니라, 다중 로봇 협동 내비게이션을 측정 가능한 형태로 정의해 남은 과제를 드러낸 출발점으로 읽어야 한다.