NestedVLA는 VLA 스킬 통합을 파라미터 생성으로 바꾼다

무엇인가

VLA(Vision-Language-Action) 모델은 범용 로봇 에이전트를 약속하지만, 이기종 태스크와 환경에서 따로 학습한 스킬을 하나로 통합하는 일은 여전히 어렵다. 학습 데이터가 플랫폼별로 파편화되어 있고, 공동 멀티태스크 학습은 태스크 간 간섭을 겪고, 모델 병합은 파라미터 충돌을 만들거나 아키텍처 변경을 요구한다. 이 논문은 같은 백본에서 독립적으로 파인튜닝된 정책들을 사후에(post hoc) 통합하는 문제를 다룬다. 원본 학습 데이터를 다시 모으지 않고, 태스크별 파라미터 업데이트를 압축된 표현으로 통합하는 것이 목표다. 저자들의 실험에서 단순 평균 병합은 개별 정책 성능의 대부분을 잃었고, 가중치 공간 분석에서는 주요 파라미터 그룹 간 정렬이 약하게 나타났는데 특히 제어를 직접 담당하는 action expert에서 이 불일치가 치명적이었다.

어떻게 동작하나

제안 방법의 핵심은 파라미터 집계(aggregation)를 파라미터 생성(generation)으로 바꾸는 것이다. 절차는 세 단계다. 먼저 스킬 획득 단계에서 사전학습 백본 Θ0를 각 태스크 데이터셋으로 파인튜닝해 task vector τ_m = Θ_m − Θ_0를 얻고, 이를 drop-and-rescale로 희소 스킬 z_m으로 압축한다. 압축은 모듈 단위 top-K 이진 마스크로 큰 크기 원소만 남기고 전역 재스케일 계수 α를 곱하는 방식이다. 저자들은 VLA 파인튜닝 델타가 소수 원소에 ℓ2 에너지가 집중되는 희소 크기 지배 구조를 보인다고 관찰했고, 1비트 양자화나 저랭크 분해보다 drop-and-rescale이 충실도 대 압축의 트레이드오프에서 우세했다고 밝힌다. 두 번째는 스킬 통합 단계로, 하나의 중첩 하이퍼네트워크 G_φ가 M개 태스크의 action expert 타깃을 태스크 임베딩과 함께 공유 파라미터 φ로 흡수하도록 학습한다.

무엇과 다른가

하이퍼네트워크가 수십억 원소 출력을 직접 회귀하는 것은 불가능하므로, 파라미터 공간을 2D 패치 그리드로 토큰화한다. 각 가중치 텐서를 256×256 타일로 쪼개고 파라미터 타입, 레이어, patch_h, patch_w 네 인덱스로 주소를 부여한다. 실험 구성은 18개 트랜스포머 블록, 9개 가중치 타입, 162개 텐서, 태스크당 6,480개 패치다. G_φ는 태스크별 패치 임베딩, 태스크 인코더(임베딩을 2D 컨볼루션과 전역 평균 풀링으로 태스크 특징 벡터로 변환), 태스크 특징을 패치 특징에 이어붙이는 단계, 공유 FC 트렁크와 태스크별 LoRA 경로, 태스크마다 전용 투영을 두는 multi-head 출력 모듈로 구성된다. 학습 손실은 마스크된 회귀 손실로, 마스크가 1인 위치에서만 계산하며 베이스 VLA는 학습 내내 동결된다. 학습되는 파라미터는 약 4억 3천만 개다.

어떻게 쓰나

추론 시에는 목표 태스크 m으로 G_φ를 한 번 질의해 action expert 델타를 생성하고, 미리 계산된 마스크와 재스케일을 적용한 뒤, 태스크별로 압축 보관된 VLM 델타 z_m^V를 더한다. 결과물은 아키텍처 수정도, 전문가 라우팅도, 런타임 혼합 계산도 없는 완전한 VLA 모델로 그대로 배포할 수 있다. 하나의 학습된 G_φ가 M개 태스크 체크포인트의 action expert 부분을 대체하는 셈이다.

전제와 한계

실험은 π0.5 백본을 FlowSDE로 MetaWorld(32개 태스크, 256개 궤적), ManiSkill(25개 태스크, 320개 궤적), CALVIN ABC-D(96개 롤아웃, 5개 하위 태스크 체인)에 각각 독립 파인튜닝해 수행했다. NestedVLA는 평균 성공률 66.7%로 정적·동적 병합 베이스라인을 평균 41~54pp 앞섰다. ManiSkill에서는 87.2%로 태스크별 파인튜닝 상한 88.1%에 0.9pp 이내로 따라붙었고, CALVIN에서는 success_at_end 75.0%를 기록했다. 정적 병합은 참혹했다. 단순 평균이 14.8%였고 TIES, WUDI, TSV-Merging은 부호 충돌 해소나 가중 업데이트, 특이벡터 압축을 넣고도 평균보다 낮았으며, 네 방법 모두 CALVIN 체인 완료율 0%로 붕괴했다. 동적 병합은 TALL-Mask 22.6%(2.09배 저장), EMR-Merging 23.0%(2.89배), Twin-Merging 25.3%(2.25배), Free-Merging 25.6%(2.16배)로, 저장 예산이 2.09~2.89배로 달라도 3pp 밴드에 몰렸다. 저자들은 병목이 저장량이 아니라 고정된 값 집합에서 선택한다는 패러다임 자체라고 해석한다.

저장량 회계도 이 논문의 주장 중 하나다. 전체 1.5배 예산이 백본 양쪽에 비대칭으로 배분된다. 백본의 약 89%를 차지하는 VLM 절반(약 32.1억 파라미터)은 태스크별 top-K=10% 압축 델타로 보관해 약 0.35배를 차지하고, 약 11%인 action expert(약 4억 파라미터)는 하이퍼네트워크가 추론 시 생성하며 태스크별로는 미리 계산된 마스크만 약 0.01배로 남는다. 하이퍼네트워크 자체(약 4억 3천만 파라미터)가 약 0.12배를 더한다. 즉 학습 가능한 용량을 델타가 더 조밀하고 충돌이 심한 action 쪽에 집중시킨 설계다. 실무 관점에서는 태스크별 체크포인트를 전부 보관하는 대신, VLM 쪽은 압축 델타로, action 쪽은 생성기로 대체하는 이 분해가 참고할 만한 배포 전략이 된다.

절제 실험에서는 multi-head 출력 경로가 가장 큰 기여를 했다. 이 경로를 제거하고 공유 출력에 태스크별 LoRA를 붙이면 모든 벤치마크에서 손실이 0.2~0.5 악화됐는데, 태스크별 타깃의 값 분포가 실제로 양립 불가능하다는 뜻이다. 반면 태스크별 패치 임베딩은 이득이 0.1 미만으로 작았고, 공유 FC의 LoRA 경로는 오히려 없앴을 때 세 벤치마크 모두 손실이 가장 낮았다(기본 파라미터 비용의 97%). 압축 연산자 비교에서는 1비트 양자화가 재구성 오차 0.60~0.96에 태스크 성공률을 71~81pp 떨어뜨렸고, drop-and-rescale은 K=10%에서 재구성 오차 0.30(VLM 절반), 0.19(action 절반)를 기록했다. 손실 쪽에서는 마스크 밖 위치에 대한 페널티를 끄는 것(w_out=0)이 평균 성공률 +2.4pp로 가장 효과가 큰 단일 레버였다.

남은 격차의 위치도 명확히 밝힌다. ManiSkill과 CALVIN에서는 K=10% 이상적 상한의 각각 99%, 96%를 달성해 하이퍼네트워크가 주어진 희소성 예산에서 거의 상한값을 뽑아낸다. MetaWorld만 37.9%로 FlowSDE 기준 72.3%에 크게 못 미치는데, 그러나 K=10% 이상 상한 자체가 48.4%이므로 보존율로 보면 78%로 다른 벤치마크와 같은 수준이다. 즉 격차는 통합 단계의 하이퍼네트워크 용량 문제가 아니라 스킬 획득 단계의 희소성 예산 문제이며, K를 0.20으로 올리면 MetaWorld 상한이 60.2%로 올라간다. 저자들이 인정한 한계는 분명하다. 전체 저장량은 스킬 수에 따라 계속 증가한다(압축 VLM 잔차, 마스크, 태스크별 생성기 구성요소를 모두 보관해야 하므로). 다만 스킬 하나가 추가할 때 늘어나는 양은 전체 VLA 체크포인트보다 훨씬 작다. 태스크별 적응적 K가 자연스러운 다음 방향으로 제시되며, 실험은 3개 스킬, 3개 시드(표준편차 ±2.7%), 단일 A6000에서 약 10시간으로 한정된다.