VLA의 상태 환각을 희소 특징 언러닝으로 줄인다
Sparse Feature Policy Unlearning Mitigates State Hallucination in Vision-Language-Action Models
무엇인가
이 논문은 VLA가 실제로 달성되지 않은 로봇-물체 상태를 이미 달성한 것처럼 계속 행동하는 상태 환각을 다룬다. 예를 들어 물체에 닿지 않고 그리퍼를 닫은 뒤, 물체를 잡은 것처럼 운반하고 놓는 동작을 이어간다. 저자들은 이를 단순한 한 번의 실패가 아니라 이후 단계로 전파되는 반복적 실행 패턴으로 정의하고, 성공 동작을 크게 훼손하지 않으면서 이 실패와 연결된 정책 지식을 선택적으로 제거할 수 있는지 묻는다.
어떻게 동작하나
분석은 두 갈래다. 먼저 액션 토큰에서 시각 토큰으로 향하는 어텐션을 이미지에 투영해, 정상 성공 롤아웃은 목표 물체와 그리퍼에 집중하는 반면 환각 실패 롤아웃은 과제 관련 영역에 대한 어텐션이 약해지고 배경으로 분산되는 경향을 보인다. 다음으로 residual stream의 시각 토큰 활성화를 Top-k 희소 오토인코더로 분해하고, 의미 영역별로 특징 활성화를 평균한 뒤 시간축 최대값과 실행 결과별 평균을 계산한다. 이렇게 얻은 환각 연관 점수와 성공 연관 점수로 환각 특징과 성공 특징을 구분한다.
무엇과 다른가
제안 방법 SOUL은 이 특징들을 명시적 망각 대상과 보존 대상으로 삼는다. 망각 집합은 환각 실패와 강하게 연관되면서 비환각 실패와 구분되고 성공과는 약하게 연관된 특징을 우선해 고르며, 최종 점수는 환각 연관 점수에 비환각 실패와의 분리 점수에서 성공 연관 점수를 뺀 값을 더해 만든다. 보존 집합은 성공 연관 점수가 높은 특징으로 고른다. 실험에서는 영역-특징 쌍 상위 5개를 각각 망각과 보존 대상으로 사용했다.
어떻게 쓰나
학습 절차는 SAE 인코더를 고정한 채 VLA 정책 파라미터를 LoRA 어댑터로 최적화한다. 환각 실패 샘플에서는 선택한 망각 특징의 활성화 제곱을 평균해 벌점을 주고, 클린 성공 샘플에서는 선택한 보존 특징의 활성화 평균을 최대화한다. 최종 목적함수는 망각 손실에 보존 손실을 가중합한 형태다. 즉 추론 시 매번 개입하는 방식이 아니라, 환각과 연결된 내부 특징의 발현을 정책 가중치 수준에서 억제하고 성공 특징은 유지하도록 만든다. SAE는 잠재 차원 4096, 활성 특징 수 100, 보조 활성 특징 수 512로 구성했고, OpenVLA와 π0.5의 지정된 레이어 활성화를 사용했다.
전제와 한계
실험은 OpenVLA와 π0.5를 LIBERO-Plus, RoboCasa, 실제 Franka Research 3 로봇에 적용해 pick-and-place 과제로 평가했다. 비교 대상은 원래 사전학습 정책과 환각 실패 샘플의 액션 예측 손실을 최대화하도록 적응한 gradient-ascent 언러닝이다. 원래 정책의 평균 환각률은 55.0%, 환각 실패율은 48.6%였고, SOUL은 평균 환각률을 33.5%로 낮추면서 클린 성공률을 27.5%에서 52.2%로 높였다. 논문은 평균 21.7%p 환각률 감소와 22.1%p 과제 성공률 향상, 기존 성공 행동의 89% 보존을 보고한다. Gradient-ascent 언러닝은 환각을 일관되게 줄이지 못하고 과제 성공을 크게 떨어뜨렸다.
실제 로봇에서는 두 모델에 걸쳐 다양한 시각 조건에서 50회 롤아웃을 수행해 클린 성공률을 평균 20%p 높이고 환각 실패를 22%p 줄였다. 행동 수준 분석에서는 원래 성공했던 과제 실행과 비환각 이벤트의 89%를 보존했고, 원래 실패한 과제 실행의 40%를 성공으로 바꾸었으며, 환각 이벤트의 78%를 교정했다. 절제 실험에서는 영역 기반 특징 선택이 전역 또는 토큰 단위 선택보다 환각률과 성공률의 균형이 좋았고, 보존 목적함수가 없으면 환각 감소는 유지돼도 클린 성공이 떨어졌으며, 망각 점수의 집계 항을 빼면 환각 감소와 성공률이 모두 나빠졌다.
개발자 관점에서 이 방법은 VLA가 특정 실패를 반복할 때 롤아웃을 성공, 환각 실패, 비환각 실패로 라벨링하고, 희소 특징 분석으로 실패와 연결된 내부 표현을 찾은 뒤 파라미터 효율적 언러닝으로 교정하는 절차를 제시한다. 다만 원문은 별도의 한계 절을 두지 않았고, 과제·동작 계획의 교란을 줄이기 위해 구조화된 grasp-transport-place 순서의 pick-and-place 과제에 실험을 한정했다. 실제 환경의 의미 영역은 수동 주석에 의존하며, 상위 5개 특징과 특정 SAE·레이어 설정을 사용했다. 또한 로봇 정책용 언러닝 베이스라인이 없어 gradient ascent를 비교군으로 적응했다는 전제가 있으므로, 더 넓은 과제와 다른 VLA 구조로의 일반화는 이 원문만으로 확립되지 않았다.