특권 교사의 레이블을 학생의 온폴리시 문맥에 붙여 탐색 행동을 학습한다

무엇인가

부분 관측 마르코프 의사결정과정(POMDP)에서 에이전트는 행동 전에 숨은 정보를 알아내기 위해 먼저 탐색해야 한다. 예를 들어 세 개의 문 중 정답을 맞히는 과제에서 목표 문은 보이지 않으므로, 이전 시도의 결과를 기억해 남은 후보를 좁히는 식으로 움직여야 한다. 문제는 이런 정보 수집 행동을 온라인 강화학습으로 처음부터 배우면 표본 효율이 매우 나쁘다는 점이고, 반대로 특권 교사(정답 상태를 보는 전문가)의 궤적을 오프라인 모방하면 학생이 숨은 상태들에 걸쳐 전문가 행동을 평균내게 되어 탐색 대신 망설이게 된다. 이 논문은 그 간극을 겨냥한다.

어떻게 동작하나

제안 방법 ASTEROID는 학생-교사 증류를 반복적으로 수행하는 단순한 프레임워크다. 각 반복은 두 단계로 나뉜다. 먼저 데이터 생성 단계에서 학생 정책을 부분 관측 아래 k개 에피소드 동안 굴려 온폴리시 문맥 h를 만든다. 이어 같은 잠재 변수 아래에서 특권 전문가를 굴려 전문가 궤적을 얻고, 그 궤적의 관측과 보상은 질의로, 전문가 행동은 레이블로 쓴다. 핵심은 질의를 무작위로 뽑지 않고 전문가 롤아웃에서 가져온다는 점, 그리고 레이블이 학생 자신의 문맥에 조건화된다는 점이다. 학습 단계에서는 인과 트랜스포머에 DPT 손실(전문가 행동에 대한 음의 로그 우도)을 적용하되 손실은 전문가 행동에만 계산한다. 반복이 진행되면 학생이 사용할 수 있는 테스트 시점 문맥 길이가 k개 에피소드까지 늘어나는 커리큘럼 효과가 생긴다. 배포 시에는 빈 문맥에서 시작해 온라인 상호작용으로 문맥을 쌓고, 학습 문맥보다 긴 평가에는 슬라이딩 윈도를 쓴다. 일반 POMDP로 확장할 때는 타임스텝 t를 샘플링해 학생을 굴린 뒤 도달한 상태에서 전문가를 질의하는 일종의 테이크오버 방식으로 (문맥, 전문가 관측·행동) 튜플을 만들고, 샘플링 시점을 긴 문맥 쪽으로 편향시켜 커리큘럼을 만든다.

무엇과 다른가

왜 이것이 탐색을 가르치는가. 부분적인 문맥은 숨은 상태에 대한 불확실성을 나타내며, 학생이 A를 탐색해 실패하면 그 문맥은 A를 배제하고 B·C와만 일치한다. 이 문맥에 전문가가 B일 때는 B 탐색, C일 때는 C 탐색을 레이블하므로 학생은 남은 가설 중 하나를 골라 실행하고, 실패할 때마다 후보를 줄여간다. 저자들은 컴플라이언스, 온폴리시 커버리지, 유한한 에피소드 비용 가정 아래 ASTEROID가 방문한 문맥 위에서 근사적으로 사후 샘플링을 회복하며, 자신의 문맥에 대한 평균 오차 ε일 때 K개 에피소드에서 사후 샘플링과의 격차가 O(εK)라고 주장한다. 같은 오차의 오프라인 인컨텍스트 학습자는 테스트 시점 문맥이 고정 학습 분포에서 벗어나 O(εK²) 오차를 겪는다는 대비도 제시한다.

어떻게 쓰나

실험은 조작, 이산 탐색, 연속 내비게이션을 아우르는 11개 환경에서 3개 시드로 수행됐다(계산 시간이 큰 Habitat는 1개 시드, 손목 카메라 RL 베이스라인은 2개 시드). 비교 대상은 BC, DAgger, DPT, SPOC, AAWR, RL², Habitat의 사후 샘플링 RL(상한선), BC+PPO/BC+RL², ADVISOR, RMA 등 10개 베이스라인이다. 결과로 고정 탐색 예산에서 약 2배 높은 수익, RL 베이스라인 대비 최대 약 100배 적은 환경 상호작용, Procgen Maze에서 2배 빠른 해결을 보고한다. 촉각만으로 물체를 집는 Tactile-Pick에서는 과거 행동 이력과 촉각 정보만으로 약 92% 성공률을 달성했고, 손목 카메라 Peg-Insertion에서는 테이블을 훑어 물체와 목표를 찾는 탐색 행동이 나타났다. 저자들은 부분 관측 아래 DAgger가 BC보다도 낮은 성능을 보였다고도 언급한다.

전제와 한계

실제 로봇 실험에서는 Isaac Lab에서 도메인 랜덤화로 특권 전문가를 학습시킨 뒤, 카메라 없이 관절 각도와 그리퍼 위치만 관측하는 학생 정책을 학습해 시뮬레이션에서 실제로 전이했다. 표준 행동 복제 증류 대비 성공률이 40%포인트 높았고, 실패 후에도 문맥을 이용해 다음 파지 위치를 바꿔가며 상자를 집어냈다. 프런티어 모델 비교도 흥미롭다. Claude Opus 5.5를 코드-애즈-폴리시 방식으로 붙여 실험한 결과 완전 관측에서는 약 65% 성공률로 전문가(약 90%)에 못 미쳤고, 손목 카메라만 주어지는 부분 관측 설정에서는 약 50%로 ASTEROID의 약 78%에 뒤졌다. 저자들은 이를 두고 최신 모델이 문맥을 통한 탐색 능력을 아직 갖추지 못했다고 해석한다.

개발자 관점에서 이 논문의 실무적 메시지는 데이터 수집 위치를 바꾸라는 것이다. 오프라인 데이터셋의 조합적 커버리지를 가정하는 대신, 배포될 학생 정책이 실제로 만드는 문맥 분포 위에서 감독 신호를 모으면 커버리지 가정을 완화할 수 있다. 시뮬레이션 전문가와 도메인 랜덤화가 이미 있는 파이프라인이라면, RL 보상 설계 없이 기존 증류 코드에 온폴리시 롤아웃과 문맥 길이 커리큘럼만 얹는 것으로 탐색 행동을 얻을 수 있다는 뜻이다. 다만 도입 전에는 전문가가 관측하는 특권 정보의 범위, 문맥 길이와 슬라이딩 윈도 설정, 그리고 실패 문맥이 학습 데이터에 실제로 포함되는지를 확인해야 한다.

저자들이 밝힌 한계는 분명하다. 첫째, 강한 특권 전문가에 의존하며 그 전문가를 어떻게 만들었는지는 방법이 가정하지 않는다. 둘째, 사후 샘플링 자체가 베이즈 최적이 아니므로 탐색 효율을 일부 포기하고 계산 가능성과 후회 보장을 맞바꾼다. 셋째, 탐색은 전문가 지원 집합 안에서 숨은 상태를 추론하는 데 국한되며, 필요한 정보가 그 지원 밖에만 존재하면 학생은 불확실성을 줄일 수 없다. 넷째, 전문가 행동 모방은 안전하지 않은 탐색을 낳을 수 있어 제약과 안전 필터가 별도로 필요하다.