에이전트 증류는 토큰이 아니라 행동 의미로 맞춘다

무엇인가

언어모델 에이전트를 소형 모델로 증류할 때 실무에서 부딪히는 질문은 두 가지다. 교사가 어느 상태에서 개입해야 하는가, 그리고 어느 단위로 행동을 맞춰야 하는가. 기존 오프라인 증류는 교사가 생성한 시퀀스에 토큰 단위 손실을 걸어 조밀한 감독을 주지만, 학생이 실제로 마주치는 상태 분포와 어긋난다. 토큰 수준 온폴리시 증류(OPD)는 이 불일치를 줄이지만 교사의 토큰 확률과 토크나이저 호환성을 요구한다. 두 방식 모두 토큰을 감독할 뿐 행동의 의미를 명시적으로 맞추지 않는다는 것이 이 논문의 출발점이다.

어떻게 동작하나

ActionOPD의 핵심 주장은 도구 호출의 이름과 인자, 사용자에게 보내는 메시지의 의도 같은 의미적 행동(semantic action)이 에이전트 증류의 자연스러운 감독 단위라는 것이다. 목표는 학생이 마주친 상태 s에서 교사 행동 a^T의 우도 π_θ(a^T|s)를 최대화하는 것이다. 여기서 우도는 교사가 쓴 특정 문장을 재현할 확률이 아니라, 그 행동과 의미적으로 일치하는 학생 출력 전체의 확률 질량이다. 즉 π_θ(a^T|s) = Σ_y π_θ(y|s)·1{φ_s(y)=a^T}로 정의되며, φ_s는 응답을 상태 s에서의 의미적 행동으로 사상하는 함수다. 이 목표를 미분하면 의미적 일치를 보상으로 하는 REINFORCE 형태의 정책 경사가 나온다. 교사 토큰 확률도, 토크나이저 정렬도 필요 없고 교사에 대한 생성 접근만 있으면 된다.

무엇과 다른가

실제 구현에서 저자들은 상태 s마다 교사 응답 K=3개를 샘플링해 다중집합으로 보관하고, 학생 후보 응답 y를 각 교사 샘플과 비교하는 매처 m_s(y, y_k^T)∈{0,1}를 쓴다. 도구 이름과 정규화된 인자는 프로그램으로 검사하고, 남은 인자 차이는 동결된 LLM이 판정한다. 예를 들어 city="Paris", unit="celsius"인 get_weather 호출은 인자 키 순서와 무관하게 동일로 취급된다. 자연어 응답은 정규화 후 완전 일치를 우선 받아들이고, 아니면 LLM이 의도와 사실 내용을 비교한다. 일치 개수 c(s,y)를 세고, 보상은 세 갈래로 나뉜다. 유효하지 않은 행동이면 -1, 유효하지만 일치가 0이면 0, 하나 이상 일치하면 1 + λ(c-1)/(K-1)이다. λ=0.5일 때 교사 샘플이 [A, A, B]라면 A와 일치하는 응답은 1.25, B와 일치하는 응답은 1을 받는다. 첫 일치에 단위 보상을 주고 추가 일치에는 작은 빈도 보너스만 주는 방식으로, 3개라는 적은 샘플 수에 대한 민감도를 낮춘다.

어떻게 쓰나

롤아웃은 상태 그룹 단위로 이뤄진다. 각 상태에서 N=4개의 학생 응답을 뽑아 같은 교사 다중집합에 대해 채점하고, 보상이 가장 높은 후보의 파싱된 행동만 실제로 환경에 실행해 다음 상태로 진행한다. 학습은 보존된 그룹의 모든 응답에 대해 이뤄지며, 그룹 평균을 베이스라인으로 한 상대 이점을 배치 전체 표준편차로 정규화한 뒤 PPO식 클리핑 대리 목표를 최대화한다. 이렇게 하면 학생이 평소 잘 가지 않는 경로도 교사가 이끄는 방향으로 탐색하게 되지만, 동시에 어느 정도 오프폴리시 상태 방문이 섞인다는 점은 저자들도 인정한다.

전제와 한계

학습 데이터는 Agent World Model(AWM)의 794개 환경 5,942개 태스크와 EnvScaler의 49개 환경 755개 태스크를 합친 6,697개다. Qwen3-4B와 Qwen3-8B 학생을 Qwen3.7-Flash, DeepSeek-V4-Flash 교사와 2×2로 조합해 100 스텝, 스텝당 64개 태스크 시작(59 AWM, 5 EnvScaler), N=4, K=3, λ=0.5로 학습했다. 평가는 학습에서 제외한 BFCL Multi-turn, ToolSandbox의 verified-local-only 부분집합, AppWorld Normal/Challenge, τ²-bench의 Airline·Retail·Telecom에서 이뤄졌다. 네 가지 조합 모두 해당 베이스 모델 대비 4개 벤치마크 평균을 3.3~6.9%p 끌어올렸다. 학생 크기 면에서는 같은 예산에서 Qwen3-8B가 Qwen3-4B보다 최종 평균이 높았고, 교사 능력 면에서는 DeepSeek-V4-Flash가 Qwen3.7-Flash보다 두 학생 크기 모두에서 더 높은 평균을 냈다. 모델 계열과 토크나이저가 다른 교사-학생 조합에서도 성능이 올랐다는 점이 이 결과의 핵심이다.

증류 베이스라인 비교는 Qwen3-4B 학생, Qwen3-32B 교사, 동일한 178개 Tau 학습 태스크, 스텝당 24개 태스크 시작(도메인별 8개), 50 스텝 시점에서 이뤄졌다. 오프라인 KD가 테스트 평균 pass^4에서 19.2로 가장 높았고, OPD와 ActionOPD는 KD보다 테스트 평균 pass^1이 높았다. ActionOPD는 OPD보다 테스트 평균 pass^1이 0.4%p 높았지만 pass^4는 낮았다. 저자들도 이것이 일률적 우위를 입증하는 것은 아니라고 밝힌다. 절제 실험에서는 의미 보상을 행동 유효성 보상으로 바꾼 변형, 빈도 보너스를 제거한 이진 보상 변형, 보상은 그대로 두고 후보를 무작위로 고르는 변형 모두보다 ActionOPD가 학습셋과 100개 홀드아웃 태스크에서 앞섰다. 특히 유효성 보상 변형의 하락 폭이 가장 컸는데, 모든 유효 후보에 같은 보상을 주면 학습 신호가 사라지기 때문이다. 별도로 같은 Qwen3-4B 가중치를 교사와 학생이 공유하되 교사에게만 비공개 사용자 목표·제약·참조 행동을 주는 Self-ActionOPD를 50 스텝 돌린 결과, 베이스 대비 테스트 평균 pass^1/pass^4가 4.8/2.5%p 올랐다.

실무 관점에서 이 방법의 매력은 교사 인터페이스가 가볍다는 점이다. 교사 모델의 로그프로브에 접근할 수 없고 토크나이저도 다른, 즉 API로 텍스트만 받아올 수 있는 상용 모델을 교사로 쓸 수 있다. 대신 준비해야 할 것은 도구 호출과 자연어 응답의 의미적 동등성을 판정하는 매처다. 도구 이름·인자 비교는 규칙으로 처리하되 나머지 인자 차이와 자연어 의도 비교를 LLM 판정에 맡기는 구조이므로, 이 판정기의 정확도가 곧 보상의 품질이 된다. 또한 상태마다 교사 샘플 K개와 학생 후보 N개를 생성해야 하므로 추론 비용이 그만큼 늘어난다는 점, 그리고 그룹 이점 정규화와 클리핑 때문에 갱신이 이론적 경사의 불편 추정이 아니라는 점을 감안해야 한다.

저자들이 밝힌 한계는 세 가지다. 첫째, 의미적 일치는 정답을 보장하지 않는다. 교사가 틀리거나 차선의 결정을 내리면 그것이 그대로 학습 목표가 된다. 둘째, 자연어 응답과 도구 인자 차이를 LLM이 판정하는 과정에서 거짓 양성·거짓 음성이 생겨 보상이 잘못 배정될 수 있다. 셋째, 교사·학생 샘플 집합 크기가 고정되어 있어 장기 호라이즌 상호작용처럼 그럴듯한 결정이 넓게 흩어지는 상황에서는 의미적으로 일치하는 행동이 거의 없을 수 있다. K와 N을 늘리면 커버리지가 개선될 수 있지만 생성·매칭 비용이 커지며, 이 영역에서의 이득은 아직 검증되지 않았다고 저자들은 명시한다.