MDSKILL이 다중 관점 증류로 스킬 메모리 내재화를 개선한다

무엇인가

이 논문은 다중 턴 상호작용 과제를 수행하는 에이전트 강화학습에서 스킬 메모리를 정책 파라미터에 내재화하는 문제를 다룬다. 에이전트 RL은 보상이 희소하고 지연되어 정책 개선에 필요한 감독이 부족하다. 스킬 메모리는 성공·실패 궤적에서 얻은 교훈을 텍스트 프롬프트로 저장해 다음 결정을 돕지만, 계속 외부 메모리를 검색하는 방식은 자가 진화라 보기 어렵다. On-Policy Self-Distillation(OPSD)은 스킬을 본 분기에서 스킬 없는 분기로 토큰 수준 감독을 주어 내재화를 돕지만, 자기 생성 메모리에 노이즈·환각·중복·충돌이 섞이면 잘못된 감독을 그대로 전파할 수 있다. 제한된 훈련 예산에서는 이런 문제가 학습을 방해하고 성능을 오히려 떨어뜨릴 수 있다는 것이 논문의 출발점이다.

어떻게 동작하나

논문은 먼저 증류 방향을 네 가지로 비교한다. 증류 없음, 스킬 분기에서 스킬 없는 분기로의 순방향, 그 반대인 역방향, 양방향이다. 모든 증류 변형이 증류 없음보다 좋았지만, 순방향만 쓰는 경우 스킬 분기의 불안정한 감독이 양쪽 분기에 퍼져 reverse-only보다 크게 나빴다. reverse-only가 양방향보다도 좋았고, Top-K 겹침과 절대 엔트로피 격차 분석에서 순방향은 낮고 변동 큰 겹침과 큰 엔트로피 격차로 분포 정렬이 어긋나며 불안정했다. 반면 역방향은 스킬로 인한 해로운 영향을 교정하는 쪽이라 겹침이 올라가고 엔트로피 격차가 작고 안정적이었다. 순방향도 증류 없음보다는 나아서 스킬 감독 안에 유용한 지식은 있지만, 노이즈와 기능 얽힘 때문에 전달 방식이 문제라는 진단이 나온다.

무엇과 다른가

이 진단을 바탕으로 MDSKILL은 먼저 스킬 가치를 동적으로 추정한다. 각 스킬에 대해 신뢰도(Reliability)와 이득(Advantage)을 Beta 분포로 유지하고, 새 상호작용 결과를 시간 감쇠 가중치 2^{-(t-t_i)/H}로 반영한다. 신뢰도 증거는 과제 성공 y, 이득 증거는 같은 과제의 스킬 없는 롤아웃 평균 성공률 ybar_free를 써서 (1+y-ybar_free)/2로 정의한다. 검색 시에는 질의와 스킬 문맥 임베딩의 코사인 유사도로 Top-K 후보를 고른 뒤, Beta 분포에서 Thompson 샘플링한 신뢰도와 이득 점수를 합산해 순위를 정한다. 이는 잘 검증된 스킬을 활용하면서 불확실한 후보도 탐색하게 하고, 우연한 성공이 특정 스킬을 독점적으로 검색되게 하는 위험을 줄인다.

어떻게 쓰나

다음으로 스킬 메모리를 세 가지 기능 관점으로 분리한다. 상태 정착(state grounding)은 현재 상황에서 무엇이 알려졌는지, 행동 계획(action planning)은 주어진 정보에서 다음에 무엇을 할지, 실행 제어(execution control)는 진행 중인 실행을 계속할지 바꿀지를 다룬다. 여기에 세 관점을 통합하는 결합 분기를 두고, 환경별로 조정된 관점별 성찰 프롬프트로 스킬을 생성해 각 풀에 유지한다. 이렇게 관점별 분기와 통합 분기를 롤아웃하면 서로 다른 의사결정 기능이 뒤섞이지 않아 전이 간섭을 줄일 수 있다. 증류는 같은 과제와 앵커 상태를 공유하는 결정 기록을 묶은 뒤 지식 이득 게이트로 통제한다. 앵커 그룹에서 스킬 없는 궤적의 성공 수 n0와 스킬 관점 궤적의 성공 수 n+를 비교해, 엄격 게이트는 n+가 n0보다 크고 n0가 0일 때, 완화 게이트는 n+가 n0보다 클 때 열린다. 교사-학생 쌍은 교사 궤적의 성공이 학생 궤적보다 높을 때만 유효하다. 스킬 관점에서 스킬 없는 쪽으로 가는 순방향, 게이트가 성립하지 않을 때 스킬 없는 성공 궤적으로 실패한 스킬 관점을 교정하는 역방향, 성공한 관점에서 실패한 다른 관점으로 가는 교차 관점 증류를 구분하고, 각 쌍에 토큰 수준 KL 목적을 적용한다. 교사 분포에는 stop-gradient를 걸고 Top-K_D 토큰 지원 위에서 정규화한다. 전체 목적은 RL 손실에 다중 관점 증류 손실과 참조 정책 KL 정규화를 더한 형태이며, 기반 RL은 GiGPO를 쓴다.

전제와 한계

실험은 ALFWorld, WebShop, Search-QA 세 에이전트 벤치마크에서 Qwen2.5-7B-Instruct, Qwen2.5-3B-Instruct, Qwen3-1.7B를 백본으로 수행했다. 비교 대상은 스킬 없는 RL인 GRPO·GiGPO, 스킬 증강 방법인 SkillRL·D2Skill·SkillC·SAPO·Skill1, 자기 증류 방법인 OPSD·RLSD·Skill-SD·SDAR·StepOPSD·UCOB다. MDSKILL은 ALFWorld와 WebShop에서 세 백본 모두 전체 최고 성공률을 냈다. ALFWorld에서는 가장 강한 베이스라인 UCOB보다 Qwen3-1.7B, Qwen2.5-3B, Qwen2.5-7B 순으로 7.1%, 3.1%, 2.3% 높았고, WebShop 성공률은 같은 순서로 8.1%, 3.2%, 3.9% 높았다. 특히 Qwen3-1.7B에서 ALFWorld 성공률이 86.7%에서 93.8%, WebShop이 74.7%에서 82.8%로 올랐다. Search-QA에서는 경쟁력 있는 성능을 보였지만, 논문은 이 과제가 반복 환경 상태보다 검색 품질·근거 이해·답 합성에 더 의존해 재사용 스킬의 일관된 이점이 상대적으로 작다고 설명한다. 원문은 추가 계산 오버헤드 없이 이 성능을 냈다고 주장한다.

절제 실험에서 증류를 제거했을 때 성능 하락이 가장 컸고, 증류를 유지한 변형 중에서는 다중 관점 롤아웃 제거의 영향이 가장 컸다. 분석 단계에서 reverse-only가 우세했던 것과 달리 MDSKILL 안에서는 순방향 증류를 제거하면 성능이 떨어졌고, 교차 관점 증류는 추가 이득을 냈다. 즉 스킬 품질 선택과 관점 분리, 지식 이득 게이트가 갖춰지면 순방향 증류도 유용해진다는 것이다. 안정성 분석에서는 다중 관점 롤아웃이 없으면 순방향 토큰 겹침이 개선되지 않고 엔트로피 격차가 크게 요동쳤지만, MDSKILL은 더 높은 겹침과 더 작고 안정적인 엔트로피 격차를 보였다. 교차 관점 증류는 가장 낮은 엔트로피 격차와 가장 높은 겹침을 기록했다.

스킬 진화 분석은 내재화가 실제로 일어나는지 보여준다. 상위 K 스킬의 평균 이득을 세대 코호트별로 추적했을 때 MDSKILL은 높은 이득 영역이 대각선 근처에 모였고, 새 스킬이 현재의 지식 공백을 채우며 오래된 스킬은 내재화되면서 이득을 잃었다. UCOB는 대각선 집중이 약해 이전 스킬에 계속 의존하는 모습이었다. 이득이 0.6보다 큰 스킬을 일반성 4단계로 나눈 분석에서도 MDSKILL은 인스턴스 특화 지식에서 교차 과제 스킬과 메타 전략으로 이동해 최종 인스턴스 특화 비중이 26%였고, UCOB는 42%였다. 이는 외부 메모리 의존이 아니라 정책 내부로 지식이 옮겨가는 방향의 자가 진화를 시사한다. 개발자에게 이 논문은 자체 생성 스킬을 RL 에이전트에 붙일 때 증류 방향과 메모리 품질 관리가 성능을 좌우한다는 점을 보여준다. 특히 스킬을 하나의 긴 프롬프트 덩어리로 취급하지 않고 상태 파악·계획·실행 제어로 나누고, 성공·실패 결과와 스킬 없는 정책 대비 이득으로 교사-학생 쌍을 고르는 설계는 재사용 가능한 경험이 많은 다중 턴 환경에서 참고할 만하다. 도입 전에는 스킬 뱅크의 신뢰도·이득 갱신, 검색 후보 수, 지식 이득 게이트의 엄격도, 증류 가중치 λ_MD와 KL 계수 β_KL, 환경별 관점 프롬프트를 확인해야 한다.

원문에는 별도의 한계 절이 없고, 실험 범위와 설정에서 전제를 읽을 수 있다. 평가는 ALFWorld, WebShop, Search-QA와 Qwen 계열 세 백본에 한정되며, Search-QA에서는 명확한 우위보다 경쟁력 있는 성능으로 보고된다. 스킬 메모리는 외부의 더 강한 교사 모델 없이 자기 생성에 의존하므로 초기 스킬 품질과 충분한 관측 증거가 전제된다. 관점별 성찰 프롬프트는 환경별로 조정되며, 동적 지표도 충분한 상호작용 증거가 쌓여야 신뢰도와 이득을 구분할 수 있다. 원문은 추가 계산 오버헤드가 없다고 주장하지만, 다중 관점 롤아웃과 증류 쌍 구성이라는 추가 절차가 있으므로 실제 훈련 비용은 구현에서 확인해야 한다.