능력별 전문가를 따로 학습해 하나의 VLM으로 증류하는 SCOPED
Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models
무엇인가
시각언어모델(VLM)에 강화학습을 적용하면 세밀한 지각, OCR·차트 이해, 기호적 시각 추론, 다중 이미지 추론 같은 특화 능력을 끌어올릴 수 있다. 문제는 이질적인 목표를 하나의 정책에서 동시에 최적화할 때다. 논문은 능력별 그래디언트가 서로 충돌하는 교차 능력 간섭을 지적한다. 능력별 전문가를 따로 학습하면 간섭은 줄지만, 보상을 직접 최적화하면 전문 지식이 리워드 해킹 편향과 뒤섞인다는 것이 저자들의 진단이다. 그래서 이 논문은 능력 획득과 능력 통합을 분리하는 SCOPED(Skill-Decoupled On-Policy Expert Distillation)를 제안한다.
어떻게 동작하나
1단계는 능력별 전문가의 독립 학습이다. 학습 코퍼스를 C개의 능력별 부분집합으로 나누고, 각 능력마다 공유 베이스 정책에서 초기화한 전문가를 해당 부분집합에서 독립적으로 강화학습한다. 능력별 보상 함수로 기대 보상을 최대화하는 방식이며, 이 분리 최적화 덕분에 다른 능력의 경쟁적 목표가 개입하지 않는다. 학습이 끝나면 각 인스턴스마다 K개의 롤아웃을 샘플링해 입력·정답·궤적 튜플을 모으고, 능력별 궤적 저장소를 구축한다. 이 저장소에는 성공한 행동과 실패한 행동이 함께 담긴다.
무엇과 다른가
2단계는 스킬 추출과 스킬 증강 증류다. 보상 임계값을 기준으로 궤적을 성공 코호트와 실패 코호트로 나누고, 전문가가 두 코호트를 성찰해 재사용 가능한 해법 패턴과 실패 원인을 정리한 뒤 이를 합성해 명시적 스킬을 만든다. 증류 시에는 통합 학생 모델이 입력으로부터 온폴리시 응답을 생성하고, 대응하는 능력 전문가는 그 스킬을 조건으로 받아 다음 토큰 분포를 낸다. 손실은 학생 분포와 스킬 조건부 전문가 분포 사이의 토큰 단위 역 KL 발산을 C개 능력에 대해 평균한 것이다. 핵심은 정보 비대칭이다. 스킬은 전문가에게만 주어지고 학생에게는 주어지지 않으므로, 학생은 추론 시 스킬 없이도 절차적 지식을 가중치에 내재화하도록 학습된다. 저자들은 이 비대칭 조건화가 리워드 해킹 편향이 섞인 원시 전문가 예측을 그대로 전파하는 것을 막는다고 주장한다.
어떻게 쓰나
실험은 네 개 능력군에 걸친 8개 벤치마크에서 이뤄졌다. 세밀 지각은 CountBenchQA와 PixMo-Count, OCR·차트 이해는 CC-OCR V2와 ChartQA, 기호적 시각 추론은 VisualPuzzles와 We-Math, 다중 이미지 추론은 MUIRBench와 MMSI-Bench를 쓴다. 정확도를 기본으로 하고 OCR은 micro-F1, 전체 점수는 8개 벤치마크의 산술 평균이다. 백본은 Qwen3-VL-8B-Instruct와 Qwen3-VL-4B-Instruct이며, 비교 대상은 Claude Sonnet 4.6, Claude Opus 4.6, GPT-5.2, GPT-5.4, GLM-4.1V-9B-Base, Qwen2.5-VL-7B, InternVL3.5-8B, Qwen3-VL-8B, Qwen3-VL-32B, MiMo-VL-7B-RL이다. SCOPED-8B는 8개 벤치마크 전부에서 백본을 앞서며 평균 5.83점을 올렸고, 평가 대상 모델 중 최고 평균을 기록했으며 훨씬 큰 Qwen3-VL-32B까지 넘어섰다. SCOPED-4B도 평균 3.90점 향상으로 여러 대형 오픈소스 모델을 앞질렀다.
전제와 한계
절제 실험은 훈련 패러다임의 효과를 뒷받침한다. 능력별 데이터를 한꺼번에 파인튜닝한 SFT는 제로샷 백본보다 오히려 낮았고, 혼합 능력 RL(Mix-RL)은 전체 성능을 올렸지만 기호적 시각 추론과 다중 이미지 추론에서는 해당 능력 전용 전문가보다 낮았다. SCOPED는 Mix-RL 대비 평균 3.82점을 더 얻었다. 전문가 파라미터를 직접 병합한 변형은 온폴리시 증류 변형보다 일관되게 낮았고, 스킬 증강 없이 증류만 한 변형도 Mix-RL은 앞섰지만 전체 SCOPED가 네 능력군 모두에서 추가 향상을 냈다. 다만 스킬 증강은 대상 능력은 일관되게 올리는 반면 비대상 능력에 대한 효과는 제한적이고 때로 부정적이어서, 스킬과 전문가를 명시적으로 짝지어야 한다는 결과도 함께 보고된다. 분석에서는 독립 능력 RL이 Mix-RL보다 학습 보상에서 꾸준히 우위에 있었고, Mix-RL의 파라미터 업데이트는 전문가 유도 방향과 정렬이 약하며 여러 능력과 훈련 단계에서 음의 코사인 유사도를 보였다. 능력 쌍 사이의 그래디언트 코사인 유사도도 반복적으로 음수가 나와, 공유 정책 최적화가 한 능력을 올리면 다른 능력을 희생하는 시소 효과를 만든다는 증거로 제시된다. 스킬 조건화는 능력 내 궤적 임베딩 유사도를 높여 전문가 행동을 더 일관되게 만들고, 상위 디코더 레이어에서 과제 관련 시각 영역에 대한 주의 적중률을 높였으며(마지막 레이어에서 개선폭 최대), 증류된 학생이 전문가 유도 행동을 더 잘 보존하도록 했다.
개발자 관점에서 이 논문이 주는 실무 패턴은 명확하다. 여러 시각 능력을 한 모델에 넣으려 할 때 목표들을 한 번에 섞어 RL을 돌리는 대신, 능력별 데이터 분할과 능력별 보상 함수로 전문가를 따로 학습하고, 그 경험에서 스킬을 뽑아 증류 감독을 정규화한 뒤 하나의 학생으로 합치는 순서다. 배포 측면에서는 스킬이 증류 과정에서만 쓰이므로 추론 시 추가 컨텍스트나 스킬 검색 모듈이 필요 없다는 점이 장점이다. 도입을 검토한다면 능력별 보상 설계와 성공·실패 코호트를 나누는 임계값, 스킬-전문가 매칭 규칙을 먼저 확인해야 하고, 전문가 수만큼 강화학습을 따로 돌려야 하는 컴퓨트 비용도 감안해야 한다. 구현은 능력별 RL에 EasyR1, 다중 전문가 온폴리시 증류에 veRL을 사용했고 NVIDIA A800에서 실험했다.
원문에는 별도의 한계 절이 없다. 다만 본문이 밝히는 전제는 분명하다. 능력별 보상 함수와 능력별 데이터 부분집합이 있어야 하고, 스킬 추출이 해당 전문가 자신의 성찰에 의존한다. 스킬의 효과는 능력 특이적이어서 비대상 능력에는 이득이 제한적이거나 부정적일 수 있으므로 짝지음이 필수다. 실험은 Qwen3-VL 4B와 8B 백본에 한정되어 있어 다른 모델 계열이나 더 큰 규모에서의 일반화는 이 논문에서 검증되지 않았다.