교사와의 진행 정체 격차를 벌점으로 반영해 작은 언어모델 에이전트의 루프를 줄인다

무엇인가

이 논문은 LLM 기반 에이전트를 작은 언어모델(SLM)로 증류할 때 생기는 진행 정체(progress stagnation)를 다룬다. LLM 에이전트는 Reason-Act-Observe 루프로 복잡한 작업을 풀지만 토큰 소비와 추론 지연이 커서 배포가 어렵다. 그래서 교사 모델의 (Thought, Action, Observation) 궤적을 성공 사례만 골라 SFT로 학생 SLM에 모방시키는 방식이 쓰인다. 문제는 상호작용이 길어지고 검색 결과나 코드 실행 로그 같은 환경 피드백이 쌓일수록 학생이 실패한 전략을 반복하는 비생산적 루프에 빠진다는 점이다. 저자들은 Qwen3, Llama3, Gemma3와 여러 과제, 여러 미세조정 방식에서 이 현상이 반복되고 모델이 작을수록, 궤적이 길수록 심해진다고 분석한다.

어떻게 동작하나

분석의 핵심 도구는 턴 단위 정체 점수다. 현재 턴의 생각과 행동을 이전 모든 턴과 비교해 최대값을 취하며, 첫 턴은 비교 대상이 없어 0으로 둔다. 점수는 ROUGE-L 기반 어휘 중복, all-mpnet-base-v2 임베딩의 코사인 유사도 기반 의미 유사도, LLM-as-judge 평가의 세 가지로 계산된다. 저자들은 작업마다 정상적인 중복이 있을 수 있어 절대값보다 교사와 학생의 정체 점수 차이, 즉 정체 격차를 본다. 실험에서 학생의 어휘 정체 점수는 0.9에 가까울 수 있었고 세 지표의 Pearson 상관은 r>0.92로 높았다.

무엇과 다른가

제안 방법 ProD는 SFT로 만든 학생을 출발점으로 삼아 학생이 직접 생성한 궤적에 정체 벌점을 준다. 학생 궤적과 교사 궤적의 평균 정체 점수 차이 ΔS를 구하고, 정답 불일치 여부도 함께 넣어 적응형 마진 f를 만든다. f는 c0(α max(0, ΔS) + (1-α) 정답 불일치 지시값) 형태로, 학생이 더 정체되어 있고 답도 틀릴수록 큰 마진이 된다. 목적식은 SimPO에서 착안해 교사 궤적의 로그확률과 학생 궤적의 로그확률 차이에서 이 마진을 뺀 값을 시그모이드로 통과시킨다. 마진이 크면 정체된 학생 행동을 더 강하게 교정하고, 교사와 비슷하게 진행하는 궤적은 덜 건드린다. 여기에 원래 SFT 손실을 λ로 함께 최적화해 교사 궤적의 확률이 같이 떨어지는 likelihood displacement를 막는다. 한 번으로 부족하면 이전 라운드 학생으로 새 궤적을 생성해 벌점을 다시 계산하는 반복 최적화를 한다.

어떻게 쓰나

실험은 0.6B에서 8B까지 8개 SLM으로 한다. Qwen3 4B, 1.7B, 0.6B, Llama-3.1-8B-Instruct, Llama-3.2 3B와 1B-Instruct, Gemma-3 4B와 1B-it가 학생이다. 교사는 GPT-4.1이고 MATH와 HotpotQA 훈련셋에서 성공한 교사 궤적 3,000개를 수집해 증류 데이터셋을 만든다. 실행 프레임워크는 CodeAct이고 웹 검색 도구를 붙였다. LoRA rank 64, 배치 32, AdamW, 3% 워밍업의 선형 학습률 스케줄을 쓰고, 추론은 그리디 디코딩에 상호작용을 10턴으로 제한한다. 주요 결과는 어휘 정체 점수, 1회 ProD 반복, α=0.5를 쓴다. 평가는 동일 도메인 MATH 770문제와 HotpotQA hard 500문제, 외부 도메인 Omni-MATH 1,000문제와 2WikiMultiHopQA 500문제로 하고 GPT-4.1-mini를 LLM-as-judge로 쓴다. MATH는 7개 과목에서 110개씩, Omni-MATH는 난이도 1~3에서 500개와 4~5에서 500개를 뽑았다.

전제와 한계

주요 결과에서 ProD는 SFT 증류를 동일 도메인과 외부 도메인 모두에서 앞선다. 8개 학생 평균으로 동일 도메인 정확도는 베이스보다 29.2%p, SFT보다 4.7%p 높고, 외부 도메인은 베이스보다 18.5%p, SFT보다 4.9%p 높다. SFT 대비 상대 개선은 동일 도메인 약 10%, 외부 도메인 약 17%다. HotpotQA에서 Qwen3-4B 학생은 ProD로 70.8%를 내 교사 GPT-4.1의 71.0%에 거의 맞선다. 정체 점수는 어휘, 의미, LLM-as-judge 지표 모두에서 줄고, 상호작용 턴 수와 토큰 소비도 대부분 SLM에서 감소했다고 보고한다. 다만 이 본문에는 표 4의 구체적인 턴 수와 토큰 수치가 제시되지 않았다.

반복 제어 기법과의 비교도 있다. 디코딩 단계의 repetition penalty를 1.1, 1.2, 1.3으로 적용한 경우와 교사 시연을 짧게 줄인 데이터 수준 기법을 비교했는데, ProD가 크게 앞선다. 데이터 수준 기법은 교사 궤적의 평균 단계 수를 4.98에서 2.65로 줄였지만 학생 자신의 행동에는 제약을 주지 않아 SFT 대비 이득이 작았다. 부록 L에서는 rejection-sampling SFT보다도 우수하다고 보고한다. 절제 실험에서 SFT 손실과 적응형 마진을 모두 제거한 SimPO 유사 변형은 불안정했고 Qwen3-4B와 Gemma3-4B-it에서 SFT보다도 나빴다. 적응형 마진만 고정 마진으로 바꾸면 SFT보다는 낫지만 전체 ProD보다는 낮았다. α=0.5가 가장 좋았고, 정체 격차만 쓰는 α=1도 SFT보다 개선됐으며 정답 불일치만 쓰는 α=0은 상대적으로 약했다. ProD를 두 번 반복하면 정체가 더 줄고 정확도도 추가로 오른다.

개발자에게 이 논문은 에이전트를 작은 모델로 증류한 뒤 긴 툴 사용 궤적에서 같은 검색이나 코드를 반복하는 증상을 단순 프롬프트 문제가 아니라 학습 목표의 문제로 보게 한다. SFT만으로는 교사의 비정체 진행을 충분히 배우지 못할 수 있으므로, 학생 궤적을 생성해 교사와의 정체 격차와 정답 불일치를 마진으로 넣고 SFT 손실을 유지하는 설계를 참고할 만하다. 실무에서는 정체 점수와 정답률, 턴 수, 토큰 소비를 함께 모니터링하고, 교사 궤적 품질과 평가 도메인 외 일반화를 확인해야 한다.

저자들은 별도의 한계 절을 두지 않았고 결론에서 더 세밀한 진행 지표와 정체 행동을 정확히 위치시키는 방법을 향후 과제로 남긴다. 방법은 성공한 교사 궤적과 SFT 초기 학생에 의존하며, 실험은 CodeAct와 MATH, HotpotQA, Omni-MATH, 2WikiMultiHopQA, 최대 10턴, LoRA 설정, GPT-4.1 교사에 한정된다. 따라서 다른 도구 환경이나 더 긴 상호작용, 다른 교사 모델에서도 같은 이득이 나는지는 추가 확인이 필요하다.