소크라테스식 대화로 에이전트 스킬 전이를 높인다

무엇인가

이 논문은 LLM 에이전트가 세션을 넘어 재사용할 수 있는 Agent Skill을 어떻게 학습해야 하는지를 다룬다. 스킬은 모델 가중치를 바꾸지 않고 재사용 가능한 지침과 실행 자원으로 에이전트를 확장하지만, 전이 가능한 스킬을 만들려면 어떤 절차를 어떤 조건에서 재사용하고 언제 적응해야 하는지에 대한 증거가 필요하다. 그런데 한 번 성공한 과제 시도는 검증되지 않은 가정을 남길 수 있고, 기존의 궤적 증류나 실패 후 피드백만으로는 학습자가 어떤 가설을 시험하고 어떤 실패를 파고들지 결정하기 어렵다. 그래서 저자들은 학습자가 증거를 모으는 도중에 외부 전문성이 어떻게 개입해야 하는지를 질문으로 세운다.

어떻게 동작하나

제안 방법은 Socratic Skill Learning(SSL)이다. 핵심은 전문가 교육과 학생 실습을 교차시키되, 환경을 조작하고 스킬 패키지를 작성하는 주체를 끝까지 Student로 두는 것이다. Educator는 최근 Student 작업과 현재 스킬을 읽기 전용으로 보며 설명, 반박, 진단, 검사 제안, 또는 침묵을 선택한다. Student는 조언에 질문하고, 실험으로 시험하고, 변형하거나 거부할 수 있으며, 대화와 환경 실험, 패키지 수정으로 응답한다. 스킬 패키지는 SKILL.md 지침과 선택적 스크립트·참조·자산으로 구성되고, 전이 유틸리티는 새 세션의 솔버가 사례 분포에서 얻는 검증 점수의 기댓값으로 정의된다. 각 라운드마다 새 솔버가 초기화된 앵커 과제에서 패키지를 시험하고, 그 궤적과 검증 피드백이 다음 라운드로 이어진다. 학습 세션은 지속되지만 평가 세션은 새로 열리며, 최종 패키지만 held-out 과제군 구성원으로 전이된다.

무엇과 다른가

SSL은 두 방식으로 구체화된다. Fixed-Window SSL은 Student가 도구를 g번 호출할 때마다 Educator가 최근 추론과 도구 결과, 현재 스킬, 과제군 명세, 이전 교훈, 앵커 피드백을 보고 개입한다. 주 실험에서는 g=10을 쓴다. Issue-Guided SSL은 해결되지 않은 학습 질문을 Learning-Issue Tree로 유지한다. 교훈은 무엇을 조사할지와 어떤 관찰 가능한 증거가 그것을 해결할지를 함께 남기고, Student는 파일 수정을 하나의 일관된 리비전으로 묶어 요약·증거·해결한 이슈를 선언한다. 이슈는 변경된 패키지와 사후 검증 성공, 적용 가능성 문서화, 또는 증거에 기반한 조언 거부로 닫힐 수 있다. 첫 리비전이나 워밍업 창 이후에는 미해결 이슈가 열리거나 바뀌거나 다시 열릴 때만 추가 검토가 일어나고, 새 솔버의 앵커 피드백이 모순되면 관련 이슈를 다시 연다.

어떻게 쓰나

평가를 위해 SkillTransferBench를 새로 만든다. 전체 카탈로그는 6개 도메인에 걸친 35개 과제군, 408개 실행 사례이며 과제군당 5~17개 사례가 앵커를 포함한다. Terminal-Bench, AgentIF-OneDay, SpreadsheetBench, CodeContests, FullStackBench, OfficeBench에서 과제를 적응시키고, 추출·적응 경로와 시드 확장 경로로 과제군을 만든 뒤 Docker 빌드와 테스트, 참조 해법 통과, 작성자 외 전문가 검토로 검증한다. 각 과제군은 앵커 과제와 불변 목표·허용 변동을 담은 공개 명세를 갖고, held-out 구성원이 전이를 시험한다. 주 코호트는 검증된 held-out 사례가 5개 이상이고 No-Skill 전수 스크리닝에서 완전 통과가 아닌 결과가 2개 이상인 22개 과제군, 155개 사례이며, 라이트 부분집합은 10개 과제군 77개 사례다. 평가는 새 솔버 세션에서 얼린 패키지로 수행하고, 과제군별 3회 독립 획득 실행과 가족-매크로 Avg@3를 쓴다.

전제와 한계

Qwen 주 코호트에서 Fixed-Window SSL은 유틸리티 0.801로, 스킬 없음 0.723, 적응된 Trace2Skill 0.761, 적응된 SKILL-KD 0.751을 앞선다. Trace2Skill 대비 3.99포인트(95% paired family-bootstrap CI [1.45, 6.49]), SKILL-KD 대비 4.99포인트 높다. 모든 비공개 검사를 통과해야 하는 가족-매크로 완전 통과율은 스킬 없음 32.50%에서 Fixed-Window 49.49%, Issue-Guided 50.82%로 오른다. 공유 10개 과제군의 Qwen·DeepSeek·Kimi 세 모델 쌍에서도 교차형 프로토콜이 직접 전문가 작성과 사후 교육을 앞서며, Fixed-Window는 세 쌍 모두에서 사후 교육을 이긴다. 주 코호트에서 사후 교육 대비 5.31포인트 높으면서 획득 토큰은 21% 적다. Issue-Guided는 0.805로 Fixed-Window의 0.801과 비슷하면서 Educator 토큰을 61.7%, 총 획득 토큰을 16.9% 줄이고 Educator 토큰당 전이 이득은 2.75배다. g=5는 Educator 비용을 늘리고 g=20은 줄이지만 둘 다 유틸리티가 낮다. Issue-Guided는 g=10 대비 검토 횟수를 47.8%, 후속 대화를 포함한 검토당 토큰을 26.7% 줄인다. DeepSeek과 Kimi에서는 Educator 토큰을 각각 63.8%, 77.4% 줄이면서 유틸리티를 1포인트 이내로 유지하지만, DeepSeek은 추가 Student 작업으로 총 획득 토큰이 오히려 늘어난다.

과정 분석은 조언이 실제 스킬 개발로 들어가는 경로를 보여준다. Qwen Fixed-Window 66개 실행, 3라운드의 630개 검토에서 교훈을 전달하는 비율은 1라운드 73.0%에서 3라운드 16.1%로 줄고, 조언은 추론 중심에서 진단 중심으로 이동한다. 교훈 뒤에는 다음 호출에서 파일 쓰기·편집 확률이 23.9포인트, 이후 10개 호출 안에 스킬 변경이 일어날 확률이 38.6포인트 높아진다. 앵커가 완벽한 점수를 낸 뒤에도 99개 라운드 중 98개에서 패키지가 바뀐다. 반면 검토당 평균 토큰은 첫 라운드에서 마지막 라운드로 5.3배 늘고, 마지막 라운드 검토 토큰의 85.8%는 침묵으로 끝난 검토가 차지한다. HTML 금융 사례에서는 Educator가 다른 항목에서 보고 값을 역산해 불일치를 찾자고 제안하고, Student가 처음에는 4개 지표를 표시했지만 실제 오류는 하나뿐임을 확인한 뒤 금융 관계와 역산으로 구현을 바꿔 진짜 오류를 분리한다. 최종 스킬은 이 관계를 유지하고 검증되지 않은 값과 반박된 값을 구분하며, 보지 못한 현금흐름 보고서에서 새 솔버가 4/4 검사를 통과한다.

개발자에게 이 논문은 에이전트 스킬을 프롬프트 모음이 아니라 검증 가능한 재사용 패키지로 운영하려는 팀에 유용하다. 특히 과제군마다 변동 조건이 있고 비공개 검사로 성공을 측정할 수 있는 코딩·스프레드시트·터미널·오피스 자동화에서, 전문가 조언을 사후 리뷰가 아니라 실습 도중에 넣는 설계가 전이를 높인다는 근거를 제공한다. 실무에서는 공개 명세와 held-out 사례를 먼저 만들고, 새 세션에서 얼린 패키지를 평가하며, Educator 토큰과 Student 토큰을 분리해 비용을 봐야 한다. 이슈 기반 검토를 쓰려면 리비전 선언과 사후 검증 규칙을 운영 프로세스에 넣어야 한다.

전제와 한계도 분명하다. 일반화 범위는 저자들이 구성한 SkillTransferBench와 세 모델 쌍, 그중에서도 Qwen 주 코호트에 걸쳐 있고, 전이는 같은 과제군의 held-out 구성원으로 제한된다. 최종 패키지만 전이되며 평가는 항상 새 솔버 세션에서 이뤄진다. Fixed-Window 결과는 g=10과 3라운드 설정에 기대고, Issue-Guided는 이슈 추적과 리비전 규율이 필요하다. 비용 절감도 모델에 따라 달라 DeepSeek에서는 총 획득 토큰이 늘었다. 이 방법은 모델 가중치를 업데이트하지 않고 스킬 패키지를 통해 지식을 축적한다는 전제 위에 있다.