외부 교사 없이 하네스 에이전트가 스스로 과제를 만들어 반복 학습한다

무엇인가

LLM 에이전트의 배치 환경이 챗봇과 RAG, 사전 정의된 도구를 쓰는 tool-use 에이전트를 지나 샌드박스 워크스페이스에서 파일 시스템과 셸을 직접 조작하는 하네스(harness) 환경으로 옮겨갔다. 문제는 후학습 파이프라인이다. tool-use 에이전트용 과제 합성 연구는 많지만 하네스 기반 에이전트용은 드물고, 그것도 대부분 일회성이며 교사 의존적이다. 더 강한 외부 모델이 과제를 합성하고 궤적을 수집하면 목표 에이전트를 한 번 학습시키고, 평가 결과는 루프로 되먹이지 않고 사람 연구자가 소비한다. 이 구조는 외부 모델의 능력과 인간 사전지식이 상한선이 되어 자기 개선의 여지가 없다.

어떻게 동작하나

ClawLoop는 이 상한선을 없애려는 폐루프 프레임워크다. 사전학습된 에이전트를 하네스 샌드박스에 배치한 뒤 K번 반복하며, 매 반복은 세 단계로 구성된다. 먼저 과제 합성과 선별 단계에서 다양한 과제 풀을 만들고 학습셋과 홀드아웃 평가셋으로 나눈다. 다음 학습 단계에서 학습셋 궤적으로 에이전트를 갱신한다. 마지막 진단·피드백 단계에서 갱신된 에이전트를 평가셋에 돌려 실패 패턴을 뽑아내고, 그 결과를 다음 반복의 과제 합성에 되먹인다. 저자들의 관찰은 명확하다. 하네스 자체가 임의 워크스페이스 생성, 궤적 실행, 코드 기반·루브릭 기반 검증을 이미 제공하므로 빠진 것은 인프라가 아니라 자기 약점을 식별해 맞춤 연습을 만들고 반복 개선하는 메커니즘이다.

무엇과 다른가

과제 합성은 두 개의 상호 보완 루틴으로 시작한다. 능력 주도(capability-driven) 합성은 구체적 도구집합이 아니라 능력 카탈로그로 조직된다. 조정(reconciliation), 교차 소스 감사, 다문서 병합, 도메인 계산 같은 워크플로 패턴에 목표 능력을 묶고, 이를 양봉 벌통 재고나 등산로 정비 기록, 아마추어 무선 교신 로그 같은 롱테일 도메인까지 폭넓게 인스턴스화한다. 도메인은 바꾸고 능력 골격은 유지함으로써 에이전트가 표면적 단서에 붙잡히지 않게 한다. 핵심 설계는 합성 LLM이 과제 데이터를 직접 쓰지 않는다는 점이다. 대신 build(seed) → (s0, y, C) 형태의 실행 가능한 생성기를 작성하고 TaskForge가 샌드박스에서 이를 실행해 다중 소스 증거 환경 s0, 정답 키 y, 정답 계약 C를 얻는다. 정답 키가 모델의 주장이 아니라 합성 데이터 위에서 코드를 돌린 결과라는 뜻이다. 계약 C는 필터링 기준, 반올림 관례, 동점 처리, 조인 키처럼 환경을 봐서는 복원할 수 없는 숨은 결정을 명시하고 산출물 스키마와 수치 허용오차를 고정하되 정답 값은 담지 않는다.

어떻게 쓰나

도메인 접지(domain-grounded) 합성은 반대 방향이다. 스키마가 노출된 실행 도구들과 도메인 환경을 완전히 기술하는 데이터베이스로 이루어진 실행 가능 도메인을 정의하고, AST 검사와 에이전트 자신이 수행하는 LLM 분석을 결합해 도구, 도구가 소비·생산하는 원자적 파라미터와 반환 필드, 읽고 쓰는 DB 테이블을 잇는 삼분 그래프를 추출한다. 이 그래프의 공유 노드에 대한 가중 친화도로 도구를 스킬로 클러스터링하고, 각 클러스터를 DB 접근을 상태 스냅샷 위에서 동작하도록 재작성한 CLI 스크립트, 스킬 문서, 그리고 문서가 아니라 생성된 코드에서 추출한 능력 명세로 구체화한다. 과제는 두 단계로 만든다. 먼저 장거리 의존, 분기, 수렴, 오류 복구 경로, 다중 하위 목표 같은 구조적 특징에 따라 추상 과제 그래프를 샘플링한다. 이 그래프에는 업무 내용도 도구 이름도 없어서 의미보다 구조가 먼저 정해진다. 다음 단계에서 그래프를 구체 도메인에 접지하는데, 스킬이 지원하지 않는 전이는 커버리지 검사가 거부한다. 지시문은 정답 궤적과 분리된 정보 장벽 아래에서 생성해 참조 해법이 새지 않게 하고, 종료 상태는 최종 DB 상태에 대한 구조적 술어로 표현해 실행 가능한 테스트 스위트로 컴파일한다. 테스트는 최종 상태만 평가하고 하드코딩된 식별자 대신 업무 의미 키로 레코드를 찾으므로 어떤 올바른 해법이든 통과한다.

전제와 한계

난이도 성장은 두 갈래다. 멀티홉 끌어올리기는 색인 파일, 개체별 상세 파일, 교차 참조 소스라는 세 종류의 소스를 갖춘 워크스페이스를 만들어 여러 소스를 조인해야 답이 나오게 한다. 이 구조는 프롬프트에 서술되는 게 아니라 구성 자체로 강제된다. 오염(dirtiness) 끌어올리기는 방해 요소, 누락 필드, 스키마 불일치, 단위 불일치를 통제된 방식으로 주입하되 정답 해법 논리가 교란된 데이터 위에서도 잘 정의되도록 제약한다. 산출물 형식은 구조화 JSON, CSV, 다중 파일 출력, 자유 보고서를 라운드로빈하며 마지막 경우에는 기계 검증 가능한 사이드카 파일에 채점 기준을 담는다. 검증은 두 단계다. 에이전트 없는 검증에서는 합성 LLM이 쓴 참조 해법이 자기 검증기를 통과해야 하고, 지시문이 정답 키를 누출하지 않으며 검증기가 자명한 해를 허용하지 않는지 결정적으로 확인한다. 이 상태에서 이미 테스트가 통과하는 과제는 아무 일도 하지 않고 보상을 받는 거짓 양성이므로 버린다. 통과한 과제는 에이전트 기반 검증으로 넘어가 N회 시행 중 통과 횟수가 [N_l, N_h] 구간에 드는 것만 남긴다. N_l=0이면 현재 에이전트가 못 푸는 과제가, N_h=N이면 항상 푸는 과제가 남기 때문이다.

학습은 두 가지를 쓴다. 검증을 통과한 과제에서 성공한 궤적만 골라 자기 증류 방식으로 SFT를 수행하되, 환경 관찰 토큰(도구 출력, 파일 내용)에는 손실을 마스킹하고 에이전트 자신의 행동 토큰에만 교차엔트로피를 계산한다. 성공 궤적 모방은 기존 정책의 최선 행동을 넘지 못하므로, 검증을 통과한 과제마다 검증 단계에서 모은 N개 롤아웃을 그룹으로 삼아 결과 기반 보상에 GRPO를 적용한다. 각 롤아웃의 어드밴티지는 그룹 평균 대비로 정규화된다. 진단 단계에서는 갱신된 에이전트를 별도 샌드박스에 배포해 평가셋 롤아웃을 모으고, 실패 궤적마다 에이전트 자신에게 실패 지점, 근본 원인(과제 오해, 도구 선택 오류, 잘못된 편집, 조기 종료), 결여된 능력을 구조화 요약하게 한다. 이 요약들은 보상 신호가 아니라 진단 증거다. 이후 스킬 범주별로 근본 원인 기준 클러스터링해 반복 실패 패턴을 보고서로 만들고, 다음 반복 과제 합성이 그 약점을 겨냥하도록 지침으로 넣는다. 논문이 든 예로 다중 파일 리팩터링 능력에서 대상 파일은 고치지만 의존 모듈의 import 문을 갱신하지 못하는 패턴이 반복 관찰됐다.

실험은 OpenClaw 하네스 위에서 Qwen3.6-27B를 루프 모델로 쓰고 K=3회 반복, 반복마다 1024개의 새 학습 과제를 생성하며, 과제당 N=8 롤아웃, RL 필터는 N_l=1, N_h=5로 설정했다. 평가는 하네스 비의존 SkillsBench(11개 전문 도메인 86개 과제), OpenClaw 기반 Claw-Eval-Live(실무 시나리오 105개 과제), ClawGym-Bench(200개 과제) 세 가지다. 저자들은 ClawLoop가 세 벤치마크 모두에서 ClawGym을 명확한 차이로 능가한다고 보고한다. 특히 분포 내에 해당하는 ClawGym-Bench의 이득이 SkillsBench, Claw-Eval-Live와 비슷한 수준이라는 점을 들어 분포 특화 과적합이 아니라 실제 능력 향상이라고 주장한다. 전이 실험도 있다. ClawLoop가 만든 과제로 Qwen3.5-4B와 9B를 학습시킨 결과가 ClawGym 생성 데이터로 학습시킨 결과와 동등하거나 우수했는데, ClawGym은 과제 합성과 궤적 수집 모두에 MiniMax-M2.5와 GLM-5.1이라는 더 강한 외부 교사를 썼다. 다만 논문 제공 범위에는 표의 구체적 수치가 제시되지 않아 벤치마크별 정확한 점수와 개선폭은 확인할 수 없다.

절제 연구는 구성 요소별 기여를 분리한다. 두 합성 루틴 중 능력 주도 루틴을 빼면 Claw-Eval-Live 하락이 가장 크고, 도메인 접지 루틴을 빼면 SkillsBench와 ClawGym-Bench가 주로 타격을 입는다. 벤치마크 성격과 루틴 설계가 맞물린 결과다. 난이도 성장은 즉시 궤적 길이를 늘리지만 긴 궤적이 곧 좋은 학습 신호는 아니며, 반복당 최대 한 단계까지만 올리는 완만한 스케줄이 최선의 균형이라는 관찰이 나온다. 반복 횟수 K는 SkillsBench가 계속 이득을 보는 반면 Claw-Eval-Live와 ClawGym-Bench는 K=3 부근에서 정체하며, 저자들은 이를 SkillsBench의 도메인 커버리지가 넓어 커리큘럼이 탐색할 여지가 크기 때문으로 해석하고 비용과 성능의 균형점으로 K=3을 택했다. 저자들이 밝힌 한계는 더 긴 학습 지평과 적응적 정지 기준의 탐색을 미래 과제로 남긴다는 것이다. 또한 이 프레임워크는 하네스가 워크스페이스 프로비저닝, 궤적 기록, 검증 API를 제공한다는 전제 위에 서 있고, 실험은 Qwen3.6-27B 단일 루프 모델로 수행됐다.

개발자 관점에서 이 논문의 실용적 가치는 교사 모델 없이도 학습 루프를 닫을 수 있다는 설계 청사진에 있다. 셸과 파일 시스템을 다루는 사내 에이전트를 운영한다면, 과제 생성기를 코드로 쓰게 해 정답을 계산으로 얻고, 오라클·누출 감사·통과율 구간 필터로 과제 품질을 걸러낸 뒤, 성공 궤적 SFT와 GRPO를 얹고, 실패 궤적 요약을 다음 과제 생성 지침으로 되돌리는 구조를 그대로 참고할 수 있다. 도입 전에 확인할 것은 세 가지다. 검증기와 누출 감사가 실제로 자명한 해를 걸러내는지, 통과율 구간 [N_l, N_h] 설정이 현재 모델 수준에 맞는지, 그리고 난이도 스케줄을 한 번에 크게 올리지 않고 반복당 한 단계로 제한하고 있는지다.