Interlock는 장기 과제를 완료 그래프로 합성해 에이전트 훈련 데이터로 바꾼다

무엇인가

LLM 에이전트가 맡는 장기 과제는 증거가 조각조각 흩어져 있고, 상태는 절반만 완료되어 있고, 자원과 산출물 사이에 의존관계가 걸려 있는 환경에서 이뤄진다. 이 논문이 지목하는 실패는 개별 요구사항은 만족시키면서 그 요구사항들 사이의 관계를 놓치는 것이다. 어떤 조치를 보류하면 설명과 인수인계가 따라붙어야 하고, 배분을 바꾸면 일정과 예산도 같이 고쳐야 한다. 이런 의무는 그것을 발견한 상호작용보다 오래 살아남아서, 여러 번의 읽기·계산·편집이 지난 뒤에도 초기 증거와 결정을 영향받는 모든 결과에 적용해야 한다. 저자들은 이를 '지역적으로는 옳지만 불완전한 결과'라는 완료 격차로 규정하고, 과제 합성이 이런 조건부 의무를 보존해 전이 가능한 훈련 경험으로 만들 수 있는지를 중심 질문으로 세운다.

어떻게 동작하나

해법의 뼈대는 타입 지정 완료 그래프다. 그래프는 증거·규칙 역할(ℰ), 해결자가 결정해야 하는 결정과 공유 상태(𝒟), 수정된 레코드나 완성된 산출물 같은 관찰 가능한 필요 효과(𝒴)를 노드로 두고, 세 종류의 관계로 잇는다. 근거(grounding) 간선은 어떤 증거와 규칙이 어떤 결정을 뒷받침하는지를, 결합(coupling) 하이퍼엣지는 여러 결정·효과가 함께 만족해야 하는 공동 조건을, 실현(realization) 간선은 어떤 결정이 어떤 하위 효과에 반영되어야 하는지를 규정한다. 각 효과는 네 필드를 갖는 조건부 의무로 표현된다. 공적 증거·규칙(B), 의무를 따져야 할 대상 모집단(Ω), 그 모집단의 어떤 객체에 적용되는지(α), 그리고 결과물에서 무엇이 성립해야 하는지(φ)다.

무엇과 다른가

합성은 재사용 명세에서 출발한다. 도메인 안의 과제 패밀리, 반복되는 관계 패턴인 아키타입, 시나리오 파라미터를 묶은 블루프린트로 그래프를 만들고, 세 개의 생성 에이전트가 같은 그래프를 서로 다른 산출물로 컴파일한다. 환경 빌더는 초기 워크스페이스와 증거 인덱스를, 과제 작성자는 공개 요청과 비공개 산출물 계약을, 루브릭 컴파일러는 평가 기준을 만든다. 각 단계는 캐리어 맵을 남겨 그래프의 요구사항이 어느 조항·문장·기준에 대응하는지 추적할 수 있게 한다. 에이전트가 보는 것은 요청과 초기 워크스페이스뿐이고 루브릭은 컨텍스트 밖에 둔다. 이후 소스 커버리지 리뷰가 원래 명세의 의무가 생성물까지 살아남았는지 그래프의 모든 관계를 추적해 확인하고, 공개 입력 비평가는 요청과 워크스페이스만 보고서도 그 기준이 정당화되고 실행 산출물로 판정 가능한지 독립적으로 검사한다. 두 리뷰를 통과하고, 신선한 워크스페이스 사본에서의 검증 실행이 정상 종료하며 판정이 완결된 패키지만 채택된다. 중요한 점은 검증 실행의 해결자가 과제를 완수했는지를 채택 조건으로 요구하지 않는다는 것이다.

어떻게 쓰나

훈련 데이터는 완료 필터로 걸러낸다. 각 과제에는 기계가 읽는 루브릭 명세와 사람이 읽는 렌더링이 함께 붙고, 터미널 접근 권한을 가진 에이전트 심판이 파일을 직접 열어보고 필요하면 검증 스크립트를 작성해 실행하면서 기준별 통과 여부를 낸다. 필수 기준을 모두 통과한 궤적만 A_V=1로 인정되어 남는다. 훈련은 백본별 거부 샘플링 파인튜닝이다. 각 백본이 자기 정책으로 과제당 여러 번 시도하고, 그중 자기 것이 통과한 궤적만으로 지도학습을 한다. 손실은 어시스턴트 토큰 위치에서의 로그확률 최대화이며, 추론·응답·도구 호출이 모두 지도 대상이고 워크스페이스 관찰은 조건 컨텍스트로만 남는다.

전제와 한계

실험은 Qwen3.6-27B와 Qwen3.6-35B-A3B 두 백본에서 원본 체크포인트, ClawGym 공개 데모로 학습한 SFT, Interlock-RFT 세 설정을 비교한다. 합성 코퍼스는 백본마다 최소 한 번의 통과 궤적이 있는 3,278개 과제를 유지했고, 과제·백본당 5회씩 총 32,780회 시도 중 32,370회가 정상 종료했다. 각 모델은 자기 통과 궤적 8,957개, 약 1억 5,400만 개의 지도 토큰으로 학습했다. 평가는 AutomationBench 공개 600과제, JobBench Main·Easy 각 65과제, Harvey LAB 공개 1,251과제에서 이뤄졌고 모두 합성과 RFT에서 제외됐다. Interlock-RFT는 두 백본 모두 모든 열에서 최고점을 냈다. 27B는 AutomationBench 과제 통과율 +4.00%p, JobBench Main·Easy 가중 점수 +4.35·+6.64점, Harvey LAB 기준 통과율 +3.89%p였고, 35B-A3B는 +4.50%p, +3.20·+4.31점, +4.16%p였다.

추가 분석도 방법의 각 부분을 뒷받침한다. 훈련 도메인 수를 16·32·64·128로 늘리면서 궤적 수는 8,957개로 고정했더니 네 지표 모두 매 단계 상승했고 128 도메인에서 최고였다. 심판을 텍스트 전용 LLM 판정으로 바꾸면 동일한 롤아웃 풀·심판 백본·감독 예산에서 네 지표가 모두 떨어졌고, 에이전트 심판은 후보 궤적당 평균 판정 출력이 약 1만 1,030토큰에서 1만 2,280토큰으로 11.3%(약 1,250토큰) 늘었다. 즉 산출물을 직접 열어보고 재계산하는 검증이 학습 가치를 만든다. 과제의 장기성도 수치로 제시된다. Interlock의 정상 종료 궤적 32,370개는 평균 84,293토큰, 어시스턴트 턴 27.63회, 도구 호출 42.10회로, ClawGym 공개 궤적 24,497개의 14,940토큰·11.92턴·14.76회 대비 각각 5.64배·2.32배·2.85배다. 중앙값도 턴 25 대 9, 도구 호출 40 대 12로 벌어진다. 사례 연구는 실패가 국소적으로는 맞는지 보여준다. 27B의 한 시도는 가용 770단위에 970단위를 배분하고, 공유 트레이 3,250개를 넘는 3,920키트를 계획하고, 분할 불가한 230단위 주문을 부분 처리하고, 자신이 선택한 6,800달러 특급 비용을 현금 유출로만 기록하고 공헌이익에서 빼지 않았다. 다른 시도는 760단위, 3,250키트 상한, 주문 전체 제외, 선택 비용 차감으로 고친다.

개발자 관점에서 이 논문의 쓸모는 '에이전트 평가 루브릭을 어떻게 설계하고, 어떤 궤적을 학습 데이터로 남길 것인가'에 있다. 요구사항을 근거–결정–효과의 관계로 명시적으로 적어두면, 개별 체크리스트는 통과하는데 결과물이 미완성인 실패를 잡아낼 수 있다. 또한 심판에게 파일 시스템과 스크립트 실행 권한을 주는 것이 단순 텍스트 채점보다 학습 데이터 품질에 기여한다는 비교 수치(+11.3% 판정 출력, 네 지표 동시 개선)는 실무 파이프라인 설계에 바로 참고할 만하다. 다만 과제 채택 자체가 해결자의 성공을 요구하지 않으므로, 통과 궤적 필터와 과제 난이도 관리를 분리해서 운영해야 한다는 점도 함께 읽어야 한다.

원문에 별도의 한계 절은 없지만 전제는 곳곳에 드러난다. 실험은 Qwen3.6 계열 두 백본에 한정되고, 학습 데이터는 각 모델이 스스로 생성한 궤적 중 통과분이므로 자기 분포에 갇힐 수 있다. 합성 코퍼스는 128개 도메인·484개 과제 패밀리로 구성되며, 리뷰와 수정은 횟수가 제한되고 버전으로 관리된다고만 밝히고 수정이 반복될 때의 비용이나 실패율은 제시하지 않는다. 또한 JobBench와 Harvey LAB 판정에는 GPT-5.5가 심판으로 쓰였고, 두 백본 모두 훈련과 평가에서 사고 모드를 사용했다는 조건도 결과 해석에 붙는다.