Tev가 잠재 세계 합성으로 장기 에이전트 학습의 희소 보상 문제를 푼다

무엇인가

이 논문이 푸는 문제는 장기 호라이즌(long-horizon) 에이전트 학습 데이터가 사실상 존재하지 않는다는 것이다. 저자들에 따르면 최근 코딩 에이전트 연구는 SWE-Smith, TMAX, Endless Terminals, CLI-Gym, SETA, Terminal-Universe 같은 대규모 코퍼스로 짧거나 중간 정도의 과제를 확장해 왔지만, 이들은 수천에서 수만 개의 환경을 담고 있어도 각 환경이 풀 리퀘스트 크기의 수정이나 짧은 터미널 세션에 불과하고, 단위 테스트 기반 평가라서 최종 pass/fail 또는 통과한 테스트 비율이라는 종단 신호만 준다. 반대로 진짜 장기 호라이즌 과제는 인간이 직접 만든 벤치마크(Agents' Last Exam, Terminal-Bench)에 수십에서 수백 개 수준으로만 존재하며, 각 과제가 전문가 수 주 분량이고 손으로 쓴 체크포인트로 부분 점수를 줄 뿐이며 평가셋으로만 쓰인다. 결과적으로 학습용 코퍼스는 크지만 짧고, 장기 과제는 길지만 작고 평가 전용이라는 공백이 생긴다.

어떻게 동작하나

제안 방법의 핵심은 latent-world-first 합성이다. 먼저 과제 도메인·워크플로·각 단계 이후의 기대 상태를 담은 완전하고 정확한 숨은 명세인 잠재 세계 W를 만든다. 절차는 6단계다. 시드 기반 생성기가 W를 절차적으로 만들고 불변식(고유 식별자, 유효한 조인, 유한 측도)을 검증하면서, 동시에 어떤 레코드·샤드·필드를 어떤 연산자로 망가뜨릴지 정하는 결함 계획을 뽑는다. 다음으로 워크플로를 의존성과 허용 병렬성, 단계별 의미 작업량 추정을 가진 DAG로 컴파일하는데, 이 DAG는 모델 개입 없이 코드로 만들어지고 그 임계 경로가 과제의 지평(horizon)을 정의한다. 이후 W를 공개 인터페이스에 투영해 CSV/TSV 파티션, JSON 레코드, SQLite DB, safetensors 샤드, 스트립된 바이너리, 인프라 매니페스트 같은 실제 입력 파일로 렌더링하고, 렌더링이 라운드트립되는지(렌더링된 파일에서 W가 정확히 복원되는지) 확인한다. 마지막으로 결함 계획을 적용해 스키마 드리프트, 중복·누락 레코드, 범주 드리프트, 샤드 인덱스 뒤섞기, 오래된 캐시 등을 주입한다. 이렇게 만들어진 손상된 트리 s0가 에이전트가 받는 과제이고, 손대지 않은 W가 정답이다. 렌더링이 라운드트립되고 손상이 선언적이며 가역적이기 때문에 s0만으로 W가 완전히 결정되고, 정답은 솔버를 돌리지 않고도 구성상 정확하게 알 수 있다. 논문은 환경의 모든 구성 요소 E = (x, s0, ver_W, Φ_W) — 프롬프트, 입력 트리, 엄격한 검증기, 진행 포텐셜 — 가 같은 W의 함수라고 강조한다. 이 단일 앵커가 환경·과제·검증기를 따로 생성했을 때 각각은 그럴듯하지만 서로 다른 문제를 가리키게 되는 아티팩트 드리프트를 막는다. 에이전트에게 보이는 것은 공개 계약인 프롬프트뿐이고, 그 밖에 의미 보존 재작성인 메타모픽 변환과 그럴듯하지만 틀린 상태인 stale-output 반사실로 구성된 숨은 스위트를 검증용으로 봉인한다.

무엇과 다른가

보상 설계가 두 번째 축이다. 각 환경은 워크플로 DAG에서 파생된 검사 가능한 상태 노드 집합 V, 가중치 w_v(합 1), 선행조건 집합을 담은 진행 계약을 제공한다. 부분 채점기 c_v(s)가 에이전트의 현재 작업공간을 잠재 세계와 직접 대조해 노드별 점수를 매기고, 크레딧은 선행조건으로 게이팅되어 c̃_v(s)는 해당 노드와 직·간접 선행조건 중 가장 낮은 점수가 된다. 포텐셜은 Φ(s) = Σ w_v c̃_v(s) ∈ [0,1]이다. 이를 학습 신호로 바꾸는 것이 progress-potential reward shaping(PPRS)이다. 각 스텝의 셰이핑 보상은 포텐셜 변화 r_t = Φ(s_t) − Φ(s_{t−1})이고, 롤아웃 보상은 R(τ) = 1[τ passes] + λ Σ r_t = 1[τ passes] + λ Φ(s_T)이며 λ = 0.25를 모든 실행에서 쓴다. 통상적인 포텐셜 기반 보상 셰이핑(PBRS)이 최적 정책을 바꾸지 않도록 종단 포텐셜을 0으로 만드는 것과 달리, PPRS는 λΦ(s_T) 항을 남겨 목적함수를 의도적으로 바꾼다. 제출은 상태가 아니라 행동이므로 Φ는 작업공간을 채점하고, 턴이나 토큰 예산을 다 쓰고 제출하지 못한 롤아웃은 λΦ(s_T)만 받는다. Φ가 작업공간만의 함수이므로 같은 최종 상태에 도달한 두 롤아웃은 경로나 구현이 달라도 같은 보상을 받는다. Φ ≤ 1이라 통과 롤아웃은 항상 1+λ로 실패 롤아웃보다 높아, 완료와 부분 진행을 맞바꾸는 롤아웃이 생기지 않는다.

어떻게 쓰나

이 설계가 겨냥하는 실패 모드는 GRPO의 그룹 상대 정규화다. 종단 보상만 쓰면 같은 과제의 G개 롤아웃이 전부 실패한 그룹은 모든 advantage가 0이 되어 그래디언트에 아무것도 기여하지 못하고 G개 롤아웃이 낭비된다. 정책이 과제를 풀 확률이 p일 때 낭비되는 그룹 비율은 (1−p)^G로, p=0.05, G=8이면 66%, p=0.01이면 92%다. 장기 호라이즌 과제에서 학습되지 않은 오픈 모델의 p는 대략 10분의 1 이하이므로 이런 그룹을 버리거나 리샘플링하면 배치 대부분이 사라진다. 성공이 하나뿐인 그룹도 사정은 비슷해서, 그 하나가 G−1개의 동일한 음의 advantage를 가진 실패들과 대비될 뿐이라 그래디언트는 아슬아슬한 실패와 아무 진전 없는 롤아웃을 구분하지 못한다. PPRS를 적용하면 전원 실패한 그룹의 보상이 λΦ(s_T^(i))가 되고, 롤아웃들이 서로 다른 깊이까지 진행했다면 이 값이 달라져 advantage가 0이 아니게 되며 진행 정도에 따라 롤아웃 순위를 매긴다.

전제와 한계

데이터셋 Tev-Gym은 7개 도메인(소프트웨어 공학, 데이터 엔지니어링, AI/CS 연구, 수학·오퍼레이션스 리서치, 보안·포렌식, 인프라 관리, 양자 컴퓨팅)에 걸친 1,170개의 검증된 장기 호라이즌 과제 환경으로 구성된다. 프론티어 에이전트 기준 롤아웃 중앙값이 12.4분으로, 가장 시간 집약적인 기존 코퍼스보다 약 6배 길고 통과율은 가장 낮다. 각 환경은 하위 도메인, 규모, 4개의 지평 축, 워크플로 단계, 도구 능력, 아티팩트 역할, 관계 유형, 손상 클래스 등 19개 커버리지 축에 라벨링된다. 난이도는 규모 티어(기본 unit, small, full)와 워크플로 DAG의 의존 깊이 및 결함 계획의 손상 클래스 수로 조절한다. 생성 시점에 자동 검사하는 8개의 벤치마크 독립 게이트를 모두 통과해야 채택되며, 그중 3개가 진행 포텐셜을 뒷받침한다. 14개 게이밍 프로브가 모두 0점을 받아야 하고(익스플로잇 저항성), 부분적으로 맞는 상태에서 포텐셜이 0과 1 사이에 있고 참조 궤적을 따라 단조 증가해야 하며(진행 유효성), 진행 채점기·엄격 검증기·참조 솔버의 코드 클로저가 서로 겹치지 않아야 한다(역할 독립성).

학습은 Qwen3.5-9B와 Qwen3.8-27B를 DPPO로 수행한다. 9B는 unit 난이도 티어의 264개 과제 부분집합으로, 27B는 전체 코퍼스로 학습해 모델과 데이터를 함께 확장한다. 스텝당 8개 과제에 대해 G=24개 롤아웃, 롤아웃당 65,536 토큰(턴당 16,384), 최대 64회 도구 호출, bash 도구 하나만 노출하는 샌드박스를 쓴다. 27B 모델은 B200 4노드 또는 A100 8노드에서 약 4일간 학습했다. 결과는 ALE-CM(Agents' Last Exam의 컴퓨팅·수학 분할)에서 Tev-9B가 Qwen3.5-9B 대비 Pass@5를 83% 올렸고, Tev-27B는 Qwen3.8-27B 대비 65% 올려 0.28에 도달해 Pass@5 기준 GPT-6 Astra, Claude Opus 5와 동급이 됐다. ALE 관련 데이터로만 학습했음에도 TB 3.0과 4.0의 CM 서브셋(각 22개, 18개 과제)으로 일반화해, 27B의 P@1이 TB 4.0에서 0.04에서 0.10으로 2.5배, TB 3.0에서 0.09에서 0.14로 56% 올라 GLM 5.2를 넘어섰다. 다만 프론티어와의 격차는 남아, 두 스위트 최강인 Claude Opus 5는 P@1 0.53(TB 3.0)과 0.52(TB 4.0)를 기록한다. 더 큰 베이스로의 전이도 확인된다. 같은 레시피를 GLM-5.3-Flash에 적용한 Tev-320B는 TB 3.0에서 0.20에서 0.27로, TB 4.0에서 0.29에서 0.37로 P@1이 올랐고 TB 3.0 보안 범주가 0.22에서 0.45로 가장 크게 개선됐다. 다만 개선은 P@1에 집중돼 P@5는 TB 3.0에서 0.05 오르고 TB 4.0에서는 변하지 않았는데, 이는 학습이 새 과제를 열기보다 이미 도달 가능한 과제를 더 안정적으로 풀게 만든다는 뜻이다. 중간 지평 벤치마크 TB 2.1에서는 Tev-9B가 P@1 28%, P@5 19% 올랐고, Tev-27B는 P@1 0.794, P@5 0.884로 Claude Opus 4.8 수준에 도달했다.

어블레이션은 데이터와 보상 양쪽을 분리해 검증한다. 에이전트가 보는 시점만으로 검증기를 작성하게 한 public-view 변형은 학습 중 샘플 그룹의 88%가 폐기됐고, 프롬프트를 입력·검증기·해법보다 먼저 생성하는 표준 self-instruct 베이스라인인 prompt-first는 잠재 세계도 DAG도 남기지 않는다. 둘 다 종단 보상을 쓰기 때문에 sparse 행과 비교되는데, S@1에서 베이스(0.25) 대비 개선이 없었고(각 0.24, 0.23), 전체 방법은 이들을 S@1에서 0.05~0.06, P@5에서 0.05 앞선다. 조밀 보상 어블레이션에서는 PPRS를 종단 전용 sparse 보상, 롤아웃 단위 정규화, γ=0으로 Φ(s_t)를 직접 가산하는 방식과 비교한다. PPRS가 성능과 학습 효율의 균형이 가장 좋아 sparse 대비 S@1을 0.04 올렸다. 턴 인덱스 정규화는 늦은 턴의 작은 리턴을 롤아웃 전체 평균과 비교하지 않게 해 크레딧을 보존하고, γ=1은 진행을 이전 행동으로 전파한다. 반대로 직접 가산 보상은 크레딧 전파 없이 높은 포텐셜 상태를 반복 보상해 제출 전에 컨텍스트 윈도를 소진하는 롤아웃이 늘고 궤적이 길어진다. 27B에서는 격차가 더 벌어져, 셰이핑 보상은 학습을 끝까지 진행시키는 반면 종단 전용 보상은 거의 전부 zero-advantage 그룹이 되어 옵티마이저 스텝을 단 한 번도 완료하지 못한다.

개발자 관점에서 이 논문의 실용적 가치는 두 가지다. 첫째, 검증 가능한 밀집 보상을 사람이 단계 라벨을 달거나 프로세스 리워드 모델을 학습시키거나 LLM 심사자를 붙이지 않고, 정답을 먼저 만들고 그로부터 과제를 역생성하는 방식으로 확보하는 레시피다. 에이전트 RL 파이프라인에서 그룹 전원 실패로 그래디언트가 죽는 문제를 겪고 있다면, 보상 스케일링보다 먼저 중간 상태를 채점할 수 있는 정답 앵커가 있는지 점검할 가치가 있다. 둘째, 데이터 오염 관리 방식이다. Tev-Gym의 어떤 환경도 ALE-CM, TB 3.0, TB 4.0, TB 2.1의 과제와 13-gram 또는 8-gram을 공유하지 않고, 평가 과제의 데이터셋 최근접 프롬프트 Jaccard 중앙값은 TB 3.0/4.0에서 0.13, ALE-CM에서 0.22로, 같은 벤치마크 과제끼리 비교한 0.24~0.25, 0.28보다 낮다. 합성 데이터로 학습시킬 때 무엇을 측정해야 하는지에 대한 참고가 된다.

저자들이 밝힌 한계는 분명하다. 현재 연구는 합성 터미널 환경에 초점을 맞추고 있고, 가장 어려운 벤치마크에서는 여전히 자사 모델과 선도 프론티어 에이전트 사이에 격차가 남는다. 또한 새로운 워크플로를 지원하려면 환경 구성 요소를 추가로 저작하고 검증해야 한다. 향후 과제로는 이 과정을 단순화하고 도메인 커버리지를 넓히며, 결과 데이터를 더 강한 오픈 모델과 결합해 사람의 단계 라벨이나 LLM 심사자 없이 재현 가능한 RL로 더 많은 전문 워크플로를 제공하는 것을 제안한다.