터미널 과제의 진짜 깊이를 측정해 장기 과제를 합성한다

무엇인가

이 논문은 터미널에서 동작하는 에이전트를 평가하고 학습시키는 데 쓰이는 장기 과제가 정말로 '긴' 과제인지 의심하는 데서 출발한다. 기존 연구는 보통 모델이 과제를 통과할 때까지 쓴 턴 수를 길이로 보고, 생성 시점에 LLM이 붙인 난이도 라벨을 난이도로 본다. 저자들은 턴 수가 과제의 요구량보다 모델의 습관을 크게 반영하고, 생성 라벨은 실제 통과율을 거의 따라가지 못한다고 지적한다. 대신 과제를 작업량 W*와 깊이 D*로 나눈다. 작업량은 환경 상태를 이미 알고 있을 때 필요한 연산 수이고, 깊이는 각 턴의 명령을 이전 턴의 출력을 읽은 뒤에만 고를 수 있어서 반드시 순차적으로 일어나야 하는 턴 수다. 연산이 많아도 한 번의 스크립트로 끝낼 수 있으면 깊은 과제가 아니며, 진짜 장기 과제는 출력을 읽고 다음 명령을 결정하는 상호작용이 반복되는 과제다.

어떻게 동작하나

깊이를 재는 방법은 턴 상한 평가다. 에이전트에게 최대 T턴이 주어진다고 알려주고 T턴이 되면 실행을 멈추며, 과제를 통과하는 가장 작은 상한을 경험적 D로 기록한다. 상한 집합은 1, 2, 3, 5, 10, 20, 40, 80턴이고, DeepSeek-V4.1-Flash와 GLM-5.3-Flash 두 모델로 측정한 뒤 더 작은 값을 택해 특정 모델의 명령 병합 습관이 깊이를 과대평가하지 않게 했다. 작업량 W는 참조 해법의 비어 있지 않고 주석이 아닌 줄 수로 근사한다. 이 기준으로 TMax, FACET, SETA, RST 네 합성 데이터셋과 사람이 만든 TB2, TW를 포함해 734개 과제를 감사했다. 어떤 모델도 통과하지 못한 과제는 D 추정이 없고, GPU·대용량 다운로드·특권 컨테이너가 필요한 과제는 제외했다.

무엇과 다른가

감사 결과는 합성 방법이 주로 작업량만 늘렸다는 것이다. 통과된 합성 과제 296개 중 278개, 즉 94%가 D 3 이하였다. TMax와 SETA에서는 거의 10개 중 9개가 D 1이었고, 모델이 첫 턴에 모든 명령을 내고 출력을 읽지 않아도 통과한다는 뜻이다. 턴 수는 깊이를 과장한다. TMax와 FACET은 평균 16.3턴, 11.86턴을 보고하지만 통과 과제의 D 중앙값은 1~2턴이었고, 턴 수 N이 6~10인 170개 과제 중 96개가 D 1이었다. 합성 데이터의 작업량 중앙값은 68줄로 사람이 만든 데이터의 17줄보다 컸지만, D 5 이상 비율은 6% 대 10%로 오히려 합성 쪽이 높지 않았다. RST는 작업량 중앙값 119줄로 가장 컸어도 통과 과제의 79%가 D 3 이하였다. 반면 사람이 만든 데이터에는 D 5 이상 깊은 꼬리가 105개 중 11개 있었다. 깊이는 작업량을 통제한 뒤에도 난이도를 예측했다. TB2와 TW의 통과 과제 105개에서 순위 편상관은 -0.31, TB2만 보면 -0.49였고, 이 논문의 과제에서는 -0.29였다. 턴 수 N은 D를 통제하면 통과율과 무관했고(+0.06), 생성 라벨은 -0.07~-0.11에 그쳤다. TB2 저자 평가는 -0.46, D와 저자 평가의 편상관은 +0.55였다. 작업량과 깊이가 모두 큰 과제만 평균 백분위 0.29로 더 어려웠고, 하나만 큰 과제는 0.53~0.59로 두드러지지 않았다.

어떻게 쓰나

제안 방법 DEPTH는 이 깊이를 실제 소프트웨어 환경에서 만들어 낸다. 생성 에이전트가 먼저 환경을 탐색하고 사용자가 추구할 법한 전체 목표를 세운 뒤 여러 세그먼트로 나눈다. 각 세그먼트마다 지시문 I_s를 쓰고, 컨테이너 안에서 그 세그먼트를 직접 수행한 다음, 소프트웨어가 실제로 보인 동작을 바탕으로 참조 해법 sigma_s와 검증기 V_s를 작성한다. 이후 깨끗한 컨테이너에서 이전 상태로부터 참조 해법을 재실행해 e_s를 재현하므로, 손으로 만든 변경에 의존하지 않는다. 각 세그먼트에는 '키 스텝'이 있다. 평소 방식대로 하면 이 환경에서는 오류가 나거나 조용히 잘못되며, 명령을 실행해야만 드러나는 단계다. 다음 세그먼트는 이 키 스텝을 거쳐야만 생기는 결과 R_s를 사용해야 하므로, 평가 대상 에이전트는 출력을 읽고 경로를 바꿔야 한다.

전제와 한계

검증기는 세그먼트 완료 기준을 정하므로 키 스텝을 보지 못하면 깊이가 생기지 않는다. 그래서 검증기는 소프트웨어 자체 도구로 결과를 확인하고, 특정 설정이나 명령을 찾지 않는다. 각 V_s는 세그먼트 이전 상태에서도 실패하고, 키 스텝을 제거한 참조 해법이 남긴 상태에서도 실패하도록 작성한다. 검증기가 의존하는 경로·포트·계정 이름은 지시문에 그대로 적되, 키 스텝의 해법은 적지 않는다. 과제 수용은 깨끗한 오프라인 컨테이너에서 참조 해법을 처음부터 재실행해 모든 세그먼트 검증을 통과하는지로 결정한다.

이렇게 만든 과제는 105개이며, 각각 다른 시드 환경에서 나왔고 3~6개, 대부분 6개 세그먼트를 가진다. DeepSeek-V4.1-Flash가 54개를 풀었고 그중 44개가 D 40 이상이었다. 작업량 중앙값은 315줄로 기존 합성 데이터 통과 과제의 90백분위수인 226줄을 넘고, 턴 수 중앙값은 45턴으로 기존 데이터의 5~9턴과 큰 차이를 보였다. 깊이가 세그먼트 전달 방식에서만 오는 것은 아니다. 무작위 25개 과제의 세그먼트를 하나의 지시문으로 합쳐 다시 측정했더니 68%는 D가 줄지 않았고, 줄어든 경우도 대부분 한 단계 상한만 떨어졌다. 시드 환경 때문도 아니다. 풀린 과제의 시드 환경 54개 중 35개에 원래 과제가 있었는데, 원래 과제는 34쌍에서 D 10 이하, 26쌍에서 D 1이었고, 이 논문의 과제는 모두 D 20 이상이면서 35쌍 전부에서 더 깊었다. 검증기 재실행에서도 세그먼트 이전 상태에서는 602개 중 601개가 실패했고, 키 스텝을 제거하면 604개 중 598개가 실패했으며, 그 상태에서 다음 세그먼트도 500개 중 421개가 실패해 세그먼트 간 의존성이 확인됐다. 생성 비용은 시드 환경 136개에 113.66달러였고, 105개가 수용되어 77% 수용률, 수용 과제당 약 1.08달러였다. 평가와 D 측정 비용은 제외된 수치다.

모델 평가에서는 여섯 모델이 모두 terminus-2에서 과제당 두 번, 상한 없이 실행됐고 첫 실패 세그먼트에서 멈췄다. pass@1은 GLM-5.3-Flash 17%에서 Claude Sonnet 5.5 47%까지 30포인트 차이를 보였고, GPT-6.1 Sol은 44%였다. 여섯 모델 결과가 모두 있는 90개 과제 중 29개는 어느 모델도 통과하지 못했다. 세그먼트 하나를 안정적으로 끝내는 비율의 기하평균은 Claude Sonnet 5.5가 0.88, GLM-5.3-Flash가 0.74였는데, 이 작은 차이가 6개 세그먼트에 걸쳐 전체 통과율 47% 대 16%로 증폭됐다. 학습 데이터로도 쓸 수 있다. 이 과제들의 실행 1,272개에서 만든 4,941개 샘플로 Qwen3-8B를 미세조정했더니 Terminal-Bench 2.1 pass@1이 2.6%에서 4.9%로, OpenThoughts-TBLite가 3.4%에서 9.1%로 올랐고, 기반 모델의 사고 모드보다도 높았다. 학습에 쓴 과제는 두 벤치마크에서 나오지 않았다.

개발자에게 이 논문은 벤치마크와 학습 데이터의 '길이'를 다시 정의하라는 경고다. 턴 수가 많다는 이유만으로 장기 과제라고 부르면, 모델이 한 턴에 스크립트를 몰아넣는 습관을 과제의 깊이로 착각할 수 있다. 과제를 만들 때는 출력을 읽어야만 다음 명령을 고를 수 있는 키 스텝을 넣고, 세그먼트 간 의존성을 검증기로 강제하며, 검증기가 키 스텝을 실제로 보는지 재실행으로 확인해야 한다. 평가에서는 턴 상한을 낮춰 가며 통과 여부를 재고, 작업량과 깊이를 함께 보고하라는 것이 이 논문의 실무적 결론이다.

한계도 분명하다. D는 이론적 하한이 아니라 모델 집합, 하네스, 단일 초기 상태 e0에 의존하는 경험적 추정치다. 어떤 모델도 통과하지 못한 과제는 D 추정 자체가 없고, GPU나 대용량 다운로드, 특권 컨테이너가 필요한 과제는 감사에서 빠졌다. 생성과 평가는 네트워크 없이 돌아가며, 깊이 측정에 쓴 모델도 두 개뿐이다. 생성 비용과 수용률은 공개됐지만, 평가 및 D 측정 비용은 별도로 계산되지 않았다. 저자들은 이런 전제 위에서도 과제의 길이를 가정하지 말고 측정하라고 권고한다.