코딩 에이전트 검증은 독립 비평가가 비용 대비 낫다

무엇인가

이 논문은 LLM 기반 코딩 에이전트가 도구를 쓰고 결과를 관찰하며 작업을 반복하는 하네스 안에서, 검증을 언제·누가·어떻게 수행할지에 대한 비교 지침이 부족하다는 문제를 다룬다. 검증을 단순한 정답 선택기가 아니라 테스트 시점 연산을 추가로 투입하는 스케일링 축으로 보고, 초기 지시부터 최종 수락 전 독립 리뷰까지 네 계층으로 설계 공간을 정리한다.

어떻게 동작하나

L0 초기 지시는 시스템 또는 사용자 메시지로 검증 지침을 넣어 산출물을 의도된 인터페이스로 실행하고 결함을 고치게 한다. L1 실행 중 알림은 도구 결과 뒤 다음 모델 호출 전에 주기적 또는 파일 편집 후 리마인더를 보내 최근 변경을 점검하게 한다. L2 완료 게이트는 에이전트가 끝내려 할 때 변경 검토, 실행·점검, 완료 거부 후 계속 작업을 요구하며 역할과 자동 마커, 개입 시점을 바꾼다. L3 독립 리뷰는 새 문맥의 비평가가 작업 명세와 샌드박스에 접근해 직접 검사하되 산출물은 수정하지 않고, 발견 사항을 에이전트에 돌려 수정하게 한다. 비평가 맥락은 과업 우선 또는 주장 안내, 변경만 또는 전체 궤적으로 달리한다.

무엇과 다른가

실험은 Terminal-Bench 2.1과 SWE-bench Verified, 그리고 새로 만든 VisualBench 18개 시각·상호작용 과제에서 했다. Qwen3.7-Max, Qwen3.8-Max, GLM-5.2, DeepSeek V4-Pro, DeepSeek V4-Flash, Kimi-K2.7-Code, MiniMax-M2.5 등 7개 코딩 모델을 비교하고, 독립 비평가로는 Qwen3.7-Plus를 썼다. 코딩 벤치마크는 모델·과제당 3회, VisualBench는 2회 실행했고, E2B 샌드박스와 Harbor로 환경을 구성했다. VisualBench는 기능성과 시각 품질을 블라인드 전문가가 승·패·무로 비교하며, 자동 채점이 가능한 코딩 과제와 달리 인간 평가를 포함한다.

어떻게 쓰나

L0는 시스템 역할 지시가 Terminal-Bench에서 +3.3점, SWE-bench Verified에서 +3.9점을 냈지만 사용자 역할은 +1.2점과 -1.1점에 그쳤다. 비용은 각각 1.08배와 0.94배 수준이었고, 출력 토큰은 0.90~1.00배로 크게 늘지 않았다. L1은 시스템 역할의 주기적 알림과 편집 후 알림이 Terminal-Bench에서 +3.8점과 +3.5점, SWE-bench Verified에서 +3.1점과 +3.6점을 냈다. 편집 후 알림을 사용자 메시지로 바꾸면 Terminal-Bench는 +5.4점이었지만 SWE-bench Verified는 -0.3점이었다. L1은 출력 토큰을 Terminal-Bench에서 14~25%, SWE-bench Verified에서 7~10% 줄이면서 비용도 0.90~1.12배, 0.85~0.89배에 머물렀다. 다만 VisualBench에서는 L0와 L1 모두 평균 선호도가 -3.2점으로, 렌더링 결과와 상호작용까지 점검하는 설계가 필요함을 보여줬다.

전제와 한계

L2 완료 게이트는 비용 대비 이득이 제한적이었다. 자동 거부는 Terminal-Bench +4.0점, SWE-bench Verified +5.3점을 냈고, 변경 검토는 +0.7점과 +0.5점, 실행·점검은 +2.6점과 -0.5점이었다. 실행·점검을 시스템 역할로 바꾸면 +4.5점과 +1.5점으로 올랐다. 이른 사용자 재점검은 +4.8점과 +4.1점, 이른 사용자 거부는 +6.0점과 +6.2점으로 L2 중 가장 컸지만, 거부 설계의 비용은 Terminal-Bench 1.60~1.76배, SWE-bench Verified 1.48~1.56배로 컸다. 이른 재점검은 1.13배와 1.20배였고 VisualBench에서 +2.7점을 냈다. 저자들은 완료 시점의 자기 점검을 피하라고 권고한다.

L3 독립 리뷰는 네 설계 모두에서 일관된 향상을 냈다. Terminal-Bench +5.9~9.5점, SWE-bench Verified +3.9~6.6점이었고, 비평가 리뷰와 에이전트 수정을 포함한 비용은 각각 1.13~1.25배, 1.00~1.04배였다. VisualBench에서는 네 설계가 +13.2~23.8점의 순선호를 기록해 평가된 L0~L2 설계를 앞섰다. 변경 기반 리뷰는 시각 점검을 요구하지 않을 때 +21.2점 대 +13.2점, 요구할 때 +23.8점 대 +21.6점으로 궤적 기반 리뷰보다 나았다. 궤적 기반은 비평가 비용이 Terminal-Bench와 SWE-bench Verified에서 29~43% 더 들었다. 리뷰 확장도 효과가 있었다. 비평가 1명·1라운드는 62.7% 정확도에 비평가 토큰 38.2k, 2라운드는 65.6%에 79.5k, 비평가 2명은 64.4%에 69.7k였고, 4라운드는 66.1%, 비평가 4명은 65.8%였다. 비평가 4명은 1명보다 평균 정확도를 3.1점 올리면서 총비용 1.33배였고, 4라운드 정확도에 근접하면서 총비용은 19% 낮았다.

개발자에게 이 논문의 실무적 메시지는 검증을 하네스의 명시적 설계 축으로 다뤄야 한다는 것이다. 초기 지시는 시스템 프롬프트에 짧게 넣고, 실행 중에는 코드 편집 후 산출물과 상호작용까지 점검하는 알림을 붙이는 편이 좋다. 완료 직전 자기 점검은 비용 대비 이득이 작으므로, 작업 명세와 변경 사항을 받은 별도 저비용 비평가에게 맡기는 구성이 기본값으로 유력하다. 예산이 허락하면 여러 비평가를 병렬로 붙여 수정 전에 피드백을 모으는 방식이 반복 실행을 줄일 수 있다. 다만 평균 이득은 모델과 벤치마크에 따라 크게 달라졌고, VisualBench는 내부 18개 과제의 전문가 평가라는 전제가 있다. 비평가가 결함을 찾아도 에이전트가 제한 시간 안에 수정하지 못한 사례도 보고됐으며, 전체 궤적을 주는 것이 항상 더 낫지는 않았다. 따라서 자기 하네스와 과제 분포에서 비용까지 포함해 다시 측정해야 한다.