에이전트 하네스는 정책에 결정 점수로 남아 전이 실패를 만든다

무엇인가

이 논문이 다루는 문제는 에이전트의 성능 비교가 왜 자주 뒤집히는가다. LLM 에이전트는 프롬프트, 도구, 제어 로직을 묶은 하네스 위에서 후학습되고 배포되는데, 실무에서는 새 하네스를 고정된 이미 학습된 모델로 평가하고 그 점수로 하네스를 개정한다. 이 관행은 기존 하네스에서 배운 것이 새 하네스로 전이된다고 가정하지만, 저자들은 같은 인터페이스 변경이 어떤 모델은 올리고 미세조정된 모델은 떨어뜨릴 수 있다는 점을 문제로 삼는다. 질문은 두 가지다. 정책이 하네스로부터 무엇을 배우며, 하네스가 바뀌면 무엇이 남는가.

어떻게 동작하나

이론의 출발점은 하네스를 인터페이스로 형식화하는 것이다. 인터페이스는 상태를 컨텍스트로 인코딩하고, 모델 출력을 실행 가능한 의미 행동으로 디코딩하고, 그 행동을 실행한다. 같은 의미 행동을 내는 여러 출력이 있을 수 있으므로 토큰 정책은 인터페이스를 통해 의미 정책으로 합쳐진다. 저자들은 KL 정규화 제어 문제를 세우고, 최적 정책이 행동 점수 F* = Q* + τ log π_ref의 소프트맥스임을 이용한다. 여기서 Q*는 장기 가치, π_ref는 기준 정책이다. 따라서 최적 정책의 두 행동 간 τ log(Π(a)/Π(b))는 두 행동의 점수 차이와 같아진다. 정책은 하네스의 코드나 도구를 담지는 않지만, 하네스가 유도한 상대 행동 점수를 읽어낼 수 있는 형태로 품는다. 저자들은 이를 해당 인터페이스를 통한 모델의 읽기값이라 부른다.

무엇과 다른가

이 구조는 전이 실패를 세 조각으로 나눈다. 새 하네스에서 정책의 점수 오차는 목표 이동, 학습 잔차, 읽기값 드리프트의 합이다. 목표 이동은 새 하네스가 최적으로 여기는 행동이 달라진 것이고, 학습 잔차는 원래 하네스에서 학습이 남긴 오차이며, 읽기값 드리프트는 같은 가중치가 새 인터페이스에서 다른 점수를 표현하는 변화다. 실행이 바뀌면 목표가 움직이고, 표현만 바뀌면 목표는 그대로인데 읽기값이 움직인다. 관찰 필드 순서를 바꾸는 실험이 후자다.

어떻게 쓰나

수익으로 연결하려면 점수만으로는 부족하다. 모든 행동 점수에 같은 상수를 더해도 결정은 바뀌지 않기 때문이다. 저자들은 KL 정규화 성능 갭 항등식을 하네스 문제에 적용해 배포 수익을 J = C − M으로 쓴다. C는 하네스의 천장, 즉 어떤 정책도 넘을 수 없는 최적 정규화 수익이고, M은 미스매치, 즉 정책이 최적 정책에서 벗어나 잃는 수익이다. 미스매치는 정책 자신의 궤적에서 누적한 KL 발산으로 측정된다. 하네스를 고정하면 학습은 M만 줄이고, 하네스를 바꾸면 C와 M이 모두 움직인다. 그래서 고정 모델 비교는 하네스가 제공하는 것과 그 모델이 그것을 얼마나 잘 쓰는지를 섞는다. 새 하네스가 천장을 조금 올려도 고정 모델의 미스매치를 크게 올리면 수익은 떨어진다. 저자들은 적응 후 미스매치가 T = ΔC + M(원래 쌍) 아래로 내려가면, 고정 모델에서 해로웠던 개정이 적응 후에는 원래 쌍을 이긴다는 조건을 유도한다.

전제와 한계

실험은 MiniWoB++ 세 과제군에서 여섯 하네스 H0부터 H5까지로 구성된다. H0는 한 번에 하나의 원래 행동을 실행하고, H1부터 H5는 배치 클릭, 자동 검사, 검증 도구, 추가 지시를 넣는다. Qwen3.5-2B를 정확한 정책 그래디언트로 후학습하고, 소프트 벨만 해로 각 하네스의 최적점을 계산하며, 평가는 학습에서 제외한 과제로 한다. 후학습은 모든 하네스에서 성공률을 올리고 기하 오차를 69%에서 90%까지 줄였다. 또 각 체크포인트는 자신이 학습한 하네스에서 가장 낮은 오차를 보여, 선호가 훈련 하네스에 특화된다. 관찰 필드 순서를 뒤집으면 모든 최적 결정이 그대로인데도 성공률이 85.0%에서 19.2%로 떨어지고, 약 절반 상태에서 가장 확률 높은 행동이 바뀐다. 배치 클릭을 추가한 H1은 천장을 조금 올리지만 고정 체크포인트의 미스매치를 약 열 배 키워 성공률을 떨어뜨린다. 그런데 같은 예산으로 H1에 적응시키면 원래 체크포인트와 H0 연속 학습을 모두 이긴다. 여섯 하네스 사이의 아홉 교체 중 고정 비교가 거부하고 T가 양수인 경우를 보면, 천장을 올리는 일곱 교체는 적응 후 모두 원래 쌍을 이겼고 천장을 낮추는 둘은 이득이 없었다. 적응 전에 잰 천장과 미스매치로 이득을 예측하면 순위 상관이 0.95였고, 고정 수익 변화는 0.17에 그쳤다.

배포에서는 전체 행동 분포와 정답 최적점을 알 수 없으므로 저자들은 샘플로 미스매치를 추정한다. 먼저 파일럿 롤아웃을 (1−γ)γ^t 확률로 무작위 시점에 멈춰 할인 점유에서 상태를 뽑고, 각 상태에서 배포 인터페이스로 N개 행동을 샘플링해 도수 분포를 만든 뒤 최적 정책과의 KL을 평균한다. 다른 경로는 두 행동의 로그 오즈 차이로 중심화된 점수 오차를 추정하고, 그 오차의 제곱이 미스매치를 4τ(1−γ)로 나눈 값으로 상한된다는 성질을 쓴다. 큰 설정 변화에서는 샘플 미스매치를 빼는 예측이 천장만 쓰는 예측보다 오차를 약 100배 줄였고, 방향도 거의 모든 변화에서 맞혔다. 적응 중의 작은 차이에서는 미스매치 기반 예측이 빈도 롤아웃보다 약 10배 정확했고, 빈도 롤아웃은 차이를 과대평가해 순위 역전을 너무 일찍 예측했다. 코딩 에이전트에서는 Terminal-Bench Lite의 다섯 하네스에 고정 Qwen3.5-9B를 배포해 정확도가 47.9%에서 64.1%까지 움직이는 것을 설명한다. 풀 수 있는 최적점이 없으므로 더 강한 GPT-5.6-luna를 최적점 대행으로 두고, 출력을 파일 검사, 수정, 명령 실행, 계획 같은 공통 행동 범주로 매핑해 천장과 미스매치를 추정했다. 그 차 C~ − M~는 다섯 하네스의 정확도 순위를 모두 맞혔지만, 천장만 또는 미스매치만으로는 순위가 틀렸다. 미스매치는 정책이 내리는 결정 수에 따라 누적되어, DeepAgents는 결정당 미스매치는 Terminus-2와 비슷하지만 모델 호출이 거의 세 배라 가장 큰 미스매치를 쌓았고, DeepSeek Harness는 결정당 미스매치가 가장 컸다. MiniWoB++에서 정확한 값을 쓸 때도 여섯 하네스 전체 순위는 차이로만 맞았다.

개발자에게 이 논문의 실무적 메시지는 하네스 평가를 고정 체크포인트의 단일 성공률로 끝내지 말라는 것이다. 새 프롬프트, 도구, 관찰 형식은 최적 결정을 바꾸지 않아도 모델의 읽기값을 흔들 수 있으므로, 형식 변경은 별도 회귀 실험으로 다뤄야 한다. 하네스를 교체할 때는 고정 모델 수익과 함께 천장과 미스매치를 보고, 여러 체크포인트와 적응 예산을 함께 비교해야 한다. 새 하네스가 당장 성능을 떨어뜨려도 천장이 높고 적응 후 미스매치가 충분히 줄면 원래 하네스보다 나은 선택이 될 수 있다. 논문이 제안하는 샘플 기반 미스매치 추정은 배포 로그와 소량의 롤아웃으로 이런 판단을 추적하는 데 쓸 수 있다.

한계와 전제도 분명하다. 이론 결과는 KL 정규화 제어, 유한 상태·행동, 유계 보상, 양의 기준 정책 확률 같은 조건에서 전개되며, MiniWoB++ 통제 실험은 최적점을 정확히 계산할 수 있는 축소된 환경이다. 배포 추정은 전체 분포 대신 샘플을 쓰고, 코딩 에이전트에는 풀 수 있는 최적점이 없어 GPT-5.6-luna를 최적점 대행으로 쓴다. 교사 모델은 최적이 아니므로 저자들도 추정값이 정확한 수익이 아니라 하네스 순위를 맞히는지로 검증했고, 그 실험은 Terminal-Bench Lite의 세 과제에서 다섯 하네스로 제한된다. 따라서 천장과 미스매치의 절대값보다 순위와 방향을 읽는 용도로 보는 것이 안전하다.