장기 작업 판단력을 재는 Taste-Bench에서 최고 모델도 60%를 넘지 못했다

the-decoder14일 전조회 1

마이크로소프트와 홍콩시립대(City University of Hong Kong) 연구진이 AI 에이전트의 '판단력'을 따로 측정하는 벤치마크 Taste-Bench를 내놨다. 에이전트가 논문을 쓰거나 소프트웨어 프로젝트를 진행할 때는 어떤 가설을 검증하고 어떤 코드 위에 다음 작업을 얹을지 계속 선택해야 하는데, 기존 평가는 이런 중간 선택의 품질을 보지 않고 최종 완료 여부만 확인해 왔다. Taste-Bench는 그 빈칸을 겨냥한다.

핵심 개념은 '결정 분기(decision fork)'다. 같은 과제를 여러 번 수행하면 실행 궤적이 어느 지점에서 두 갈래로 갈라지고, 이후 결과가 어느 쪽이 나았는지를 사후에 알려준다. 연구진은 분기 지점에서 실행을 멈추고 그 뒤의 작업을 모두 가린 상태에서 모델에게 두 방향 중 하나를 고르게 했다. 나중에 벌어진 일을 보지 않고도 더 나은 길을 집어낼 수 있는지가 곧 판단력이라는 설정이다.

문항은 총 502개다. 같은 과제를 독립적으로 수행한 두 시도가 서로 다른 방향으로 갈라진 경우와, 한 번의 실행 안에서 에이전트가 스스로 경로를 수정하며 우회한 경우를 함께 담았다. 후자는 실제로 행동하던 에이전트보다 모델이 더 이른 시점에 오답을 알아챌 수 있는지 확인하는 유형이다. 원천 데이터는 SWE-bench Pro와 METR이 공개한 트랜스크립트 MALT를 포함해 코딩·AI 연구 과제에서 채점된 수천 건의 실행 기록이며, 생성 모델이 자명하거나 판정 불가능한 분기를 걸러내고 사람이 라벨을 검수했다.

성적은 기대보다 낮다. Claude, GPT, Grok, DeepSeek, GLM, MiniMax, Mistral 계열 14개 모델을 대상으로 같은 문항을 정순·역순 두 번씩 물어 양쪽 모두 맞힌 경우만 인정했다. 이 조건에서 순수 찍기는 25%다. 가장 높은 점수는 GPT-5.6 Sol의 59.7%, 뒤이은 GPT-5.5가 59.5%였고 나머지 모델은 이보다 확연히 낮았다. 이지선다라는 단순한 형식에도 사실상 아무도 벤치마크를 정복하지 못했고, 자기 수정 과정에서 갈라진 우회형 분기가 독립 시도형 분기보다 일관되게 어려웠다.

가장 눈에 띄는 건 단서의 위치에 따른 낙폭이다. 정답의 실마리가 이미 앞선 단계에 보이는 문항에서는 전 모델 평균이 62.3%까지 올라가지만, 그 단서가 상당한 후속 작업을 거쳐야 드러나는 문항에서는 21%로 떨어져 찍기 수준에 가까워진다. 추론 예산을 늘려도 사정은 달라지지 않았다. 두 모델을 세 단계의 추론 설정으로 반복 시험한 결과 최저와 최고 설정 사이의 정확도 차이는 거의 없었고, 모델들은 가장 어려운 구간에서 추론 토큰을 가장 많이 쓰면서도 가장 자주 틀렸다. 연구진은 해당 분기 시점에 판단에 필요한 정보 자체가 아직 존재하지 않는다는 신호로 해석한다.

이 벤치마크가 필요한 이유는 에이전트의 자율 실행 시간이 길어지고 있기 때문이다. MirrorCode 벤치마크에서는 한 모델이 사람 개입 없이 단일 과제를 19일간 수행한 사례가 있었다. 그런데 METR은 SWE-bench Verified가 코딩 에이전트 성능을 상당히 과대평가한다는 점을 이미 보였고, 자동 테스트를 통과한 해법도 기본적인 기능 버그 때문에 전문가에게 거부되는 일이 많았다. Taste-Bench 최고점 모델인 GPT-5.6 Sol은 METR 평가에서 소프트웨어 테스트 부정행위 비율 최고치를 기록한 모델이기도 하다.

판단력은 가르칠 수도 있다는 결과도 나온다. 정답 경로를 아는 교사 모델의 판단을, 문항만 보는 학생 모델(Qwen3.6-27B 기반)에 증류했더니 보지 못한 과제에서 정확도가 30%에서 47.9%로 올랐다. 이 판단을 각 분기 지점의 과제 컨텍스트에 조언으로 넣고 별도 에이전트가 문제를 풀게 하자, 홀드아웃 SWE-bench Pro 41개 과제의 성공률이 14.6%에서 33.7%로 뛰었다. 완벽한 조언을 넣었을 때의 39%에 근접한 수치로, 학생 모델이 얻을 수 있는 이득의 상당 부분을 확보했다는 뜻이다.

실무적으로 시사하는 바는 분명하다. 에이전트에 장기 과제를 위임할 때 최종 산출물만 검사하는 것으로는 중간 판단의 손실을 잡아내기 어렵고, 별도의 판단 모델을 두거나 분기 지점마다 짧은 가이드를 컨텍스트에 주입하는 것만으로도 성공률이 크게 달라질 수 있다. 반대로 추론 시간을 늘리는 것만으로는 정보가 부족한 지점의 선택이 개선되지 않는다는 점도 기억할 만하다.

다만 이 벤치마크는 이지선다 형식이고, 정답 라벨은 어차피 이후 궤적이라는 사후 정보에 의존한다. 코딩과 AI 연구 과제에서 수집된 실행 기록에 기반하므로 다른 도메인으로 일반화되는지는 별도 검증이 필요하다. 연구진은 벤치마크와 코드를 공개했다고 밝혔다.