빠른 System One 모델의 오류는 대부분 읽기보다 결정에서 온다

무엇인가

에이전트는 이전 행동의 피드백을 읽고 현재 상태를 파악한 뒤 다음 행동을 고른다. 최근 늘어나는 System One 모델은 이 단계를 다르게 처리한다. 상태와 후보 선택지 묶음을 주면 텍스트를 생성하지 않고 선택지 위의 확률분포만 한 번의 패스로 돌려준다. 논문이 측정한 모델들은 완전한 상태 하나를 중앙값 27~225ms에 답했고, 오픈웨이트 언어모델의 우도 판독은 317~947ms, 추론 모델은 2.3초가 걸렸다. 문제는 이 모델이 틀렸을 때다. 읽을 사고 사슬이 없다. 모델이 상태를 잘못 읽은 것인지, 다 읽고도 나쁘게 고른 것인지 구분할 방법이 없고, 최종 행동 정확도만으로는 두 경우를 가를 수 없다. 생성된 근거 설명이 실제 계산을 반영한다는 보장도 없다.

어떻게 동작하나

저자들은 행동적으로 답한다. 하나의 의사결정 상태에 대해 다음 행동 질문과, 환경이 정답을 결정하는 사실 확인 질문(마지막 행동의 성공 여부, 소지품, 위치, 행동 허용 여부 등)을 각각 독립적으로 묻는다. 모든 측정 사실을 맞힌 경우(U=1)와 행동을 맞힌 경우(D=1)를 교차하면 U1D1, U1D0, U0D1, U0D0 네 가지 관측 결과가 나온다. 여기에 모델 없이 검사할 수 있는 전제도 붙였다. 같은 사실 답 벡터를 공유하는 상태 집합 S에 대해 교집합 G(s)가 공집합이 아니어야, 즉 그 답이 주어졌을 때 어떤 상태에 있든 정답인 행동이 존재해야 사실 질문이 결정 실패 진단을 뒷받침한다. 벤치마크는 65,228개 레코드(테스트 59,234, 개발 5,994)이고 이 중 19,663개가 짝지어진 테스트 상태다. ALFWorld, BabyAI-Text, TextWorld 시뮬레이터와 τ²-bench 항공·소매 정책, 도구 선택, 웹 내비게이션, 코드 트레이스에서 왔으며 정답 라벨은 에이전트가 본 정보만으로 계산했다. 호스팅 API 2종(JEV, OpenAI Decisions), 오픈웨이트 10종, 동결 언어모델을 같은 인터페이스로 읽는 레시피 2종 등 14개 System One 모델과 우도 판독 3종, 그리고 추론 참조 모델 GPT-6.1을 평가했다.

무엇과 다른가

핵심 결과는 '대체로 잘 읽고 잘못 행동한다'이다. 가장 정확한 6개 시스템에서 결정 오류의 73~85%가 모든 측정 사실을 맞힌 상태에서 발생했다. 모든 사실이 맞을 때조차 행동은 10~21%에서 틀렸고, 반대로 사실을 하나라도 틀렸을 때 행동이 맞는 경우도 62~70%였다. 이 비율은 정확도가 높을수록 커진다. 정확도 0.5를 넘는 빠른 시스템에서 49%(Kev-9B)에서 81%(Gemma) 사이고, GPT-6.1은 85%다. GPT-6.1은 결정 정확도 0.884로 Gemma보다 7점, Eikos-27B·Clef·JEV보다 9~12점 높지만 상태당 비용은 JEV의 약 70배다. 오류는 잡음이 아니라 특정 상태에 붙어 있다. 14개 유능한 빠른 시스템이 만든 53,382건의 U1D0 사건 중 56%가 14개 중 7개 이상이 같은 방식으로 실패한 상태에 몰렸고(무작위 치환 기대값 16%), 14개 전부가 모든 사실을 맞히고도 실패한 상태가 141개 있었다. 각 시스템은 다른 모델이 실패하지 않은 상태에서는 74~94%를 맞히지만, 나머지 13개가 모두 실패한 상태에서는 1~16%만 맞힌다. GPT-6.1도 그 141개 상태에서는 40%만 맞힌다. 시뮬레이터에서 오류 대부분은 추가 1스텝 이내 비용이었지만(ALFWorld 86~90%, BabyAI 42~56%, TextWorld 77~84%), 사실을 잘못 읽은 오류가 더 비쌌다. 또한 시스템의 '오답' 중 5~42%는 정확한 룩어헤드로 보면 실제로도 최적이었다.

어떻게 쓰나

원인이 읽기인지 조합인지 분리하기 위해 저자들은 사실 질문이 결정을 결정적으로 규정하는 상태를 새로 생성했다. 두 도메인(가정 텍스트월드, 고객서비스 정책)에서 1,200개 테스트 상태를 만들고, 4개 규칙과 기본 행동, 8개 이진 사실, 9개 행동을 두었다. JEV와 Qwen3.8-27B는 규칙 사실 질문을 97~100% 맞히고 사실만 주면 결정도 1.000과 0.994를 냈지만, 원본 트레이스에서는 0.791과 0.797로 20점 차이가 났다. 관련 사실을 덧붙이면 0.974와 0.967로 회복되고, 같은 분량의 무관한 텍스트를 붙이면 0.751과 0.705로 더 나빠진다. Gemma는 이 격차가 없었고(트레이스에서 0.991), Cygnet은 사실만으로 0.992, 트레이스에서 0.881이었다. 결정적으로 모델 자신의 사실 답변을 코드로 조합해 행동을 만들면 0.96~1.00까지 올라간다. 반면 실제 벤치마크 상태에서는 벤치마크 사실 질문을 맞혀도 두 시스템을 빼고는 최대 7점밖에 오르지 않았고, ALFWorld에서는 다음 하위 목표를 말해주는 것이 JEV에 16점을 더했지만 어떤 사실 묶음을 주든 최대 5점이었다.

전제와 한계

통제 실험은 모델이 무엇에 의존하는지 보여준다. 실행 이력을 제거하면 BabyAI는 거의 그대로지만(JEV 73.3→70.1%, Gemma는 75.5→79.9%로 상승), ALFWorld 거리 사다리에서는 모든 강한 시스템이 14~24%로 무너지고(JEV 87.2→13.7%, Gemma 92.6→22.6%, Clef 86.5→23.9%, Cygnet 93.9→15.7%) TextWorld도 74~86%에서 35~42%로 떨어진다. 즉 이력은 실제로 읽히고 있다. 정책 편집은 더 날카롭다. 레코드 필드 하나를 바꿔 다른 도구 호출이 필요해지게 만들면 JEV, Clef, Gemma, Qwen3.8-27B가 편집된 374개 상태의 모든 사실 질문을 맞히면서도, 83개 대응 삼중항에서 관련 편집 후 호출을 바꾼 비율은 22%(Clef)~57%(Qwen3.8-27B)에 그쳤다. Eikos-27B만 72%로 예외였다. 명시된 규칙 변경은 90~99% 따라갔다. 캘리브레이션은 정확도보다 편차가 컸다. 기대 캘리브레이션 오차가 Cygnet 2.6%, JEV 6.8%, Gemma 우도 판독 19.1%(정확도 0.79에서 평균 확신 0.98), Vega-27B 26.6%였다. 비용은 JEV가 65,228개 레코드에 8.79달러(1,000 상태당 0.13달러), OpenAI Decisions가 18.69달러(0.29달러), GPT-6.1이 배치 요금 642달러였다.

개발자에게 이 논문이 주는 절차는 이렇다. 먼저 대상 상태에서 짝지은 결과를 측정한다. 오류 대부분이 사실 오독 뒤에 온다면 상태 표현이나 트레이스 형식, 컨텍스트 예산을 손봐야 한다. 여기서처럼 대부분이 정독 뒤에 온다면, 결정에 필요한 사실이 알려져 있고 규칙이 명시적인지 확인한다. 그렇다면 가장 강한 처방은 사실을 좁은 병렬 질문으로 물어 모델 자신의 답을 코드로 조합해 행동을 만드는 것이고, 이는 값싼 두 번째 배치 비용으로 0.96~1.00까지 올라간다. 확신도 캐스케이드를 쓰면 상태의 3분의 1에서만 두 번째 요청을 해 이득을 대부분 유지한다. ALFWorld처럼 열린 과제에서 하위 목표를 골라야 하는 상태라면 사실을 덧붙여도 도움이 적고, 빠진 것은 모델이 안정적으로 공급하지 못하는 하위 목표, 즉 계획 문제다. 결국 설계 공간은 System One 대 추론 모델이 아니라 어떤 상태를 빠른 모델에 맡기고, 어떤 상태에 조합된 결정을, 어떤 상태에 숙고를 붙일지의 문제다.

저자들이 밝힌 한계도 분명하다. 짝지은 결과는 동일 입력에 대한 행동적 관측일 뿐 내부 계산을 보여주지 않으며, 사실 질문을 맞혔다는 것이 모델이 그 사실을 사용했다는 증거는 아니다. 자연 상태에서는 사실 질문이 결정에 충분하지 않아 U1D0이 결정 실패와 묻지 않은 사실의 혼합일 수 있고, 생성 사다리와 결정 지향 질문은 해당 도메인에만 적용된다. 정답 라벨은 에이전트가 관측 가능한 정보로 계산했지만 필요 이상으로 엄격할 수 있고(시뮬레이터 오류의 5~42%가 실제로는 최적), 원래 ALFWorld 코호트에서는 같은 위치에 있는 여러 수납용기가 한 라벨로 기록돼 8,197개 중 303개 레코드의 위치 라벨이 틀렸다. 저자들은 동결 라벨을 유지하고 민감도 분석으로 보고했으며, 이 때문에 헤드라인 추정치는 보수적이다. 또한 시스템 간 차이는 서빙 스택, 판독 방식, 입력 한계를 포함하므로 아키텍처 비교가 아니고, 호스팅 모델은 버전이 바뀔 수 있으며(JEV 재실행은 5일 뒤 2,783개 상태에서 96.3% 일치), 평가 대상은 폐루프 실행이 아닌 동결 트레이스 위의 단일 결정이다.