PersonaCUABench가 페르소나별 CUA 성공률 36% 하락을 드러낸다

무엇인가

컴퓨터 사용 에이전트(CUA)는 지금까지 고정된 태스크 명세로 평가돼 왔다. 하지만 실제 사용자는 요구사항을 빠뜨리고, 자기 제약을 덧붙이고, 되돌릴 수 없는 행동 전에는 승인을 요구한다. 그래서 벤치마크 지시문을 완수해도 그 요청을 한 사람을 제대로 서빙했다는 보장이 없다. 이 논문의 질문은 명확하다. 같은 과제를 서로 다른 사람이 각자의 말로 요청했을 때, 에이전트는 그 사람을 서빙하는가, 아니면 그저 태스크만 처리하는가.

어떻게 동작하나

제안 방법의 핵심은 '태스크는 고정하고 묻는 사람만 바꾼다'는 통제다. 과제는 기존 벤치마크에서 가져와 결과를 자동 검증할 수 있게 했다. 실시간 웹사이트에서 정보를 찾는 38개 과제는 Odysseys(200개 중 부분집합), 샌드박스 복제 사이트에서 행동을 수행하는 36개 과제는 REAL(112개 중 부분집합)에서 뽑아 총 74개, 11개 도메인, 생활 40개·업무 34개로 구성했다. 사용자는 11개 도메인 각각에 expert·senior·young·practical 네 그룹을 하나씩 둬 44명이다. 각 페르소나는 MatrAIx 스키마에서 고른 37개 속성(전원 공통 32개 + 도메인별 5개)으로 프로필을 만들고, 페르소나 에이전트가 원본 지시문을 그 사람의 말투로 다시 써서 첫 요청을 생성한다. 이후 CUA가 ask_user로 되물으면 프로필과 원본 지시문을 근거로 그 사람인 척 답한다. CUA는 대화만 볼 뿐 프로필도, 원본 지시문도 볼 수 없다. 과제마다 도메인 페르소나 4명과 원본 요청 1개, 즉 5개 셀이 만들어진다.

무엇과 다른가

채점은 두 축이다. 하나는 요구사항별 충족 여부로 계산한 과제 완료율이고, 다른 하나는 에피소드 후 페르소나 에이전트가 그 사람 입장에서 매기는 1~5점 만족도다(행동 과제는 사이트 최종 상태를 본 뒤 한 번 더 평가). 여기에 더해 각 요구사항마다 사용자가 대화에서それを 꺼냈는지(raised), 에이전트가 그에 대해 행동했는지(engaged), 충족했는지(met)를 라벨링해 손실을 '말하지 않음/무시함/잘못함'으로 분해한다.

어떻게 쓰나

실험은 공통 브라우저 하네스에서 백본 9종(MiniMax M3, Kimi K3, Muse Glimmer 30B, Grok 4.6, Qwen 3.8 27B, Gemini 3.8 Flash, GPT-6 Astra, DeepSeek V4.1 Flash, Claude Opus 5.5)을 같은 370개 셀에 돌려 총 3,330회 실행했다. 예산은 에이전트 턴 100회, ask_user 5회, 온도 1.0으로 고정했고, GPT-5.6-terra를 페르소나 역할과 별개의 객관 채점자 역할로 나눠 썼다. 결과는 일관되게 나빴다. 과제 완료율은 원본 요청 0.689에서 페르소나 요청 평균 0.441로 떨어졌고, 그룹별로는 expert 0.504, senior 0.402, young 0.414, practical 0.445였다. 모델별 상대 손실은 28~45% 범위로 예외가 없었고, 만족도도 원본 4.04에서 3.10~3.59로 내려갔다. 같은 모델 안에서도 페르소나 그룹 간 차이가 0.10~0.13에 달해, '누가 묻는가'가 '어떤 모델인가'와 비슷한 크기로 점수를 흔든다. 실제로 Gemini는 원본 요청에서 0.734로 상위권이었지만 senior 요청에서는 0.360으로 7위로 밀렸다. 절대 하락폭은 원본 점수가 높을수록 커지지만(r=-0.60), 상대 하락폭은 그렇지 않다(r=-0.14).

전제와 한계

손실의 출처를 1,230개 손실 셀로 분해한 결과가 이 논문의 백미다. 59.9%는 에이전트가 사용자가 꺼낸 요구사항을 인지하고 행동까지 했는데도 틀린 경우였고, 사용자가 아예 말하지 않은 요구사항 때문에만 감점된 경우는 17.1%, 말했지만 인지하지 않은 경우는 2.1%였다. 나머지 20.9%는 마지막 제출 전에 끝난 경우인데, 그중 11.2%는 사용자가 초안·검토를 요청해 일부러 멈춘 것인데도 원래 체커가 실패로 채점한 것이었다. 그룹별로도 차이가 난다. 말하지 않은 요구사항 비중은 senior 22.9% 대 expert 6.2%로 비전문가가 더 많이 생략하고, 사용자가 요청한 중단은 expert 20.2%, practical 16.7% 대 young 3.5%였다. 완료율과 만족도는 양방향으로 어긋난다. 페르소나 조건에서 완전 성공한 646개 셀 중 최고점 5점을 받은 것은 62.7%뿐으로 원본 요청의 84.1%에 못 미쳤고, 3점 이하가 25.9%로 원본(9.5%)의 두 배를 넘었다. 반대로 페르소나 조건의 실패한 행동 셀 800개 중 56%는 전달 시점에 사용자가 '완료됐다'고 판단했고, 사이트 상태 검증 후에도 27%가 그렇게 믿었다. 최종 답변이 실제 결과와 어긋나는 오보고는 정보 손실 셀의 45%, 행동 손실 셀의 26%에서 나타났다.

정보를 더 주거나 질문을 강제하는 것으로 이 손실이 메워지는지도 확인했다. GPT-6 Astra에서 프로필을 입력에 넣어주면 정보 과제 완료율은 -0.027(95% CI [-0.051, -0.001])로 오히려 소폭 감소했고(senior는 -0.070), 행동 과제는 +0.028(95% CI [-0.007, +0.069])로 유의하지 않았다. 행동 전 최소 한 번 질문하게 강제하면 페르소나 요청 완료율은 0.434에서 0.421로 회복되지 않았고, 원본 요청의 행동 과제는 0.583에서 0.472로 떨어졌다. 페르소나 에이전트가 지시문에 없는 제약을 답으로 흘리기 때문이다. 게다가 본 실험의 질문 609개 중 사용자가 생략한 요구사항을 겨냥한 것은 24%뿐이었다. 저자들의 결론은 병목이 사용자 정보의 부재가 아니라, 사용자가 말한 것을 긴 행동 시퀀스 끝까지 끌고 가는 능력이라는 것이다.

개발자 관점에서 이 벤치마크가 주는 신호는 세 가지다. 첫째, 고정 스펙 통과율은 사용자 만족의 대리 지표로 부족하다. 같은 0.7점이라도 어떤 사용자에게는 최고점, 어떤 사용자에게는 3점이다. 둘째, 손실의 대부분이 '들은 뒤에' 생기므로 프롬프트에 요구사항을 한 번 파싱하는 것으로는 부족하고, 요구사항을 명시적으로 추적하며 각 행동 단계에서 재확인하는 구조가 필요하다. 셋째, 초안 작성이나 승인 대기 같은 의도적 중단을 실패로 계산하는 체커를 그대로 쓰면 에이전트가 오히려 사용자에게 불리한 방향으로 최적화된다. 자사 에이전트를 평가할 때 동일 과제를 여러 말투·제약 조건으로 다시 써서 회귀 테스트를 돌려보는 것이 이 논문의 실무적 사용법에 가깝다.

저자들이 밝힌 한계도 분명하다. 벤치마크는 생활·업무 11개 도메인의 웹 정보 탐색과 사이트 행동만 다루며, 데스크톱 애플리케이션, 단독 채팅, 코딩 워크플로는 범위 밖이다. 에피소드는 단일 요청·단일 과제로 시작하고 상호작용을 넘나드는 지속적 사용자 메모리는 다루지 않는다. 페르소나는 LLM으로 시뮬레이션한 구성물이라 고정관념을 인코딩할 수 있고 인구 집단의 완전한 다양성을 담지 못하므로, 성능 차이를 실제 집단에 일반화해서는 안 된다고 명시한다. 시뮬레이션된 만족도 평가 역시 실제 사용자 피드백을 대체할 수 없다는 것이 저자들의 전제다.