에이전트가 스스로 인터페이스를 진화시켜 컴퓨터 사용 성능을 끌어올린다

무엇인가

컴퓨터 사용 에이전트(CUA)의 성능은 결국 사람이 미리 만들어 준 인터페이스에 묶여 있다. 논문은 스프레드시트 한 줄을 코드로 처리하면 될 일을 셀 하나하나 클릭으로 타이핑하거나, 함수 하나를 찾으려고 셸로 파일 2000줄을 전부 출력하는 상황을 예로 든다. 저자들은 이 관행이 세 가지 문제를 만든다고 지적한다. 첫째, 새 태스크 계열이나 모델이 나올 때마다 사람이 궤적을 읽고 실패를 진단해 새 프리미티브와 관찰 형식, 메모리 메커니즘을 손으로 작성하고 새 프리셋으로 배포해야 한다. 둘째, 정적 인터페이스가 태스크와 어긋날 때 이를 더 나은 인터페이스 대신 테스트 시점 샘플링으로 메우게 되어 낭비와 취약성이 커진다. 셋째, 경험을 재사용 가능한 스킬로 증류하는 기존 방법은 미리 정해진 관찰·행동의 조합일 뿐이라 인터페이스 자체를 확장하지 못한다.

어떻게 동작하나

Agent S4는 인터페이스 설계 자체를 에이전트의 능력으로 만든다. 실행 가능한 인터페이스와 그 사용법 지식(능력 설명, 재사용 워크플로, 설정, 언제 어떻게 쓸지에 대한 노트)을 하나의 저장소 R로 묶고, 메타 에이전트가 태스크 에이전트의 궤적을 읽어 저장소를 고쳐 나간다. 태스크 에이전트의 모델 M과 하네스 H는 고정된다. 하네스는 모델 호출, 실행, 권한, 태스크 예산을 계속 통제하고, 인터페이스는 코드이므로 소프트웨어처럼 개정할 수 있다는 점이 출발점이다. 진화는 인구 기반으로 돌아간다. 각 단계에서 이진 토너먼트로 검증 점수가 높은 부모를 뽑고, 변이(부모 1개) 또는 교차(서로 다른 부모 2개)로 자손 저장소 하나를 만든다. 자손은 점수와 무관하게 부모와 함께 인구에 남아 대안 설계로 유지되고, 부모 링크는 DAG를 이룬다.

무엇과 다른가

핵심 설계는 증거의 비대칭성이다. 메타 에이전트는 정답 레이블도 태스크 검증기도 없는 합성 학습 태스크의 궤적만 본다. 검증 태스크의 지시문, 궤적, 진단, 점수는 메타 에이전트에게 차단되고, 오직 부모 선택에만 쓰인다. 즉 검증 성능은 저장소 편집에 대한 직접 피드백이 아니라 선택 압력으로만 작동해, 학습 태스크에 과도하게 특화되는 것을 막는다. 형식적으로는 인터페이스 I를 컴퓨터의 일부 c_I, 요청 언어 A_I, 관찰 언어 O_I의 삼중항으로, 저장소를 R=(I(R), K(R))로 정의하고, 고정된 에이전트 A에 대해 R* = argmax E_{x~D}[J(A,R,x)]를 푸는 문제로 정식화한다. 인터페이스는 Blender 파이썬 API로 렌더 스케줄을 내보내거나 Calc 워크북의 행을 뽑아오는 식의 프로그램이므로, 궤적을 읽고 코드를 쓸 수 있는 에이전트라면 다시 설계할 수 있다.

어떻게 쓰나

OSWorld V2 전체 108개 태스크에서 Qwen3.8-27B에 진화된 저장소를 붙인 결과 이진 성공률 21.3%, 태스크당 비용 1.10달러를 기록했다. 같은 모델의 고정 인터페이스(Qwen CUA)가 5.56%였으니 3.8배이고, 부분 점수도 20.69%에서 46.90%로 올랐다(스크래치 VM을 쓴 저장소는 51.06%). 비용은 1.39달러에서 1.10달러로 오히려 줄었다. 비교 대상인 GPT-5.5는 13.0%(태스크당 25.50달러), Claude Opus 4.8은 20.6%(72.40달러)로, 논문은 각각 그 비용의 약 4.3%, 1.5%로 앞선다고 정리한다. 참고로 저장소 없이 15.74%이던 이진 성공률은 시드 저장소만으로 19.44%가 되고, 진화를 거쳐 21.30%까지 오른다.

전제와 한계

도메인 일반화는 ScienceBoard 169개 태스크에서 확인한다. Celestia, ChimeraX, GRASS GIS, KAlgebra, Lean, TeXstudio 같은 과학 응용을 대상으로 별도 진화를 돌려 성공률이 시드 55.03%에서 58.58%로 올랐고(169개 중 99개 해결, 시드는 93개), 태스크당 모델 호출은 61.7회에서 58.9회로 줄었다. 저장소 함수는 15개에서 64개로 늘었고 KAlgebra에서 48%에서 68%로 가장 크게 개선됐다. 분석 파트에서는 진화 전략도 비교한다. 스크래치 VM을 쓰면 인구 기반과 선형 진화가 이진 성공률 19.44%로 같지만 부분 점수는 51.06% 대 47.17%로 인구 기반이 낫고, VM 없이 인구 기반으로 돌리면 이진 성공률이 21.30%로 가장 높다. 진화된 인터페이스는 시스템 전역, 앱 특화, 앱 간, 태스크 특화의 네 갈래로 분류되며, VM 없이 4개 신규 인터페이스와 127개 확장, VM 사용 시 12개 신규와 253개 확장이 만들어진다. 또한 장기 태스크의 실행 간 분산이 커서 ScienceBoard에서는 5스텝마다 상위 3개를 재평가하는 denoise를 적용했는데, 첫 점수 73.33%였던 후보가 평균 60.00%로 떨어지는 사례가 나온다.

개발자 관점에서 이 논문의 실무적 함의는 성능 개선의 레버가 모델 교체만이 아니라는 점이다. 같은 27B 모델, 같은 하네스로 인터페이스 계층만 바꿔 이진 성공률을 3.8배 올렸다는 것은, 사내 에이전트에서 반복되는 실패 패턴(셀 단위 편집, 스크린샷으로 터미널 읽기, 다운로드 대기 후 클릭)을 궤적으로 수집해 재사용 가능한 코드 인터페이스로 승격시키는 파이프라인이 곧 성능 개선 루프가 될 수 있음을 뜻한다. 다만 도입 전에 확인할 것은 세 가지다. 정답 레이블 없이 궤적만으로 가설을 세우는 메타 에이전트 프롬프트와 파일·셸·코드 인터페이스 권한 경계, 검증 태스크를 메타 에이전트에게 노출하지 않는 평가 격리, 그리고 저장소가 커질수록 늘어나는 인터페이스 탐색 비용이다.

저자들이 명시한 전제와 한계도 분명하다. 태스크 에이전트의 모델과 하네스는 탐색 중 고정이며, 개선은 저장소에 축적된 인터페이스와 사용 지식에서만 나온다. 학습 경험은 전부 합성 태스크에서 나오고 성공 레이블이나 검증기가 없으며, 검증 태스크는 같은 벤치마크에서 뽑혀 선택에만 영향을 준다. 보고된 태스크 해결 비용은 모델 토큰 사용량을 80% 입력 캐시 적중률로 추정한 값으로, 저장소 구축 비용과 런타임 인프라는 제외되어 있다. 메타 에이전트의 구축 예산도 OSWorld V2 2시간, ScienceBoard 1시간의 월클록으로 제한되며, OSWorld V2에서는 비용과 시간 때문에 재평가 denoise를 적용하지 않았다.