클라우드 운영 AI의 발목을 잡는 건 지식이 아닌 추론, 오픈소스 벤치마크가 확인

클라우드에서 데브옵스 작업을 수행하는 AI 에이전트의 실제 실력을 재는 오픈소스 벤치마크가 등장했다. 미시간대 앙 천(Ang Chen)이 이끄는 연구팀이 만든 CloudOpsBench는 서비스 수리, 리소스 제거, 접근 권한 제한, 업데이트 배포, 프로젝트 폐기처럼 운영 현장에서 흔히 벌어지는 일을 과제로 삼는다. 1.0 버전은 AWS를 대상으로 한 45개 과제로 구성되며, 실무 경험이 있는 데브옵스 엔지니어들이 직접 설계했다.

결과는 낙관적이지 않다. 가장 좋은 성적을 낸 Claude Fable 5.1도 60%를 푸는 데 그쳤고, GPT-6 Astra는 53%에 머물렀다. 모든 과제를 끝까지 해낸 모델은 하나도 없었다. 즉 클라우드 운영은 아직 "잘 아는 모델이면 알아서 처리하는" 영역이 아니다.

흥미로운 지점은 실패의 성격이다. 연구팀 분석에 따르면 오류의 약 80%는 지식 부족이 아니라 추론에서 발생한다. 에이전트가 작업 범위를 잘못 짚거나, 확인해야 할 서비스를 다 살피지 않거나, 충분히 검증하기 전에 손을 떼는 식이다. 나머지 약 20%는 아예 틀린 조작이며, 그중에는 인프라에 되돌릴 수 없는 변화를 남기는 경우도 포함된다. 명령을 몰라서 틀리는 게 아니라, 상황을 읽고 판단하는 과정에서 어긋난다는 뜻이다.

이 벤치마크가 신뢰를 얻으려면 평가 환경 자체가 흔들리지 않아야 한다. 그래서 모든 과제는 실제 AWS 클라우드와 에뮬레이터 양쪽에서 동일하게 실행되도록 설계됐다. 같은 조건에서 실제 인프라와 시뮬레이션의 결과를 비교할 수 있다는 점은, 비용과 위험 부담 없이 반복 평가를 돌리려는 팀에 실질적인 이점이다.

배경에는 클라우드 운영 자동화가 빠르게 에이전트 쪽으로 옮겨가고 있다는 흐름이 있다. 인프라를 코드로 관리하던 단계에서 한 걸음 더 나아가, 장애 대응이나 권한 정리 같은 판단이 필요한 작업까지 모델에 위임하려는 시도가 늘고 있다. 그런데 기존 코딩 벤치마크는 함수 하나를 제대로 작성하는지를 볼 뿐, 여러 서비스에 걸친 상태를 파악하고 작업 순서를 정하는 능력을 측정하지 못한다. CloudOpsBench는 그 빈틈을 겨냥한다.

실무 관점에서 가장 쓸모 있는 부분은 실패 유형이 분류되어 있다는 점이다. 에이전트를 운영 파이프라인에 넣으려는 팀이라면, 범위 산정과 사전 점검, 종료 조건을 프롬프트와 워크플로 수준에서 명시적으로 강제해야 한다는 신호로 읽을 수 있다. 특히 삭제나 권한 축소처럼 되돌리기 어려운 조작은 사람의 승인 단계를 남겨두는 편이 안전하다.

한계도 분명하다. 현재 범위는 AWS 45개 과제로 좁고, GCP·Azure·OCI 확장은 계획 단계에 있다. 클라우드마다 서비스 구조와 권한 모델이 다른 만큼, 이 점수 하나로 다른 환경의 성능을 가늠하기는 어렵다. 또 과제 수가 많지 않아 모델 간 순위가 흔들릴 여지도 있다.

프로젝트는 Apache 2.0 라이선스로 GitHub에 공개되어 있으며, 어떤 지점에서 에이전트가 무너지는지를 정리한 상세 실패 분석 자료도 함께 제공된다.