마이크로소프트가 AI 코딩 에이전트 대응력을 측정하는 오픈소스 도구 Scope를 공개했다

마이크로소프트가 자사 소프트웨어가 AI 코딩 에이전트에 얼마나 잘 맞물리는지를 측정하는 오픈소스 플랫폼 'Scope'를 공개했다. SDK를 유지하든, 커맨드라인 인터페이스를 만들든, MCP 서버나 스킬을 배포하든 결국 알고 싶은 것은 하나다. 에이전트가 우리가 내놓은 것을 발견하고 제대로 쓸 수 있는가, 그리고 그 결과를 팀이 실제로 바꿀 수 있는가. Scope는 이 질문에 증거로 답하려는 도구다.

구조는 쿠버네티스 위에 올라가 있다. 라이선스는 MIT이며, 반복 가능한 실험을 전제로 한 '개발자 에이전트 경험(DevAx)' 학습 루프를 지원한다. 에이전트가 작업하는 동안의 활동을 스트리밍으로 보여주고, 상호작용 기록과 워크스페이스 스냅샷을 보관해 나중에 되짚어볼 수 있게 한다. 팀은 도구 호출을 따라가고, 생성된 파일을 열어보고, 실패한 요구사항이 어떤 선행 단계에서 어긋났는지 연결해서 볼 수 있다.

무엇을 잡아내는지가 이 도구의 핵심이다. 문서에 깔린 잘못된 전제, 반복적으로 무시되는 지시, 에이전트가 의도한 SDK를 고르지 못하는 상황, 초기화를 틀리게 하는 지점, API를 잘못 쓰는 패턴 같은 것들이다. 이런 관찰이 쌓이면 커맨드라인 도구의 설명을 더 명확하게 다듬거나, 오류 메시지를 실행 가능한 형태로 바꾸는 식의 구체적인 수정으로 이어진다.

실제 적용 사례도 함께 나왔다. 애저 코스모스 DB 팀은 이 평가 루프를 돌려 20건의 Agent Kit 이슈와 27건의 문서 이슈를 해결했다고 밝혔다. 이 수치는 평가가 제품팀의 의사결정과 직결될 수 있음을 보여주는 예다. 어떤 문서를 더 풀어써야 하는지, 어디서 툴링을 고쳐야 하는지, 업데이트가 에이전트 행동을 바꿨는지를 관찰된 행동에서 끌어낼 수 있다는 뜻이다.

배경에는 에이전트 경험이라는 문제가 특정 제품 하나의 고민이 아니라는 판단이 있다. SDK 유지보수자, 툴 제작자, 연구자, 에이전트 개발자가 모두 같은 질문을 던지고 있지만, 한 팀이 모든 언어와 워크플로, 통합 사례를 대표할 수는 없다. 실행과 평가 코드를 공개하면 기여자가 방법론 자체에 의문을 제기하고 예상 밖의 결과를 파고들 수 있다. 통합 사례와 재사용 가능한 평가 기준, 추적 분석 개선이 공유되면 다른 팀이 같은 기반 시설을 다시 짓지 않아도 된다.

실무적으로 달라지는 지점은 평가의 대상이 사람에서 에이전트로 넓어진다는 것이다. 지금까지 문서와 CLI는 사람이 읽기 좋으면 충분했다. 이제는 에이전트가 읽고 실행했을 때 어디서 미끄러지는지가 별도의 품질 지표가 된다. Scope는 자체 관리 배포를 지원하므로 공개하고 싶지 않은 코드나 실행 데이터를 외부에 노출하지 않고 사내 워크로드로 평가할 수 있다.

다만 이 도구가 성공의 단일 기준을 제시하는 것은 아니다. 마이크로소프트 스스로 목표는 하나의 보편적 벤치마크가 아니라 팀이 각자 필요에 맞게 변형해 쓸 수 있는 공통 출발점이라고 설명한다. 평가 결과는 어디까지나 관찰된 행동의 기록이며, 그것을 제품 개선으로 옮기는 판단은 여전히 팀의 몫이다.