Datadog이 추론 비용 낮춘 SRE 전용 AI 모델 Scout 1.0을 공개했다

Datadog이 프로덕션 장애 조사를 전담하는 자체 AI 모델 Scout 1.0을 공개했다. 자사 AI SRE인 Bits Investigation을 구동하는 모델로, 범용 프런티어 모델에 준하는 조사 품질을 훨씬 낮은 추론 비용으로 뽑아내는 데 초점을 맞췄다. 비용을 낮추면 같은 예산으로 조사 횟수를 한 자릿수 배 늘릴 수 있고, 장애 수명주기에서 더 이른 시점에 개입할 수 있다는 계산이다.

성능과 비용의 맞바꿈은 내부 벤치마크 AlertEval에서 수치로 제시됐다. 중간 연산 모드인 Scout 1.0 medium은 GPT-6.1 Sol high, Claude Opus 5.5 high와 비슷한 점수를 3~8배 낮은 추정 추론 비용에 기록했고, Fable medium과 Astra medium에는 각각 12배, 19배 낮은 비용으로 필적했다. 테스트타임 스케일링을 적용한 최고 연산 모드 Scout 1.0 xhigh는 GPT-6 Astra를 앞서고 Claude Fable 5.1 xhigh와 어깨를 나란히 하면서도 비용은 Sol·Opus급 범위에 머문다.

학습 방식은 기반 모델을 그대로 쓰지 않는다. GLM-5.3 Flash를 출발점으로 삼아 조사 시뮬레이션 환경에서 강화학습으로 포스트트레이닝했다. 실제 과거 인시던트와 텔레메트리를 재료로 정답 원인이 알려진 시뮬레이션을 만들되 고객 데이터는 넣지 않았고, Bits Investigation의 도구를 본떠 만든 도구로 증거를 모으고 경쟁 가설을 검증하는 훈련을 시킨다. 원인을 찾아내고 결론을 증거로 뒷받침할 때 보상을 주는 구조다. 이를 돌리기 위한 분산 강화학습 인프라는 오픈소스 위에 사내에서 직접 구축했다.

평가 축도 자체적으로 마련했다. AlertEval은 Datadog 엔지니어들이 인시던트 대응 워크플로를 거치며 쌓아온 수천 개의 평가 포인트를 활용해, 실제 알림과 보관된 텔레메트리, 엔지니어가 작성한 근본 원인 설명을 묶은 벤치마크다. 점수는 전문가 참조 설명과의 일치도를 0~100 척도로 환산한다. 외부 검증도 병행했는데, 서드파티 벤치마크 SREGym에서 Scout 1.0 medium은 기반 모델인 GLM-5.3-Flash를 크게 앞서며 GLM-5.3을 4배 이상의 비용 절감으로 넘어섰다. 추가 테스트타임 스케일링을 적용한 Scout 1.0 high는 최상위 모델들과 경쟁력 있는 성적을 내면서도 모든 경쟁 모델 대비 최소 2배, Astra·Fable급 모델 대비로는 10배의 비용 절감을 유지했다.

배경에는 Bits를 상시 대기하는 1차 대응자로 만들겠다는 목표가 있다. 조사 한 건은 가설을 세우고 텔레메트리를 질의하고 증거가 결론을 지지하는지 판단하는 과정의 반복이며, 그만큼 모델 호출이 여러 번 발생한다. 추론 단가가 조사 범위의 상한을 사실상 결정하는 셈이라, 모델 자체를 싸게 만드는 일이 기능 확장의 전제 조건이 된다.

개발자 입장에서 달라지는 지점은 커버리지와 깊이다. 알림마다 조사를 붙이는 것이 현실적인 비용 안에 들어오면, 사람이 손대지 않던 알림까지 자동 조사 대상이 되고 복잡한 장애는 더 깊게 파고들 수 있다. 반대로 비용이 낮다는 이유로 어려운 문제에 연산을 더 쏟아붓는 선택지도 생긴다. xhigh 모드가 그 예로, 인시던트당 연산을 늘려 조사 품질을 끌어올리는 대신 비용은 Sol·Opus 수준으로 묶는다.

다만 Scout 1.0은 아직 정식 출시가 아니다. Datadog 내부 엔지니어링 팀과 소수 고객을 대상으로 한 클로즈드 프리뷰 단계이며, 일반 제공 전에 피드백을 받는 중이다. 공개된 수치는 내부 벤치마크 AlertEval과 서드파티 SREGym 결과이고, 점수는 전문가 참조 설명과의 일치도라는 정의를 따른다. 앞으로는 더 다양한 실패 유형을 시뮬레이션하고 조사 품질을 올리면서 비용은 더 낮추는 한편, 조사 단계를 넘어 자율적으로 문제를 복구하는 방향으로 확장하겠다는 계획이 제시됐다.