모멘틱이 앱을 직접 조작해 버그를 찾는 AI QA 에이전트를 내놨다

YC W24 배치에서 출발한 모멘틱이 AI QA 에이전트 'Mo'를 앞세워 테스트 자동화 제품을 공개했다. 프롬프트로 검증하려는 사용자 흐름을 지정하면, 에이전트가 실제 앱을 조작하면서 그 흐름이 의도대로 끝나는지 확인하고 어긋나는 지점을 버그로 보고하는 방식이다. 사람이 QA 체크리스트를 들고 화면을 눌러보는 과정을 에이전트가 대신한다고 보면 이해가 빠르다.

테스트는 코드가 아니라 평문 영어로 쓴 YAML 파일로 남는다. 저장소에 함께 커밋되어 팀원과 코딩 에이전트 모두가 읽고 리뷰하고 버전 관리할 수 있고, 로그인이나 장바구니 담기처럼 반복되는 절차는 모듈로 분리해 여러 테스트에서 재사용한다. 예컨대 결제 흐름 테스트는 로그인 모듈과 개인정보 입력 모듈을 불러온 뒤, 장바구니에 상품을 담고 합계 금액이 상품별 금액과 일치하는지 검증하는 식으로 조립된다.

제품의 고유 용어와 비즈니스 규칙, 기대 동작은 별도의 지식 베이스에 적어둔다. AI가 화면에서 다음 동작을 고를 때마다 이 문맥을 참조하기 때문에, 화면에 보이는 문구만으로는 판단하기 어려운 업무 규칙도 검증 대상에 넣을 수 있다. 테스트를 도는 동안 확인된 화면과 사용자 흐름은 지도처럼 축적되고, 세션에서 발견된 내용은 검토를 거쳐 지식 베이스에 추가된다.

UI가 바뀌어도 테스트가 즉시 깨지도록 두지는 않는다. 실행 중 화면이 달라지면 에이전트가 컨트롤을 다시 찾아 흐름을 이어가고, 이런 복구가 반복되면 테스트 파일 자체를 고치는 수정안(diff)을 제안해 사람이 확인 후 적용하게 한다. 실패한 스텝은 스크린샷과 트레이스로 남고, AI 트리아지가 원인을 애플리케이션 버그인지, 테스트의 불안정성인지, 환경 문제인지로 분류한다.

가장 눈에 띄는 부분은 코딩 에이전트와의 연결이다. MCP를 통해 코딩 에이전트가 변경된 흐름에 대한 테스트를 직접 작성하고, 라이브 세션에서 실행해 확인한 뒤, YAML 파일을 코드와 나란히 저장할 수 있다. 로컬에서는 CLI로 같은 테스트를 돌리고, CI 잡에서는 그 종료 코드를 머지·배포 전 필수 체크로 걸 수 있다. 편집기에서 시작한 검증이 CI까지 끊기지 않고 이어지는 구조다.

이 제품이 겨냥하는 지점은 분명하다. 코딩 에이전트 덕분에 소프트웨어를 만드는 속도는 크게 빨라졌지만, 그 변경이 실제로 의도한 동작을 내는지 확인하는 일이 새로운 병목이 됐다. 모멘틱은 검증을 에이전트 루프 안으로 가져와, 앱 자체가 주는 증거로 변경을 확인하자는 주장을 내세운다.

도입 사례로는 노션, 웹플로우, 큐오라, 리툴, 뮤티니 등이 언급된다. 공개된 자료에는 테스트 작성과 유지보수가 3배 빨라졌다는 표현, 6.3배 병렬 실행, 일일 테스트 실행 시간이 7시간에서 30분으로 줄었다는 수치, 프로덕션 인시던트가 85% 감소했다는 고객 인용, E2E 테스트 생성 속도 6배 같은 숫자가 실려 있다. 자사 집계로는 지금까지 잡아낸 버그가 11만7천 건 규모라고 한다. 비결정적 응답을 내는 AI 제품의 결과를 검증했다는 큐오라 측 언급처럼, 일반적인 E2E 도구가 다루기 어려웠던 영역을 겨냥한 사례도 포함돼 있다.

보안과 운영 측면에서는 SOC 2 Type 2 인증, SAML·OIDC 기반 SSO, 관리자·멤버 역할 구분, 감사 로그, 엔터프라이즈 계정 전담 지원 등을 내세운다. SSO와 별도 데이터 정책 아래 있는 프라이빗 앱도 테스트할 수 있다는 설명이다.

다만 공개된 수치는 대부분 고객 인용과 자사 집계에 기반한 것으로, 독립적인 검증을 거친 값은 아니다. AI가 제안하는 테스트 수정 역시 자동 적용이 아니라 리뷰를 전제로 하며, 실패 원인 분류 역시 사람의 최종 판단을 대체한다고 보기는 어렵다. 결국 도입 효과는 팀의 테스트 자산 정리 수준과 CI 운영 방식에 따라 달라질 것으로 보인다.