Laminar, 에이전트 트레이스 전수 분석하는 경량 모델 flow-1 공개

AI 에이전트 관측 도구를 만들어 온 Laminar가 에이전트 트레이스에서 오류를 찾아내도록 강화학습으로 훈련한 모델 flow-1을 내놨다. 트레이스를 저장하고 보여주는 데 그치지 않고, 쌓인 기록을 읽고 문제를 짚는 단계까지 자동화하겠다는 시도다. 회사는 이 모델을 자사 오픈소스 프로젝트에 얹어 Apache 2.0 라이선스로 공개했고, 셀프 호스팅도 가능하다.

가장 눈에 띄는 숫자는 비용이다. Laminar가 자체적으로 구성한 벤치마크에서 flow-1은 GPT-6-sol과 대등한 수준의 탐지 품질을 보이면서 실행 비용은 23분의 1 수준이었다고 한다. 이 정도 가격 차이라면 표본을 뽑아 일부만 검사하는 대신 운영 환경의 모든 트레이스를 매번 분석하는 선택이 가능해진다. 모델 자체는 작은 오픈소스 모델을 파인튜닝한 뒤, 소프트웨어 개발과 법률, 고객 지원 같은 실제 업무 흐름을 본뜬 합성 조사 사례 수천 건으로 RL 후학습을 거쳐 완성했다.

flow-1은 Signals라는 실행 하네스 안에서 동작한다. 여기서 에이전트 트레이스는 하나의 저장소처럼 취급되고, LLM 호출이나 도구 호출 같은 각 span은 파일처럼 다뤄진다. 모델은 전체 트레이스를 압축한 문자열과 사용자 프롬프트를 받아 span들을 grep으로 훑고, 관련 있는 것만 전문을 읽는다. 코딩 에이전트가 코드베이스를 탐색하는 방식과 같은 셈이다.

이 구조 덕분에 검사 항목을 고정할 필요가 없다. "사용자가 답답해하는 지점을 찾아라", "브라우저 에이전트가 결제를 끝냈는지 확인하라" 같은 자유로운 지시를 던질 수 있고, 결과는 사용자가 정의한 스키마의 JSON, 이른바 시그널 이벤트로 돌아온다. 여기에 더해 비슷한 이벤트를 자동으로 묶어 클러스터로 보여주기 때문에, 어떤 문제가 얼마나 자주 반복되는지를 먼저 파악하고 개별 사례로 파고들 수 있다.

배경에는 에이전트 실패의 성질이 달라졌다는 판단이 있다. 요즘 에이전트는 여러 단계를 길게 수행하면서 겉으로는 아무 오류 없이 잘못된 행동을 한다. 모든 호출이 성공으로 끝나는데도 엉뚱한 버튼을 누르거나 잘못된 문서를 인용하는 식이다. 최종 출력만 봐서는 이런 실패를 알 수 없고, LLM 호출과 도구 결과를 함께 들여다봐야 한다. 그런데 기존 관측 플랫폼 상당수는 데이터 수집기 성격이 강해, 아무도 읽지 않을 트레이스를 저장하는 비용만 쌓이기 쉽다. 그렇다고 범용 LLM에게 매번 검사를 맡기자니 규모가 커질수록 값이 뛰고, 저렴한 모델은 오류를 놓치거나 엉뚱한 곳을 지적한다.

Laminar가 그리는 작업 흐름은 트레이스 수집에서 끝나지 않는다. 분석으로 오류를 잡아 클러스터로 묶고, 그 클러스터의 사례들로 해당 실패 유형에 대한 eval 데이터셋을 만든 뒤, 익숙한 코딩 에이전트로 그 eval을 개선해 배포 전에 수정이 통했는지 확인하는 순환이다. 회사 쪽은 이런 루프를 쉽게 만드는 데 초점을 맞췄다며, 트레이스 20배 압축과 자체 SQL 쿼리 엔진, 자동 태스크 추출도 같은 고민에서 나왔다고 설명한다.

실무에서는 검사 범위를 넓힐 수 있다는 점이 핵심이다. 표본 추출 없이 전수 분석이 가능해지면, 드물게 터지는 실패도 통계에서 빠지지 않는다. 도메인별로 프롬프트만 바꿔 원하는 검사를 정의할 수 있다는 것도 장점이다. 다만 음성 에이전트 쪽은 아직이다. OpenAI의 realtime 같은 음성 SDK 트레이싱은 현재 지원하지 않고 있으며 개발을 검토 중이라고 한다. 파이프라인 어딘가에 통화 전사본이 남아 있다면 일반 에이전트와 크게 다르지 않게 다룰 수 있고, flow-1 자체도 다중 턴 음성 대화 데이터로 훈련하고 벤치마크했다고 밝혔다. 성능 수치는 어디까지나 자사 벤치마크 기준이라는 점도 감안해야 한다.