RagaAI-Catalyst
무엇인가
RagaAI Catalyst는 LLM 애플리케이션과 에이전트 시스템의 실행 기록을 수집하고 평가하는 Python SDK다. 프로젝트, 데이터셋, 프롬프트, 평가, 가드레일, 합성 데이터, 레드팀 모듈을 하나의 패키지에 묶고 자체 호스팅 대시보드에서 타임라인과 실행 그래프로 조회한다. 관측 계층이 애플리케이션 코드와 모델 호출 사이에 들어가는 구조다.
어떻게 동작하나
동작의 중심은 트레이서다. RagaAICatalyst 클래스에 자격 증명을 넘기거나 환경 변수로 설정한 뒤, tracer를 project_name과 dataset_name으로 초기화한다. 기록 구간은 tracer() 컨텍스트 매니저로 감싸거나 tracer.start()로 시작한다. 수집 항목은 LLM 상호작용과 토큰 사용량, 툴 호출과 실행 패턴, 네트워크·API 호출, 사용자 피드백, 에이전트의 의사결정 단계다. 트레이스는 프로젝트와 데이터셋 단위로 묶여 대시보드에 저장되고 비용 추적과 성능 모니터링에 쓰인다.
무엇과 다른가
단순 로깅 라이브러리와 달리 트레이스 수집, 평가, 가드레일, 레드팀 스캔이 같은 SDK 안에 있다. 트레이스로 모은 실행 기록을 평가 데이터셋으로 돌려 지표를 계산하고, 레드팀 모듈은 내장·사용자 정의 디텍터로 모델 취약점과 편향을 스캔한다. 대시보드를 자체 호스팅할 수 있다는 점도 구조적 차이다.
어떻게 쓰나
설치는 pip로 하고, 사용 전 프로필 설정의 Authenticate에서 Generate New Key로 access 키와 secret 키를 발급한다. 이 값을 환경 변수나 RagaAICatalyst 생성자에 넣는다. 이후 프로젝트를 만들고 데이터셋을 등록한 다음 애플리케이션 코드의 대상 구간을 트레이서로 감싼다. 프롬프트 관리, 합성 데이터 생성, 가드레일 설정도 같은 클라이언트에서 호출한다.
전제와 한계
모든 기능이 RagaAICatalyst 인증을 전제로 한다. 자격 증명 없이는 프로젝트 생성부터 트레이스 기록까지 동작하지 않는다. 레드팀 모듈은 OpenAI, XAI 등 여러 LLM 제공자를 다루며 테스트 케이스를 주지 않으면 자동 생성한다. README에는 지원 Python 버전이나 트레이스 보존 기간 같은 제약이 명시돼 있지 않다.
관련 논문 2
유사 도구
- opikLLM 호출과 에이전트 실행을 추적·평가·모니터링하는 오픈소스 관측성 플랫폼이다. 서버와 웹 앱까지 Apache-2.0으로 자체 호스팅한다.
- langfuseLLM 애플리케이션의 트레이스 수집·프롬프트 버전 관리·평가·데이터셋을 한 플랫폼에 묶은 오픈소스 LLM 엔지니어링 도구다. ClickHouse 기반으로 셀프호스팅한다.
- openllmetryOpenTelemetry 기반으로 LLM 호출·프레임워크·벡터 DB를 계측해 표준 트레이스로 내보내는 Python SDK다. 벤더 종속 없이 기존 관측 백엔드에 연결한다.
- ragasLLM 애플리케이션 출력을 LLM 기반·전통 메트릭으로 채점하고, 프로덕션 데이터에서 테스트셋을 자동 생성하는 Python 평가 라이브러리다.
- crewAI역할 기반 자율 AI 에이전트를 Crews로 묶고, 이벤트 기반 Flows로 실행을 제어하는 Python 멀티에이전트 오케스트레이션 프레임워크다.
- gateway1,600개 이상 LLM과 40개 이상 가드레일을 하나의 OpenAI 호환 API로 중계하는 TypeScript 기반 AI 게이트웨이다. 재시도·폴백·로드밸런싱을 설정으로 처리한다.