openllmetry
무엇인가
OpenLLMetry는 OpenTelemetry 위에 얹는 계측 확장 모음이다. LLM 애플리케이션의 실행 경로를 추적 가능한 스팬으로 바꿔 기존 관측 스택으로 흘려보내는 자리에 있다. Traceloop이 Apache 2.0 라이선스로 만들고 유지보수한다.
어떻게 동작하나
구성은 두 갈래다. 하나는 LLM 제공자, 벡터 DB, 에이전트 프레임워크, MCP 프로토콜용 OpenTelemetry 인스트루멘테이션이다. 다른 하나는 초기화를 한 줄로 끝내는 Traceloop SDK다. SDK는 표준 OpenTelemetry 데이터를 출력하므로 수집 경로는 OTLP를 그대로 따른다. 로컬에서 즉시 트레이스를 보려면 배치 전송을 끈다. 이 저장소의 시맨틱 컨벤션은 OpenTelemetry 본체에 편입됐다.
무엇과 다른가
벤더 전용 관측 SDK와의 차이는 데이터 형식에 있다. 출력이 표준 OpenTelemetry이므로 Datadog, Honeycomb, Grafana, New Relic, SigNoz, Splunk 같은 백엔드에 코드 변경 없이 붙는다. 이미 OpenTelemetry로 계측된 애플리케이션이라면 SDK를 넣지 않고 필요한 인스트루멘테이션만 직접 추가한다.
어떻게 쓰나
설치는 pip 한 줄이다. 이후 코드에 초기화 호출을 넣으면 계측이 시작된다. 로컬 실행에서는 배치 전송을 비활성화해 트레이스를 바로 확인한다. 각 백엔드 연결 방법은 대상별 문서를 따른다.
전제와 한계
SDK와 인스트루멘테이션은 더 이상 텔레메트리를 기록하거나 수집하지 않는다. v0.49.2 이상으로 올려야 이 동작이 적용된다. 과거 수집 목적은 제공자 API 변경으로 깨진 인스트루멘테이션을 탐지하는 것이었고, 익명 데이터만 대상이었다. SDK를 쓰지 않고 인스트루멘테이션만 직접 쓰면 수집은 발생하지 않는다. JS/TS 버전은 별도 저장소로 제공된다.
유사 도구
- RagaAI-CatalystLLM과 에이전트 실행을 트레이싱하고 평가·가드레일·레드팀까지 한 SDK에서 처리하는 Python 관측 프레임워크다.
- opikLLM 호출과 에이전트 실행을 추적·평가·모니터링하는 오픈소스 관측성 플랫폼이다. 서버와 웹 앱까지 Apache-2.0으로 자체 호스팅한다.
- tensorzeroLLM 게이트웨이·관측성·평가·최적화·실험을 하나의 자체 호스팅 서버로 묶은 Rust 기반 LLMOps 플랫폼이다.
- heliconeOpenAI 호환 baseURL 한 줄만 바꾸면 요청 로그·비용·지연을 수집하는 LLM 관측 프록시이자 100개 이상 모델을 중계하는 AI 게이트웨이다.
- trpc-agent-goGo로 프로덕션 에이전트 시스템을 만드는 프레임워크다. 그래프 워크플로, 도구 호출, 메모리, A2A·AG-UI·MCP 연동, 평가, OpenTelemetry 관측성을 한 스택에 담는다.
- txtai벡터 인덱스·그래프·관계형 DB를 합친 임베딩 데이터베이스 위에서 시맨틱 검색과 LLM 워크플로를 돌리는 Python AI 프레임워크다.