tensorzero
무엇인가
TensorZero는 LLM 애플리케이션의 운영 계층을 한 서버로 합치는 LLMOps 플랫폼이다. 게이트웨이, 관측성, 평가, 최적화, 실험을 각각 다른 도구로 조합하지 않고 같은 데이터 모델 위에서 처리한다. Rust로 작성되어 자체 호스팅으로 배포한다.
어떻게 동작하나
동작의 중심은 tensorzero.toml 설정 파일이다. 여기에 함수(function)와 variant, 모델 제공자, 프롬프트 템플릿, 출력 JSON 스키마를 선언한다. 애플리케이션은 OpenAI 호환 단일 엔드포인트로 요청을 보내고, 게이트웨이가 설정에 따라 제공자와 variant로 라우팅하며 폴백·재시도를 적용한다. 모든 추론과 피드백(지표, 사람의 수정)은 사용자의 PostgreSQL에 저장되고 UI나 프로그램으로 조회한다. 트레이스는 OTLP로, 메트릭은 Prometheus 형식으로 내보낸다.
무엇과 다른가
게이트웨이 전용 프록시는 요청을 중계하고 끝나지만, TensorZero는 중계 과정에서 남긴 추론·피드백 기록을 그대로 평가 데이터셋과 최적화 입력으로 쓴다. 애플리케이션 코드에 프레임워크 추상화를 심는 방식과 달리 라우팅·프롬프트·실험 설정이 코드 밖 설정 파일과 서버에 있으므로, GitOps로 관리하고 과거 추론을 새 프롬프트나 모델로 재실행할 수 있다.
어떻게 쓰나
설정 파일을 작성한 뒤 Docker Compose로 게이트웨이를 띄우고, 기존 OpenAI SDK의 base URL을 게이트웨이 주소로 바꾸면 호출이 그대로 통과한다. 프롬프트는 Playground UI에서 대화형으로 실험한다. 평가는 CLI로 실행한다: docker compose run --rm evaluations --evaluation-name extract_data --dataset-name hard_test_cases --variant-name gpt_4o --concurrency 5. 결과는 exact_match, semantic_match 같은 지표의 평균과 표준오차로 출력된다.
전제와 한계
자체 호스팅이 전제이므로 서버 실행 환경과 PostgreSQL이 필요하다. 자동화된 AI 엔지니어인 TensorZero Autopilot은 오픈소스 플랫폼과 별개인 유료 제품이다. README 기준으로 AI 지원 디버깅·근본 원인 분석, AI 지원 데이터 라벨링, 합성 데이터 생성, headless 평가는 아직 없다.
관련 논문 1
유사 도구
- heliconeOpenAI 호환 baseURL 한 줄만 바꾸면 요청 로그·비용·지연을 수집하는 LLM 관측 프록시이자 100개 이상 모델을 중계하는 AI 게이트웨이다.
- opikLLM 호출과 에이전트 실행을 추적·평가·모니터링하는 오픈소스 관측성 플랫폼이다. 서버와 웹 앱까지 Apache-2.0으로 자체 호스팅한다.
- LLM-API-Key-ProxyOpenAI·Anthropic 호환 엔드포인트를 하나 띄워 여러 LLM 제공자를 provider/model 형식으로 중계하는 자체 호스팅 FastAPI 프록시다.
- openllmetryOpenTelemetry 기반으로 LLM 호출·프레임워크·벡터 DB를 계측해 표준 트레이스로 내보내는 Python SDK다. 벤더 종속 없이 기존 관측 백엔드에 연결한다.
- ClawProBenchOpenClaw 런타임에서 LLM 에이전트를 실제 실행으로 평가하는 벤치마크 하네스다. 결정적 채점과 반복 시행 신뢰도 지표를 낸다.
- aichat20개 이상 LLM 제공자를 하나의 인터페이스로 묶어 셸 명령 변환, REPL 대화, RAG, 함수 호출을 한 바이너리에서 처리하는 Rust CLI다.