ONEDEV

opik

LLM FrameworksDevOpsPython

★ 21,968주당 +141조회 7

무엇인가

Opik은 LLM 애플리케이션과 AI 에이전트의 실행을 추적·평가·모니터링하는 오픈소스 관측성 플랫폼이다. Comet이 개발했고 Apache-2.0으로 배포된다. LLM observability와 AI agent evaluation 범주에 속하며 LangSmith, Langfuse, Arize Phoenix, Weights & Biases Weave, Braintrust가 있던 자리를 대신한다. 클라이언트 SDK만이 아니라 서버 백엔드와 웹 애플리케이션까지 저장소에 들어 있다.

어떻게 동작하나

Python SDK의 @track 데코레이터가 함수 호출을 감싸고, 그 안의 중첩 호출까지 하나의 trace 트리로 기록한다. 각 LLM 호출과 도구 실행은 span으로 남는다. 트레이스는 Opik 서버로 전송되어 저장되고 웹 대시보드에서 조회된다. 피드백 점수는 Python SDK나 UI에서 trace와 span에 주석으로 붙인다. 평가는 Dataset과 Experiment 단위로 실행되고, LLM-as-a-judge 메트릭이 환각 탐지, moderation, RAG 평가(Answer Relevance, Context Precision)를 맡는다. Online Evaluation Rules는 프로덕션 트레이스에 같은 judge 메트릭을 적용한다. MCP 서버는 /api/v1/mcp 엔드포인트로 노출되어 코딩 에이전트가 트레이스를 읽고 출력에 점수를 매기고 평가를 실행하게 한다.

무엇과 다른가

자체 호스팅 범위가 경쟁 제품과 갈린다. Opik은 서버, 웹 애플리케이션, 추적, 데이터셋, 실험, 평가, 프롬프트 관리, 온라인 평가, 에이전트 최적화 구성 요소를 모두 Apache-2.0으로 배포하므로 상용 라이선스 없이 자기 인프라에서 전체 플랫폼을 돌릴 수 있다. 데이터가 환경 밖으로 나가지 않는다. 프레임워크 비종속이라 특정 에이전트 생태계에 묶이지 않는다. Google ADK, Autogen, Flowise AI를 포함한 여러 프레임워크와의 통합이 SDK에 들어 있다. PyTest 통합으로 커밋마다 LLM 파이프라인을 평가할 수 있다.

어떻게 쓰나

Python SDK를 설치하고 설정한 뒤 함수에 @track 데코레이터를 붙이면 그 호출이 기록되기 시작한다. 단일 LLM 호출뿐 아니라 에이전트와 파이프라인 전체 트레이스가 같은 방식으로 남는다. MCP 연동은 uv가 있으면 명령 한 줄로 끝난다. npx add-mcp https://www.comet.com/opik/api/v1/mcp --name opik-mcp 를 실행하면 Claude Code, Cursor, VS Code Copilot, Codex, opencode가 채팅에서 트레이스를 읽고 평가를 돌린다. 자체 호스팅 배포는 문서의 설치 옵션을 따른다.

전제와 한계

README가 밝힌 처리 규모는 하루 4천만 건 이상의 트레이스다. TypeScript SDK도 함께 배포된다. 자체 호스팅은 서버 백엔드와 웹 애플리케이션 운영을 전제로 한다. MCP 클라이언트 설정 안내의 배지와 add-mcp 폴백은 Opik Cloud를 기준으로 하고, 자체 호스팅은 별도 명령이 처리한다. 없는 기능은 이슈로 기능 요청을 받는다.

관련 논문 1

유사 도구