helicone
무엇인가
Helicone은 LLM 애플리케이션과 모델 제공자 사이에 놓이는 프록시 계층이다. 클라이언트가 보낸 요청을 그대로 전달하면서 요청·응답 본문, 토큰 사용량, 비용, 지연 시간을 함께 기록한다. 관측 단위는 단일 호출이 아니라 에이전트, 챗봇, 문서 처리 파이프라인처럼 여러 번의 LLM 호출로 이뤄진 트레이스와 세션이다.
어떻게 동작하나
자체 호스팅 구성은 다섯 개 서비스로 나뉜다. Web은 NextJS 프론트엔드, Worker는 Cloudflare Workers에서 동작하는 프록시 로깅 계층, Jawn은 Express와 Tsoa로 만든 로그 수집 전용 서버다. 애플리케이션 데이터와 인증은 Supabase가, 분석용 로그는 ClickHouse가, 원본 로그 오브젝트는 Minio가 보관한다. 요청은 Worker를 통과해 제공자로 전달되고, 수집된 로그는 Jawn을 거쳐 ClickHouse에 적재된다.
무엇과 다른가
SDK를 코드에 심어 계측하는 방식과 달리 baseURL만 Helicone 엔드포인트로 교체하면 된다. OpenAI 호환 API를 그대로 쓰므로 기존 클라이언트 라이브러리를 유지한 채 OpenAI, Anthropic, LangChain, Gemini, Vercel AI SDK 호출이 로깅된다. 같은 엔드포인트가 100개 이상 제공자에 대한 라우팅과 자동 폴백을 겸하며, 프롬프트 버전은 게이트웨이에서 배포되어 코드 변경 없이 교체된다.
어떻게 쓰나
API 키를 발급받고 코드의 baseURL과 키를 Helicone 값으로 바꾸면 로그가 쌓인다. 자체 호스팅은 docker-compose 파일로 로컬에 띄운다. 엔터프라이즈 워크로드용 Helm 차트는 [email protected]로 문의해 받는다. 수동 배포는 권장하지 않는다. 수집된 데이터는 API나 MCP 서버로 내보낼 수 있고 PostHog로도 전송된다.
전제와 한계
무료 티어는 월 1만 요청까지이며 신용카드가 필요 없다. SOC 2와 GDPR 준수는 호스팅 서비스 기준이고, Helm 차트는 공개 배포되지 않는다. 파인튜닝은 OpenPipe나 Autonomi 같은 외부 파트너를 통해 이뤄지며 Helicone 자체가 학습을 수행하지는 않는다.
유사 도구
- gateway1,600개 이상 LLM과 40개 이상 가드레일을 하나의 OpenAI 호환 API로 중계하는 TypeScript 기반 AI 게이트웨이다. 재시도·폴백·로드밸런싱을 설정으로 처리한다.
- langfuseLLM 애플리케이션의 트레이스 수집·프롬프트 버전 관리·평가·데이터셋을 한 플랫폼에 묶은 오픈소스 LLM 엔지니어링 도구다. ClickHouse 기반으로 셀프호스팅한다.
- litellm100개 이상 LLM 제공자를 OpenAI 포맷 단일 엔드포인트로 중계하는 오픈소스 AI 게이트웨이다. 가상 키·비용 추적·로드밸런싱을 프록시 계층에서 처리한다.
- openllmetryOpenTelemetry 기반으로 LLM 호출·프레임워크·벡터 DB를 계측해 표준 트레이스로 내보내는 Python SDK다. 벤더 종속 없이 기존 관측 백엔드에 연결한다.
- OmniRoute여러 LLM 제공자를 하나의 엔드포인트로 중계하는 MIT 라이선스 AI 게이트웨이다. 무료 티어 할당량을 계산해 소진 시 자동으로 다른 제공자로 폴백한다.
- bifrost23개 이상 LLM 제공자를 하나의 OpenAI 호환 API로 중계하는 Go 기반 AI 게이트웨이다. 5천 RPS에서 요청당 11µs 오버헤드를 추가한다.