bifrost
무엇인가
Bifrost는 애플리케이션과 LLM 제공자 사이에 놓이는 프록시 계층이다. 클라이언트는 제공자별 SDK 대신 Bifrost의 OpenAI 호환 엔드포인트 하나만 호출한다. 라우팅, 장애 전환, 비용 통제가 게이트웨이 안에서 처리된다.
어떻게 동작하나
게이트웨이는 HTTP 서버로 뜨고 Web UI를 함께 제공한다. 설정은 Web UI, HTTP API, 파일 세 가지 경로로 넣는다. 요청은 제공자 어댑터로 전달되며 그 앞단에서 가중치 기반 API 키 선택과 로드 밸런싱이 일어난다. 시맨틱 캐시는 의미 유사도로 이전 응답을 재사용한다. 플러그인 미들웨어가 분석·모니터링·사용자 로직을 끼워 넣는 지점이다. 메트릭은 Prometheus 형식으로 노출되고 분산 트레이싱과 로그가 함께 나온다.
무엇과 다른가
LiteLLM 같은 기존 게이트웨이를 대체하는 자리다. 저장소는 5,000 RPS 지속 부하에서 요청당 11µs 오버헤드, 키 선택 약 10ns, 큐 대기 1µs 미만을 제시하며 LiteLLM 대비 50배 빠르다고 표기한다. 별도 프로세스로 띄우는 게이트웨이 외에 Go SDK로 애플리케이션에 임베드하는 방식도 있다. 기존 OpenAI·Anthropic·AWS Bedrock·Google GenAI SDK 호출은 코드 한 줄 교체로 Bifrost를 향하게 할 수 있다.
어떻게 쓰나
설치는 게이트웨이를 띄우고 Web UI에서 제공자를 설정한 뒤 OpenAI 호환 경로로 첫 요청을 보내는 순서다. 배포 방식은 HTTP 게이트웨이, Go SDK 임베드, 드롭인 교체 세 가지다. 제공자 설정, MCP 연동, 예산 관리, 클러스터링 문서는 docs.getbifrost.ai에 있다.
전제와 한계
지원 제공자는 OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama, Groq 등 23개 이상이다. 적응형 로드 밸런싱, 클러스터 모드, 가드레일, MCP 게이트웨이는 엔터프라이즈 배포에서 열린다. Go SDK는 Go 프로젝트에서만 쓸 수 있다. 성능 수치는 5,000 RPS 벤치마크 기준이다.
유사 도구
- litellm100개 이상 LLM 제공자를 OpenAI 포맷 단일 엔드포인트로 중계하는 오픈소스 AI 게이트웨이다. 가상 키·비용 추적·로드밸런싱을 프록시 계층에서 처리한다.
- gateway1,600개 이상 LLM과 40개 이상 가드레일을 하나의 OpenAI 호환 API로 중계하는 TypeScript 기반 AI 게이트웨이다. 재시도·폴백·로드밸런싱을 설정으로 처리한다.
- OmniRoute여러 LLM 제공자를 하나의 엔드포인트로 중계하는 MIT 라이선스 AI 게이트웨이다. 무료 티어 할당량을 계산해 소진 시 자동으로 다른 제공자로 폴백한다.
- heliconeOpenAI 호환 baseURL 한 줄만 바꾸면 요청 로그·비용·지연을 수집하는 LLM 관측 프록시이자 100개 이상 모델을 중계하는 AI 게이트웨이다.
- DEEIX-Chat여러 모델 제공자를 하나의 진입점으로 묶어 멀티모달 채팅, 파일 RAG, MCP 도구, 과금, 감사를 한 제품에 담은 Go 기반 자체 호스팅 AI 플랫폼이다.
- genkitGoogle Firebase가 만든 오픈소스 AI 앱 프레임워크다. JS/TS·Go·Python·Dart SDK가 여러 모델 제공자를 하나의 API로 묶고 CLI와 로컬 개발자 UI를 갖춘다.