OmniRoute
무엇인가
OmniRoute는 여러 LLM 제공자를 하나의 HTTP 엔드포인트 뒤로 묶는 게이트웨이다. 클라이언트는 제공자별 SDK 대신 이 엔드포인트 하나에 요청을 보내고, 실제 제공자와 모델 선택은 게이트웨이가 맡는다. Claude Code, Codex, Cursor, OpenCode, Cline, Copilot 같은 코딩 도구가 별도 개조 없이 붙는다. OpenAI 호환 경로와 Anthropic 호환 와이어 포맷을 함께 노출한다.
어떻게 동작하나
라우팅은 할당량 인식 방식으로 동작한다. 무료 티어 카탈로그는 34개 반복 풀 키에 걸린 444개 항목을 공유 풀 기준으로 중복 제거하고, 월간 예산이 공개된 16개 풀과 Groq의 모델별 상한 5개로 헤드라인 수치를 계산한다. 계산 결과는 /dashboard/free-tiers 페이지에 표시된다. 요청 토큰은 RTK와 Caveman 압축을 거쳐 15~95% 줄어든다. MCP와 A2A 프로토콜, 데스크톱·PWA 클라이언트를 함께 다룬다.
무엇과 다른가
제공자마다 SDK를 붙이고 키를 손으로 로테이션하는 구성과 달리, 제공자 선택과 폴백이 게이트웨이 내부에서 일어난다. 한 제공자의 할당량이 소진되면 자동으로 다른 제공자로 넘어간다. 무료 티어 수치는 카탈로그가 실제로 계산한 값이며 2주마다 재감사한다. 지역 신원 확인이 필요한 할당량(현재 ModelScope)은 헤드라인 합계에서 빼고 별도로 표시한다.
어떻게 쓰나
설치하면 키와 설정 없이 바로 동작한다. 기본 경로는 OpenCode Free를 가리키는 `oc/…` 접두사이고, 이후 `auto`로 넘겨 게이트웨이가 제공자를 고르게 한다. Python, Node.js, PHP, cURL용 복사·붙여넣기 스크립트가 examples/quickstart/에 있다. 특정 제공자를 직접 쓰려면 그 제공자의 API 키나 OAuth 자격 증명을 등록한다.
전제와 한계
MIT 라이선스다. 무료 티어 수치는 제공자 약관에 따라 양방향으로 움직이며 보장된 값이 아니다. 지역 신원 확인 뒤에 열리는 할당량은 합계에 들어가지 않는다. 로드맵은 v3.9.0 LTS를 향한다. README는 51개 언어 번역을 제공한다.
관련 논문 1
유사 도구
- gateway1,600개 이상 LLM과 40개 이상 가드레일을 하나의 OpenAI 호환 API로 중계하는 TypeScript 기반 AI 게이트웨이다. 재시도·폴백·로드밸런싱을 설정으로 처리한다.
- litellm100개 이상 LLM 제공자를 OpenAI 포맷 단일 엔드포인트로 중계하는 오픈소스 AI 게이트웨이다. 가상 키·비용 추적·로드밸런싱을 프록시 계층에서 처리한다.
- bifrost23개 이상 LLM 제공자를 하나의 OpenAI 호환 API로 중계하는 Go 기반 AI 게이트웨이다. 5천 RPS에서 요청당 11µs 오버헤드를 추가한다.
- heliconeOpenAI 호환 baseURL 한 줄만 바꾸면 요청 로그·비용·지연을 수집하는 LLM 관측 프록시이자 100개 이상 모델을 중계하는 AI 게이트웨이다.
- cherry-studio여러 LLM 제공자를 한 데스크톱 앱에서 묶어 쓰는 클라이언트다. 사전 구성된 어시스턴트, MCP 서버 연결, WebDAV 백업을 포함한다.
- aichat20개 이상 LLM 제공자를 하나의 인터페이스로 묶어 셸 명령 변환, REPL 대화, RAG, 함수 호출을 한 바이너리에서 처리하는 Rust CLI다.