gateway
무엇인가
AI Gateway는 애플리케이션과 LLM 제공자 사이에 놓이는 오픈소스 프록시 서버다. 클라이언트는 제공자별 SDK 대신 게이트웨이의 단일 엔드포인트로 요청을 보내고, 게이트웨이가 이를 1,600개 이상의 언어·비전·오디오·이미지 모델로 중계한다. TypeScript로 작성됐으며 자체 호스팅과 Portkey Cloud 배포를 모두 지원한다.
어떻게 동작하나
게이트웨이는 기본적으로 http://localhost:8787/v1 에서 OpenAI 호환 API를 열고, 같은 포트의 /public/ 경로에서 콘솔을 제공한다. 라우팅 규칙·폴백·재시도·로드밸런싱·가드레일은 Configs라는 설정 객체로 정의하고 요청에 실어 적용한다. 실패한 요청은 지정한 오류 조건에 따라 다른 제공자나 모델로 폴백되고, 최대 5회까지 지수 백오프로 재시도된다. 로드밸런싱은 여러 API 키나 제공자에 가중치를 부여해 분산하며, 요청 타임아웃은 초과한 호출을 자동 종료한다. 실시간 API는 웹소켓 서버를 통해 호출하고, 모든 요청 로그는 콘솔에 로컬로 남는다.
무엇과 다른가
제공자 SDK를 직접 호출하는 구조에서는 제공자 추가·교체가 애플리케이션 코드 수정으로 이어진다. 게이트웨이에서는 그 변경이 Configs 수정으로 끝나고, 재시도·폴백·타임아웃·캐싱이 클라이언트가 아니라 프록시 계층에서 처리된다. 가드레일도 같은 계층에 있어 입력과 출력 검증을 애플리케이션 밖에서 강제한다. MCP Gateway는 이 계층 위에서 MCP 서버의 인증, 팀·사용자별 접근 제어, 도구 호출 로깅, 사용자 신원 전달을 통합한다.
어떻게 쓰나
배포는 Portkey Cloud, Docker, Node.js, Cloudflare, Replit 중 하나를 고른다. 게이트웨이가 뜨면 OpenAI SDK, REST, JS·Python 클라이언트, LangChain, LlamaIndex, Autogen, CrewAI 등 기존 라이브러리의 base URL만 게이트웨이 주소로 바꿔 호출한다. 라우팅과 가드레일은 Configs에 정의해 요청마다 지정한다. 제공자 키는 직접 쓰거나 가상 키를 즉석에서 발급해 쓴다.
전제와 한계
가드레일·캐싱·에이전트 프레임워크 연동은 오픈소스 배포에서 동작하지만, 프롬프트 템플릿 관리와 제공자 최적화는 호스팅·엔터프라이즈 버전에만 있다. 조직 관리·거버넌스·세밀한 역할 기반 접근 제어도 엔터프라이즈 사설 배포(AWS·Azure·GCP·OpenShift·Kubernetes)의 기능이다. 시맨틱 캐싱 역시 호스팅·엔터프라이즈에서 제공된다. Gateway 2.0은 프리릴리스 브랜치로 배포되며 정식 병합 전까지 안정 버전과 동작이 다를 수 있다.
관련 논문 1
유사 도구
- litellm100개 이상 LLM 제공자를 OpenAI 포맷 단일 엔드포인트로 중계하는 오픈소스 AI 게이트웨이다. 가상 키·비용 추적·로드밸런싱을 프록시 계층에서 처리한다.
- bifrost23개 이상 LLM 제공자를 하나의 OpenAI 호환 API로 중계하는 Go 기반 AI 게이트웨이다. 5천 RPS에서 요청당 11µs 오버헤드를 추가한다.
- OmniRoute여러 LLM 제공자를 하나의 엔드포인트로 중계하는 MIT 라이선스 AI 게이트웨이다. 무료 티어 할당량을 계산해 소진 시 자동으로 다른 제공자로 폴백한다.
- heliconeOpenAI 호환 baseURL 한 줄만 바꾸면 요청 로그·비용·지연을 수집하는 LLM 관측 프록시이자 100개 이상 모델을 중계하는 AI 게이트웨이다.
- plano에이전트 앱 앞에 세우는 AI 네이티브 프록시 서버 겸 데이터 플레인이다. Envoy 기반으로 LLM 라우팅·오케스트레이션·가드레일을 아웃오브프로세스에서 처리한다.
- 9router여러 AI 코딩 CLI 도구를 40개 이상 제공자에 연결하고, 구독→저가→무료 순 폴백과 tool_result 압축으로 토큰을 줄이는 로컬 라우팅 프록시다.