입력마다 모델을 고르는 라우팅이 일반 AI 효율을 8.82배 높인다

무엇인가

이 논문은 하나의 거대 모델이 모든 능력을 익히는 대신 언어모델, 이미지·비디오·음성 생성기, 코딩 에이전트, 로봇 정책을 후보로 두고 입력마다 가장 알맞은 후보를 고르는 라우팅을 일반 AI 시스템의 구성 원리로 다룬다. 기존 라우팅 연구가 주로 언어모델의 캐스케이드와 품질-비용 절충에 머문 반면, 이 작업은 모달리티와 출력 유형을 가로지르는 라우팅이 실제로 얼마나 성능을 올리고 비용을 줄이는지, 학습 라우터가 어디까지 가능한지, 어떤 조건에서 싼 경로가 충분한지를 묻는다.

어떻게 동작하나

방법의 뼈대는 후보·상태·결과를 하나의 이론으로 묶는 것이다. 입력 x에 대해 라우터는 상태 s=σ(x)를 관찰하고 후보 u를 고른다. 후보의 가치는 0과 1 사이의 벤치마크 점수이고 비용은 달러나 초 단위 자원이다. 가격 λ에서 라우터의 목적은 기대 가치에서 λ 곱하기 기대 비용을 뺀 값이다. 참조 정책 B를 정하면 품질 변화 Q, 절약 S, 효율 η, 품질 허용오차 ε 아래의 하한 Q≥−ε를 정의할 수 있다. 논문의 보조정리는 효율이 개선되는 조건이 Q+ηB·S>0이며 품질 하한은 별도 조건이라고 정리한다. 정리 2는 각 상태에서 v(s,u)−λc(s,u)를 최대화하는 후보를 고르는 것이 가격 아래 최적이며, 최고 효율은 Φ(λ)=Σπ(s)max_u[v(s,u)−λc(s,u)]의 근으로 정해진다고 말한다. 품질 하한이 있는 경우에도 최적 라우터는 참조와 허용오차가 정한 하나의 가격에서 라우팅하는 것과 같은 형태가 된다. 정보 사다리 명제는 라우터가 관찰하는 상태가 거칠수록 성능이 낮고, 세밀할수록 높아지며, 입력별 오라클마저도 관측 불가능한 결과 잡음만큼의 마지막 격차를 남긴다고 설명한다. 학습 목표에 대해서는 후보별 결과를 회귀하는 것이 승자 라벨을 분류하는 것보다 낫다는 명제도 제시한다. 승자 라벨은 동점 처리와 지연 시간 같은 부가 규칙에 휘둘려 가치 범위의 거의 절반을 잃을 수 있다. 품질 하한은 독립 입력에서 계산한 p-값을 순차 검정해 인증하며, 아무것도 인증하지 못하면 참조 정책을 반환한다.

무엇과 다른가

실험 기반은 25개 벤치마크, 7개 그룹, 풀당 3~7개 후보, 452개 후보 구성, 374,401개 채점 실행으로 만든 전모달 궤적 행렬이다. 텍스트 질의응답, 이미지-텍스트 질의응답, 이미지·비디오·음성 생성, 코드·업무 에이전트, 로봇 조작을 포함한다. 모든 후보가 같은 입력에 실행되며, 학습·개발·테스트를 70/10/20으로 소스 그룹 단위로 나눈다. 고정 후보는 학습 입력에서 벤치마크별 최고 후보를 고르고, 오라클은 각 입력에서 관측된 최고 후보를 고른다. 모든 후보가 채점된 19,814개 테스트 입력에서 고정 최고 후보는 82.60, 입력별 오라클은 87.98로 5.4점 차이다. 이 격차는 음성 생성에서 0.7점에 그치지만 비디오 생성과 로봇 조작에서는 18~19점이다. 벤치마크별 최고 후보를 사후에 골라도 82.60이 82.62로 거의 오르지 않는다. 107개 능력 잎을 가진 규칙 기반 트리에서도 잎별 최고 후보는 77.89로 고정 후보 77.03보다 조금 높고 오라클 87.44에는 못 미쳐, 격차의 8%만 능력 유형 사이에 있다. RoboTwin에서는 과제와 장면 조건별 최고 정책을 사후에 고를 때 18.4점 격차의 23%가 회복된다. CodeRouterBench의 공개 라우터들은 과제 유형을 모를 때 완벽한 라우팅 정보 가치의 55%를 잡지만, 유형 안에서는 6~8%만 잡는다.

어떻게 쓰나

학습 라우터는 Qwen3.5-4B를 과제 텍스트와 출력 요구사항에 미세조정해 만들고, 로봇에서는 세 장의 카메라 프레임과 로봇 상태도 입력한다. 결과 라우터는 입력과 후보 프로필마다 시그모이드 점수를 내고 가장 높은 후보를 고른다. 유형 라우터는 입력을 능력 유형으로 분류해 표에서 그 유형의 최고 후보를 고른다. 16개 벤치마크에 하나의 능력 트리 라우터를 적용하면 79.98로 고정 후보 79.68보다 0.3점 높고 오라클 84.80에는 못 미친다. Terminal-Bench에서 36개 입력에 +8.3점, VBench-2.0 +2.1점, OneIG +1.1점, GDP.pdf +1.0점을 내지만 AA-LCR에서는 −2.4점이다. 잎 분류기가 86~89% 정확해도 83~86% 입력은 고정 후보로 보내진다. 이미지 생성에서는 GenEval2와 Qwen-Image-Bench에서 31개 라우터 설계, 124개 구성을 시험했지만 고정 생성기를 유의하게 앞선 구성이 없고 44개는 유의하게 나빴다. 학습하지 않은 Qwen3.5-4B가 직접 후보를 고르면 고정 후보보다 1.15점 낮다. 로봇에서는 49,000개 학습 결과로 7개 비전-언어-행동 정책의 성공을 예측한다. 라우터는 깨끗한 장면 1,000개 중 929개를 PatchWAM으로, 무작위화 장면 1,000개 중 842개를 ME-Dex로 보낸다. 전체 성공률은 71.55%로 최고 단일 정책 70.45%보다 1.10점 높고 신뢰구간은 −0.40에서 +2.55다. 정책 시간은 장면당 11.05초로 14.51초보다 24% 적어 정책 초당 성공률은 1.33배다. 조건 수준 선택만으로도 72.1%이므로 오라클까지 남은 17%는 장면별 성공 예측에서 온다. 같은 입력과 백본에서 정책별 성공을 회귀하면 로봇 성공률 71.6%지만 승자 라벨을 분류하면 42.8%다. 지연 시간 동점 규칙이 승자 라벨의 94%를 결정하고, 성공한 학습 결과 31,408개 중 24,556개가 잘못된 클래스 목표가 되기 때문이다. 16개 벤치마크의 생성형 승자 라벨 라우터도 최고 78.87로 고정 후보 79.44보다 낮다. 비교 기준도 중요하다. 모든 학습 입력에 점수가 있어야 하는 고정 기준은 HLE 1,122개 중 11개가 빠진 Opus 5.5를 탈락시켜 HLE에서 52.90 대신 58.24, AA-Omniscience에서 70.00 대신 77.50을 기록했다. 합산 점수는 68.30에서 65.52로 떨어졌고, 결과 라우터의 0.40점 열세가 2.38점 우세로 뒤집혔다. 포트폴리오 비교에서도 같은 과제에 두 포트폴리오를 비교하면 최고 추가 모델을 96.4~97.1% 고르지만 동결 평균은 86.3~94.3%에 그친다.

전제와 한계

비용 효율 실험은 라우팅의 가장 안정적인 이득이 품질 향상보다 값싼 경로에 있음을 보여준다. CodeRouterBench는 8개 모델, 9,999개 코딩 과제로 구성되고 참조는 claude-opus-4-6이다. 항상 Opus를 쓰면 과제당 11.655밀리달러로 0.4383점이다. Opus 4.6의 진입 가격은 점수당 달러 100, 즉 ηB의 2.9배이고 무손실 하한 가격 144와 최고 효율 1022보다 낮다. 그래서 무손실 라우터는 Opus를 전혀 부르지 않고 모든 과제를 더 싼 모델로 보내 0.44점 손실로 Opus 효율의 25.5배를 낸다. 가장 싼 Qwen3-Max만 쓰면 4.2점 손실로 20.1배이고, 상태 기반 라우팅은 그 손실을 회복하며 효율을 27% 더한다. 프롬프트에서 추론한 상태는 25.3배, 학습된 품질-비용 라우터는 무손실 지점에서 22.7~24.2배다. 상태가 없으면 모든 무손실 정책이 Opus를 불러 과제의 28.7%가 Opus로 간다. RouterBench에서는 참조를 피하는 최고 라우터가 참조보다 9.7점 낮아, 무손실 라우터가 싼 주 모델을 참조로 연쇄해 7.1배를 낸다. 적합한 하한은 보장이 아니다. 탐색 과제 절반으로 다시 적합하면 200개 분할 중 12.5%에서만 테스트 하한이 지켜지지만, 나머지 절반으로 명제 5에 따라 인증하면 200개 모두 지켜지고 중앙값 19.4배다. 이미지 생성에서 GPT Image 2.5는 장당 0.21달러로 다른 생성기의 3.5~5.4배이고 5개 벤치마크 중 2개에서 최고다. 0.5점 이내 경로는 Qwen-Image-Bench를 Grok Imagine 2.0으로, OneIG를 Qwen-Image 3으로 옮겨 0.47점 손실로 테스트 비용을 26% 줄이고, 2점 허용오차는 비용을 절반으로 만든다. 네 테스트베드 평균 효율 향상은 8.82배다. 라우터 오버헤드는 H20 GPU 한 장에서 결정당 0.13초로, 이미지 생성 27~158초와 비디오 생성 211~314초에 비하면 작다. 과제 내 추가 지출도 따져야 한다. 42개 순서 모델 쌍 모두에서 첫 모델이 실패한 뒤 두 번째 모델의 성공률이 중앙값 0.49로 줄어든다. 무료 컴파일러 게이트는 2.4점 손실로 달러 효율 4.09배를 내지만, LLM 심사자는 무료일 때 2.63배이고 정가로는 0.30배다. 초 단위에서는 Opus가 주 모델보다 빨라 검증 캐스케이드가 항상 Opus를 이기지 못한다. DeepSeek-v4-pro 예측은 정가 기준 2.4회 시도 비용이고, 프롬프트만 쓰는 TF-IDF 라우터는 1회의 0.06%다.

개발자 관점에서 이 논문의 실무적 메시지는 라우팅을 성능 만능 열쇠로 보지 말고, 같은 입력에서 후보들을 비교해 비용 효율을 인증하는 장치로 쓰라는 것이다. 특히 후보별 결과를 학습하고, 승자 라벨이나 거친 유형 라벨에 의존하지 말며, 빠진 점수가 기준 후보를 부당하게 탈락시키지 않도록 폴백을 맞춰야 한다. 참조 모델과 품질 허용오차를 먼저 고정한 뒤 경로 순위를 매기고, 독립 입력에서 하한을 인증해야 한다. 후보 간 품질 차이가 작고 비용 차이가 클 때 효과가 크며, 한 후보가 모든 입력을 지배하거나 차이가 잡음인 영역에서는 이득이 작다. 이미지 생성처럼 라우터가 고정 생성기를 유의하게 못 앞서는 경우도 있고, 음성 생성처럼 가장 좋은 생성기가 가장 싼 축에 있어 교환할 것이 없는 경우도 있다.

저자들이 밝힌 전제와 한계도 분명하다. 행렬 대부분은 비용이 기록되지 않아 λ=0에서 품질만으로 비교한다. 이론은 상태가 유한하고 후보 메뉴가 입력 x가 아니라 상태 s에만 의존하며 비용이 양수라고 가정한다. 적합 데이터로 계산한 품질 하한은 테스트에서 자동으로 보장되지 않으므로 별도 인증이 필요하다. 학습 라우터 연구는 MMLU-Pro, MMLU-Redux, SuperGPQA, GPQA와 이미지-텍스트 질의응답 3개를 제외했는데, 이들이 입력의 4분의 3과 합산 격차의 절반을 차지하며 격차는 1.4~6.0점이다. 대신 격차가 8점을 넘는 벤치마크는 모두 연구했다. 로봇 밖에서는 결과 회귀와 승자 라벨을 직접 비교한 패널이 없고, 어떤 학습 목표도 고정 후보를 앞서지 못한 경우가 있다. 로봇 성능 향상의 신뢰구간은 0을 포함하며, 입력별 오라클은 배포 가능한 라우터가 아니라 달성 가능한 상한으로 읽어야 한다.