LLM 분류기를 적응형 회로로 묶어 비용 대비 정확도를 개선한다

무엇인가

이 논문은 LLM을 분류기로 쓸 때 생기는 비결정성과 샘플별 신뢰도 편차를 다룬다. 프롬프트만으로 분류기를 만들 수는 있지만 같은 입력에도 예측이 흔들리고, 어떤 샘플에서는 특정 모델이 유난히 약하다. 저자들은 백엔드 모델, 지시 프롬프트, 채점 루브릭, 디코딩 파라미터, 추론 설정, 추론 하네스 등의 조합으로 정의되는 각 LLM 분류기를 잡음 있는 측정 도구로 본다. 목표는 평균 질의 비용이 주어졌을 때 평균 분류 정확도를 최대화하는 것이다. 이를 위해 여러 분류기를 적응형 질의와 결정의 순서로 묶는 분류 회로를 제안한다.

어떻게 동작하나

회로는 질의 정책과 예측 정책으로 구성된다. 질의 정책은 프롬프트와 지금까지 관찰한 측정 이력을 보고 다음에 어떤 분류기를 질의할지, 언제 멈출지 정한다. 논문은 여러 분류기를 동시에 질의하는 회로도 같은 오류와 비용을 내는 순차 회로로 바꿀 수 있음을 보여, 최적 회로는 한 번에 하나씩 질의하는 형태로 잡을 수 있다고 주장한다. 상태는 지금까지 관찰한 분류기-응답 쌍의 집합이다. 각 상태에서 회로는 멈추고 사후확률로 베이즈 예측을 하거나, 비용을 내고 아직 질의하지 않은 분류기를 호출한다. 벨만 방정식은 정지했을 때의 베이즈 오류와, 분류기 i를 질의했을 때의 비용 λc_i(z) 더하기 다음 상태 기대값 중 작은 쪽을 고른다. λ는 오류 대비 비용의 가중치다.

무엇과 다른가

실제 구현인 LMCircuit은 라벨과 분류기 출력의 결합분포를 모르는 상황에서 두 단계로 동작한다. 먼저 프롬프트를 임베딩 φ(z)로 표현하고, 신경망 fθ가 상태별 라벨 사후확률 ηθ(φ(z),s)와 각 분류기의 응답 확률 νθ(i)(φ(z),s)를 추정하도록 학습한다. 그다음 추정값을 동적 계획법에 넣어 새 프롬프트에 대한 질의·중단 정책을 만든다. 분포 추정값은 λ와 무관하므로 같은 학습 모델로 비용-정확도 경계의 여러 지점을 생성할 수 있다. 초기 상태에서는 분류기를 전혀 호출하지 않고 임베딩만으로 예측할 수도 있으며, 학습된 모델은 CPU에서 돌릴 수 있다. 논문은 프롬프트가 주어졌을 때 측정들이 조건부 독립이라고 가정하지만, 이는 프롬프트 내부의 독립성이고 프롬프트 간 오류 상관과는 다르다고 설명한다.

어떻게 쓰나

이론 분석은 회로의 한계와 스케일링을 제시한다. 비용 가중치 λ가 충분히 크면 아무 분류기도 질의하지 않는 제로코스트 회로가 최적이 되고, λ가 1/(2c_min(z)) 이상이면 충분하다. 모든 분류기를 질의하는 풀코스트 회로의 최소 오류는 전체 측정 후 사후확률의 최솟값 기대값이며, 이는 주어진 분류기 풀로 달성 가능한 오류의 하한이다. 새 분류기를 추가했을 때의 이득은 그 분류기의 정확도가 아니라 기존 측정 이후 목표 라벨에 대해 추가로 주는 상호정보량으로 제한된다. 고정 프롬프트에서 λ를 0으로 보내면 오류는 비용에 대해 지수적으로 감소하고, 그 비율은 단위 비용당 최대 정보율 I(z)=max_i d_i(z)/c_i(z)가 결정한다. 프롬프트 분포 전체에서는 극한이 (E[1/I(Z)])^{-1}로 주어지며, 정보율이 작은 프롬프트의 꼬리 분포에 따라 지수적·스트레치드 지수적·다항식 감소로 바뀐다. 즉 최적 회로도 정보가 부족한 측정 도구를 완전히 보상할 수는 없다.

전제와 한계

실험은 AgentJudgeBench, BeaverTails, BIG-Bench Hard, Decision Index, HealthBench, LMArena, PolitiCause의 7개 과제에서 진행됐다. 훈련셋으로 LMCircuit을 추정하고 검증셋에서 λ를 바꿔 여러 운영점을 만든 뒤, 테스트 정확도와 평균 질의 비용을 비교했다. 비용은 과제 내 가장 비싼 분류기 기준으로 정규화했다. 비교 대상은 RouteLLM, HybridLLM, CARROT 같은 예측 라우터, Cascade Routing, Consistency Cascade, Cascaded Selective, FrugalGPT 같은 캐스케이드, Adaptive-Consistency 샘플링, 개별 분류기와 다수결 투표다. 논문은 LMCircuit이 7개 과제에서 거의 모든 예산 구간에서 개별 분류기와 라우팅·캐스케이드 베이스라인보다 높은 정확도로 비용-정확도 경계를 개선했다고 보고한다. 어떤 분류기를 쓰는지는 과제에 따라 달라 비용이나 정확도만으로 예측할 수 없었다. LMArena에서는 중간 비용의 Gemma 26B와 31B가 단위 비용당 가장 유용해 대부분의 예산에서 이 둘을 거의 전담했고, BeaverTails에서는 가장 싼 Gemma 4B가 단위 비용당 정보량이 가장 커 대부분 프롬프트에서 호출되고 비싼 모델은 최고 예산 구간에 남겨졌다.

LMCircuit은 프롬프트별 확신도를 바탕으로 쉬운 샘플과 어려운 샘플을 구분해 질의 경로를 정하고, 측정 후 사후확률을 갱신한다. 같은 λ에서도 어려운 프롬프트는 더 많은 모델 호출을 필요로 했다. 사전확률만으로도 예측이 가능해 저비용 구간에서는 평균 질의 비용이 가장 싼 개별 분류기보다 낮아질 수 있다. 기록된 호출 중 정답 비율이 1/2과 1 사이인 잡음 많은 프롬프트에서 예산 1의 회로는 임베딩 예측 정확도를 5%에서 44%까지 개선했다. 모든 호출이 정답인 프롬프트에서는 다수결 투표와 1.3% 이내 정확도 차이를 보이면서 호출 수는 38%에서 86% 줄였다. 학습된 모델은 테스트 라벨 없이도 분류기 정확도를 측정값의 1.2%에서 3.6% 이내로, 분류기 간 응답 및 오류 상관을 측정값의 4%에서 17% 이내로 예측했다. 또한 질의 모델 정확도가 약 75~80%일 때는 상관된 모델을 골라 확률적 잡음을 줄이고, 약 63~66%일 때는 덜 상관된 모델을 골라 체계적 잡음을 줄이는 적응을 보였다.

한계도 분명하다. 논문 전체가 이진 분류 설정에 집중한다. 프롬프트 조건부 독립 가정을 두며, 저자들은 이를 프롬프트 내부 독립으로 해석하고 경험적으로 확인했다고 하지만 실제 모델 간 오류 상관이 큰 환경에서는 검증이 필요하다. 동적 계획법의 상태 공간은 3^|H|로 분류기 수에 대해 지수적으로 커지고, 분류기 풀이 커질수록 결합분포 추정도 어려워져 추가 정보와 통계적 추정 비용 사이의 균형이 필요하다. 스케일링 법칙은 각 분류기를 임의로 여러 번 질의할 수 있고, 모든 분류기가 무작위 추측보다 낫고, 응답 분포가 라벨에 대해 대칭이라는 전제 아래 유도됐다. 실험은 7개 과제에 한정되며, 원문은 코드를 제공한다고만 밝히고 본문에 저장소 URL은 제시하지 않았다.