GPU 부하를 읽고 샘플 수를 줄이는 ATEST가 추론 에너지 예산을 지킨다

무엇인가

대형 언어모델의 추론 성능을 높이는 흔한 방법은 같은 질의에 여러 답을 샘플링하고 다수결로 고르는 테스트타임 스케일링(TTS)이다. 문제는 기존 방식이 샘플 예산 B를 질의와 무관하게 고정한다는 점이다. 이 논문의 측정에 따르면 A100에서 동일한 4샘플 질의가 GPU가 다른 작업으로 붐빌 때 최대 4.1배의 에너지를 쓴다. GSM8K 질의 하나가 유휴 상태에서 121.7J, 부하가 높을 때 455.6J였다. 저자들은 적응적 TTS를 정확도 문제가 아니라 런타임 자원 관리 문제로 다시 규정한다. 컨트롤러가 동시에 답해야 할 질문은 두 가지다. 다음 샘플이 이 질의에 쓸모가 있는가, 그리고 그 샘플이 지금 이 GPU에서 얼마인가.

어떻게 동작하나

ATEST는 이 두 질문을 공유 예산 사다리(1→3→4→6→8), NVML 기반 GPU 모니터, 에너지 회계로 묶은 프레임워크이며 두 가지 모드를 제공한다. 기본 모드인 ATEST-Online은 오프라인 캘리브레이션이 전혀 필요 없다. 1개 샘플로 시작해 단계마다 새 샘플만 추가 생성하고, 현재 다수결 답이 최대 예산 8에서도 여전히 승자가 될 확률 S(B)를 남은 샘플에 대한 작은 몬테카를로 시뮬레이션으로 추정한다. 다음 단계의 기대 이득 ΔU는 이 안정성의 증가분이다. 비용 쪽은 단계마다 측정한 에너지와 GPU 상태 특징 벡터로 선형 모델 Ê=θᵀφ를 두고, 망각 인자를 둔 재귀 최소자승(RLS)으로 매 단계 갱신한다. 지연 시간도 같은 방식으로 예측한다. 과소추정을 막기 위해 Ê+βσ_E라는 보수적 추정치를 쓰고, ΔU/E_inc가 최소 이득 임계값 γ를 넘고 그 추정치가 남은 예산 E_rem 안에 들어올 때만 계속한다. 즉 표가 안정적이면 GPU가 유휴여도 멈추고, 표가 갈려 있고 비용이 감당 가능하면 부하 중에도 더 뽑는다.

무엇과 다른가

오프라인 모드인 ATEST-Calibrated는 데이터셋마다 500개 캘리브레이션 프롬프트를 5개 예산×4개 부하 수준(프롬프트당 22샘플, 데이터셋당 44,000샘플)으로 돌려 정확도 모델 P̂(q,B)와 비용 모델 Ê(B,H)를 만든다. 서빙 시에는 현재 GPU 상태를 읽어 사다리 위 업그레이드 중 ΔP̂/ΔÊ 점수가 가장 좋은 것을 골라 예산을 한 번에 정하고, 샘플을 한 배치로 생성한다. 대신 모델이 고정이라 실제 비용이 예측에서 벗어나면 초반에 과소비하거나 서비스 가능한 질의를 거절하게 된다.

어떻게 쓰나

실험은 Phi-3-mini-4k-instruct(bfloat16)를 500W 전력 제한의 A100-SXM4-80GB 한 장에서 돌렸고, 배치 32, temperature 0.7, top-p 0.95, 최대 512 토큰, 시드 42로 고정했다. 데이터셋은 GSM8K, MATH, ARC-Challenge, CommonsenseQA 각 500개 테스트 질의다. 백그라운드 부하 주입기로 유휴/저/중/고 4단계를 만들었고, 측정된 GPU 이용률은 약 0%, 24%, 54%, 85%, GSM8K 평균 전력은 77W에서 431W까지 올라갔다. 비교 대상은 고정 예산 4의 self-consistency(Fixed-4), 오프라인 캘리브레이션만 쓰고 실시간 GPU 상태를 보지 않는 Adaptive-Cal, 그리고 ATEST 두 모드다.

전제와 한계

결과에서 ATEST-Online은 부하가 오를수록 평균 예산을 스스로 낮췄다. GSM8K 2.09→1.00, MATH 2.10→1.00, ARC-Challenge 2.14→1.51, CommonsenseQA 3.37→2.54다. 고부하 GSM8K에서 ATEST-Calibrated는 125개 중 53개(42.4%)를 유예하고 정확도 44.0%에 그쳤지만, ATEST-Online은 전부 답하면서 60.0% 정확도, 질의당 175.8J(Calibrated는 206.4J)를 기록했다. MATH 고부하도 유예 26.4%·39.2% 대 유예 0%·43.2%로 같은 양상이다. Calibrated가 유예를 쏟아낸 이유는 두 가지로 분석된다. 유휴 구간에서 예산 3.45와 124.4J를 써버려(Online은 2.09, 60.9J) 전체 공유 예산을 앞당겨 소진했고, 고정 비용 모델이 지나치게 비관적이어서 CommonsenseQA에서는 예산 21%를 남긴 채 23개, ARC-Challenge에서는 15%를 남긴 채 45개를 거절했다. 정답당 에너지는 Online이 긴 답변 데이터셋에서 가장 낮았고(GSM8K 191.9J, MATH 371.2J), 프로파일링 비용(4개 데이터셋에 5.73 GPU-시간, 7.16MJ, 176,000샘플)을 포함하면 동일 2,000 질의에 대해 GPU 시간 42배, 에너지 48배를 덜 쓴다.

적응이 정말 자원 신호 때문인지도 통제 실험으로 확인했다. 예산이 구속하지 않도록 크게 잡고 컨트롤러가 보는 잔여 예산을 고정한 상태에서, GPU 상태와 온라인 비용 학습을 모두 끄면 네 데이터셋 모두 부하 수준과 무관하게 평균 예산 3.12가 유지됐다. 온라인 비용 학습만 켜도 GPU 상태 입력을 숨긴 채 예산이 부하를 따라갔는데, 단계별로 측정한 에너지 자체가 부하를 반영하기 때문이다. 일반화도 확인했다. 350W L40S와 Qwen2.5-3B-Instruct로 반복한 8개 설정 모두에서 ATEST-Online은 예산의 92~99.5%만 쓰고 유예 없이 전부 답했으며(Fixed-4는 최대 48.8% 유예), 8개 중 7개에서 정답당 에너지를 낮췄다. Qwen2.5-3B에서는 GSM8K 정확도가 0.138에서 0.280으로 두 배가 됐다.

개발자 관점에서 이 논문이 주는 실무적 판단 기준은 명확하다. 모델·GPU·워크로드가 오래 고정되고 부하가 안정적이라면 한 번 만든 프로파일을 재사용하는 Calibrated(또는 잘 고른 고정 예산)가 유휴 구간 정확도에서 앞서고 꼬리 지연과 처리량도 유리하다. 반대로 공유 GPU에서 부하가 변하거나 새 데이터셋·모델이 자주 들어온다면 Online이 안전하다. 다만 Online의 대가는 단계별 실행에서 나온다. p95 지연이 네 데이터셋 중 셋에서 높았고(GSM8K 1.08초 대 0.51초), 짧은 답변에서는 처리량이 떨어졌다(CommonsenseQA 16.6 대 29.7 QPS). 온라인 비용 모델의 에너지 MAPE도 GSM8K 23%, MATH 22%인 반면 ARC-Challenge 134%, CommonsenseQA 112%로 짧은 단계에서 매우 거칠다. 그래도 안전 마진 βσ_E와 작은 스텝 크기 덕분에 에너지 예산을 넘긴 적은 없었다. 참고로 컨트롤러 판단을 LLM에 맡기는 변형은 정확도는 비슷했지만 네 데이터셋 중 셋에서 예산을 초과했다(GSM8K 최대 6.2%).

저자들이 밝힌 한계는 평가 규모와 런타임 오버헤드다. 컴퓨트 제약 때문에 데이터셋당 500 질의, 4개 데이터셋, 2개 모델, 2개 GPU로 범위를 정했다. 단계별 제어는 짧은 과제에서 오버헤드를 더하며, 여러 질의의 스텝을 묶거나 결정을 생성과 겹치는 방식이 향후 과제로 남는다. 온라인 비용 모델은 의도적으로 단순한 선형 RLS이며 더 풍부한 모델이 예측 정밀도를 높일 수 있다고 본다. 또한 ATEST는 질의당 추론량을 정할 뿐 작업이 어떻게 실행될지는 정하지 않으므로, vLLM 같은 추론 엔진이나 GPU 주파수 제어와 결합하는 통합이 다음 단계로 제안된다.