LLM 에이전트 서빙에서 도구 복귀와 KV 캐시를 함께 최적화한다

무엇인가

이 논문은 LLM 기반 에이전트 서비스가 클러스터 GPU의 모델 추론과 분산 CPU의 외부 도구 실행을 번갈아 수행하는 CGDC 상황을 다룬다. 에이전트 세션은 모델 요청과 도구 호출을 오가며, 도구 실행 중에는 GPU 수요가 끊기고 도구가 끝나는 시점에 다시 추론이 필요하다. 기존 evaluate-then-decide 스케줄러는 세션 평가에서 도구 복귀 준비도를 보지 않고, GPU 승인과 배치를 휴리스틱으로 정해 자원을 낭비하거나 최적이 아닌 선택을 한다는 것이 저자들의 문제 설정이다.

어떻게 동작하나

TAO는 대기 풀에 있는 세션을 한 번에 평가하고 선택·배치하는 공동 스케줄링 틀이다. 각 세션과 노드 조합에 대해 시간 감쇠 KV 캐시 크레디트, 이진 도구 복귀 준비도, 토큰 풋프린트로 이루어진 가치 삼중항을 만들고, 고정된 우선순위의 사전식 목표로 합계를 최대화한다. 가중합이 아니라 순서를 고정한 사전식 비교를 쓰면서 각 성분 값은 캐시 나이와 도구 진행에 따라 변한다. 세션 평가와 결정을 분리해 평가 인터페이스를 바꿔도 스케줄링 절차를 유지할 수 있게 했다.

무엇과 다른가

캐시 크레디트는 대상 노드에서 관측한 재사용 가능 KV 상태로 계산한다. 관측된 캐시 토큰 수가 있으면 쓰고, 없으면 관측 토큰량과 캐시율로 추정하며, 해당 노드에 일치 증거가 없으면 0이 된다. 관측 이후 경과 시간 τ에 대해 k=k0×2^(-τ/h), h=10초로 감쇠시켜 오래된 캐시 증거의 가치를 낮춘다. 이는 엔진이 관리하는 물리 KV 할당이나 축출을 대체하지 않고 스케줄러의 승인 가치에만 반영된다.

어떻게 쓰나

도구 복귀 준비도는 분산 CPU에서 실행 중인 도구가 곧 끝나 GPU 추론을 요청할 세션을 가려내는 신호다. 예측기는 도구 인터페이스의 진행·반환 기한 힌트, 파싱한 sleep 명령, 도구별·전역 이력, 기본 5초 값을 조합하고 직접 타이밍 증거를 우선한다. 경과 시간 e에 대해 예상 잔여 시간을 max(0, 역사적 예상 소요시간 - e)로 계산하고, 완료가 관측되었거나 예측 완료·노출 기한이 1초 이내이거나 기한이 지난 예측에 대해 제한적 탐색 기회를 줄 때 준비도를 1로 둔다. 예측 타임스탬프는 30초 이내에 갱신된 유효값만 사용한다.

전제와 한계

결정 단계에서는 용량 상태 동적 계획법을 쓴다. 각 세션의 승인 비용을 양자화하고 노드별 잔여 용량을 상태로 두고, 후보 세션을 건너뛰거나 적격 노드에 배정하는 두 선택을 사전식으로 비교해 최적해를 찾는다. 이는 동결된 이산화 문제에 대해 정확하지만, 양자화 반올림 때문에 이산화 전에는 가능했던 배치가 제외될 수 있다는 전제가 있다. 노드별 캐시 관측은 전처리에서 O(nm)로 가치에 접고, 캐시 동등 노드는 물리 KV 블록을 옮기지 않고 묶을 수 있으며, 계획기는 비동기 워커에서 돌고 적용 전 재검증한다. 4개 복제본 스윕에서 준비와 완료된 풀이 작업은 런타임의 0.12% 미만이었다.

실험은 DeepSeek-V4 Flash, Qwen3-32B, GLM-4.7을 SWE-bench Lite와 mini-SWE-agent 하네스, DeepSeek의 Claude Code 기반 Terminal-Bench 2.0, Qwen의 SWE-verified, GLM의 SWE-Lite 등에 올렸다. DeepSeek는 노드당 4×H100 2개 노드, Qwen은 노드당 2×H100 4개 노드, GLM은 8×H100 1개 노드 구성이다. 비교 대상은 vLLM 라운드로빈·캐시 인식 스케줄러, Dynamo, ThunderAgent다. 12개 모델·워크로드·동시성 설정에서 TAO는 각 지표의 최고 베이스라인 대비 지연을 최대 26.8%, 평균 TTFT를 최대 36.3% 줄이고 디코드 처리량을 최대 29.5% 높였다고 보고한다.

세부 수치도 제시된다. DeepSeek SWE-Lite에서는 경쟁 방법 대비 지연 2.4~26.8%, TTFT 7.4~36.3% 감소, 디코드 처리량 5.1~29.5% 증가였다. Qwen SWE-verified에서는 TTFT가 12.9~29.9% 줄고 디코드 처리량이 4.0~7.8% 늘었으며, 96·160 워커에서 지연이 8.3%, 9.0% 감소했지만 128 워커에서는 ThunderAgent보다 2.5% 높았다. GLM의 500개 SWE-verified 과제에서는 ThunderAgent 대비 평균 작업 지연 16.2~18.9%, 클라이언트 TTFT 15.7~38.4% 감소, 디코드 처리량 22.8~24.7% 증가를 보였다.

구성 요소 분석에서는 캐시 토큰 정렬이 프리픽스 캐시 적중률을 0.19%포인트 높이고 평균 pause wait를 4.5% 줄였으며, 캐시 크레디트 감쇠를 더하면 적중률 0.31%포인트와 디코드 처리량 1.68%가 개선됐다. 준비도를 켜면 디코드 처리량 4.03% 증가, 도구 종료 후 첫 토큰 지연 10.88% 감소, pause wait 1.067초에서 0.972초로 감소했고 10,967개 도구의 최종 소요시간 예측은 평균 절대오차 0.410초, 82.9%가 0.5초 이내 오차였다. DP는 다중 후보가 있는 23개 스냅샷 중 6개(26.1%)에서 사전식 목적을 개선하고 나머지는 짧은 작업 우선 휴리스틱과 같았으며, 전체 35개 재구성 스냅샷에서는 6개(17.1%) 개선, 29개(82.9%) 동률이었다. 전체 구성의 디코드 처리량은 1417.97 tok/s였고 캐시 크레디트 제거 시 1398.35, 준비도 제거 시 1363.06, ThunderAgent식 pause 순서 사용 시 1355.20, DP 대신 best-fit-decreasing을 쓰면 1233.72로 떨어졌다. 저자들이 밝힌 전제는 계획이 동결된 이산화 문제에서 정확하고 반올림이 일부 실행 가능 계획을 배제할 수 있다는 점, 도구 복귀 예측과 캐시 관측에 의존한다는 점, 그리고 TAO가 엔진 수준 KV 관리 자체를 대체하지 않는다는 점이다. 개발자 관점에서는 GPU 부하 분산이나 캐시 적중률만 보는 대신 도구 복귀 예측과 시간 감쇠 캐시 가치를 스케줄러 신호로 넣고, 세션별 배치를 공동 최적화할 때 TTFT와 처리량을 함께 노릴 수 있음을 시사한다. 다만 예측 오차와 양자화, 동시성에 따른 지연·처리량 트레이드오프를 실제 워크로드에서 확인해야 한다.