LLM 디코드 토큰 에너지를 활성 바이트와 실제 시간으로 설명한다

무엇인가

이 논문은 LLM 추론에서 출력 토큰 하나당 GPU 보드 에너지가 모델 구조, 하드웨어, 서빙 설정에 따라 어떻게 달라지는지를 하나의 해석 가능한 관계식으로 설명하려 한다. 대규모 서빙에서는 누적 추론 에너지가 학습 에너지에 맞먹을 수 있다는 문제의식에서 출발하며, 기존 벤치마크와 측정 연구가 제공한 경험적 기반 위에서 디코드 실행의 공유 구조가 소수의 작업 좌표로 에너지를 설명할 수 있는지 묻는다. 대상은 dense 가중치와 전체 이력을 쓰는 exact decode이고, 에너지 경계는 참여 GPU 보드의 gross 에너지이며 서버·시설 전체가 아니다.

어떻게 동작하나

방법의 핵심은 유용 출력 토큰당 활성 바이트와 실제 디코드 시간을 결합하는 것이다. 측정 구간은 요청이 디코드 준비된 뒤 시작해 마지막 출력과 동기화 뒤 끝나며, 모델 로딩과 prefill은 제외한다. 다중 GPU 복제본이면 같은 동기화 구간의 보드 에너지를 합하고 유용 출력은 복제본 전체에서 한 번만 센다. T개의 출력과 S번의 디코드 반복에서 B_eff=T/S를 실제 평균 유효 배치로, Lbar_token을 유용 출력 기준으로 가중한 평균 주의 이력 길이로 정의한다. 공유 dense 가중치 M_w는 배치로 나뉘어 q_w=M_w/(10^9 B_eff)가 되고, 요청별 KV 이력은 새 KV 기록 1개를 포함해 q_KV=K_KV(Lbar_token+1)/10^9가 된다. 이 둘과 τ=D/T를 선형식 e_gross,σ=cσ+ασ q_w+βσ q_KV+Pτ,σ τ+uσ에 넣는다. α와 β는 각각 공유 가중치와 개인 KV 수요에 대한 유효 J/GB 응답, Pτ는 바이트 좌표가 주어진 조건에서 시간에 연동된 에너지, cσ는 설정 내 대략 일정한 토큰 오버헤드, uσ는 잔차다. 계수는 모델과 하드웨어·런타임 설정마다 보정하며, 보편적인 바이트당 에너지 상수가 아니라 국소 에너지 응답으로 해석한다. 활성 바이트는 논리적 수요이지 물리 HBM 트래픽과 동일하지 않고, 임베딩·위치 조회는 주 계정에서 제외된다.

무엇과 다른가

실험은 Qwen2.5-7B, Qwen2.5-14B, Mistral-7B를 BF16으로 NVIDIA Hopper의 GH200과 Blackwell의 GB300에서 돌린 결과를 쓴다. Hopper에서는 NVLink로 연결된 두 GPU의 텐서 병렬 디코드도 포함한다. GB300 모델별로 같은 30개 피팅 실행과 6개 held-out 셀을 두고 네 가지 명세를 비교했을 때, 가중치·KV·시간을 모두 분리한 완전한 모델의 최대 셀 평균 오차는 0.887%에서 2.137%였고, 가중치와 KV를 하나의 총바이트 계수로 묶으면 4.381%에서 5.721%로 커졌다. 시간이나 바이트 좌표를 빼면 세 모델 모두 최대 오차가 10%를 넘었다. Qwen2.5-7B의 GH200 GPU0 계수를 GPU1에 그대로 적용한 45개 실행·9개 셀에서는 최대 셀 평균 오차가 3.7234%였고, 두 GPU 텐서 병렬의 6개 held-out 조건·조건당 5회 실행에서는 중앙값 0.245%, 최대 0.559%의 절대 상대 오차를 보였다. 6개 단일 GPU 모델·플랫폼 조합의 195개 held-out 실행·39개 조건에서는 최대 조건 평균 절대 상대 오차가 2.22%였고, 8개 정적 배치 평가의 270개 held-out 실행·54개 조건은 모두 3.73% 이내였다. 논문은 전체 374개 held-out 에너지 실행의 조건 평균이 모두 3.73% 이내라고 요약하며, 별도로 177개 HBM 프로파일이 바이트 좌표의 물리적 관련성을 뒷받침한다고 밝힌다.

어떻게 쓰나

요청 구성원이 바뀌는 조건도 검증한다. Qwen2.5-7B와 Mistral-7B의 기존 계수를 GH200 디코드 트레이스에 적용해 B_eff 10과 20, 정적 제어와 세 가지 드레이닝 패턴을 조합했고, 모든 조건에서 토큰 가중 이력을 9983.5로 맞췄다. 16개 또는 32개 요청이 네 그룹으로 빠져나가고 새 도착은 없는 조건이며, 모델당 40회에 Qwen 추가 24회를 더해 총 104회를 실행했다. 평가 코호트 안에서 모든 조건 평균 오차는 1% 미만이었고, Mistral은 식별 최대치인 16을 넘는 B_eff=20에서도 그랬다. B_eff를 초기 코호트 크기로 바꾸거나 Lbar_token을 요청별 평균 이력으로 바꾸는 사후 대입은 관측 시간을 유지해도 최대 조건 평균 오차를 키웠다. 추가 Qwen 반복은 2시간 이상 떨어진 세 블록에서도 일관됐다. 피팅된 응답은 대략 α가 0.113–0.120, β가 0.180–0.193, Pτ가 GH200 단일 GPU에서 138–140 W, GB300에서 199–201 W, GH200 텐서 병렬 2GPU에서 314.10 W로 제시된다. 같은 모델·플랫폼·이력에서 가장 큰 배치는 가장 작은 배치보다 측정 평균 토큰 에너지가 33.2–46.8% 낮았고, GH200 Qwen2.5-7B 배치 12에서는 이력 6144, 10240, 14336에 따라 평균 에너지가 0.323, 0.609, 0.638 J/token으로 증가했다. 보관된 스텝 타이밍은 최대 활성 시퀀스 길이가 8192 토큰을 넘을 때 급증해 eager fallback과 일관됐다.

전제와 한계

개발자에게 이 논문은 배치 크기, 문맥 길이, GPU 구성, 텐서 병렬 같은 서빙 선택이 토큰당 에너지를 어떻게 바꾸는지 분해해 보는 틀을 준다. 특히 배치가 공유 가중치 비용을 1/B_eff로 나누어 줄이는 효과와, 긴 이력이 개인 KV 비용을 선형으로 늘리는 효과를 분리하고, 처리량 변화가 τ를 통해 시간 연동 비용으로 들어오는 점을 명시한다. 배치를 두 배로 늘리면 가중치 성분은 절반이 되지만 KV와 시간 때문에 토큰 에너지가 비례해 절반이 되지는 않는다. 용량 계획이나 배포 옵션 비교에서 모델·하드웨어·런타임별로 계수를 보정하고, 측정 경계를 참여 GPU 보드의 gross 디코드 에너지로 맞추면 조건 평균 수준의 예측에 쓸 수 있다. 다만 예측에는 관측된 디코드 시간이 필요하므로, 사전 배포 추정에는 별도로 검증된 성능·시간 모델과 결합해야 한다.

한계는 저자가 명시한다. 검증 범위는 평가된 런타임 정책 아래의 full-history dense BF16 디코드에 대한 GPU 보드 에너지이고 호스트 CPU 에너지는 제외한다. 드레이닝 테스트에서는 최대 활성 시퀀스 길이가 캡처 상한을 넘었고, 다른 그래프 정책, 다중 노드, 파이프라인 병렬, MoE로의 전이는 추가 검증이 필요하다. 다중 노드·파이프라인에서는 통신, 동기화, 버블이 시간과 활용도를 바꾸며 τ가 그 지연을 포함하더라도 GPU별 계산·통신·대기를 분해하지는 못한다. 따라서 같은 활성 바이트와 같은 시간이 다른 총에너지를 동반할 수 있고, Pτ를 측정된 유휴 전력으로 해석하면 안 된다. 2GPU NVLink 실험은 보드 에너지 안에 통신 효과를 포함하지만 다중 노드나 파이프라인 서빙을 검증하지 않으며, 텐서 병렬 2GPU는 전체 모델 참조 바이트를 쓰고 랭크별 트래픽과 NVLink 에너지를 별도 측정하지 않았다. GPU 보드 경계 밖 네트워크 장비는 별도 계정이 필요하다. MoE에서는 M_w/B_eff가 반복 내 고정 dense 가중치 공유를 가정하는데, 라우팅된 전문가 공유는 토큰 할당에 따라 달라져 같은 배치 크기와 토큰당 활성 파라미터 수가 같은 배치 수준 가중치 수요를 의미하지 않는다. 활성 바이트를 단순히 M_w 대신 넣고 전체 배치로 나누는 식으로는 확장할 수 없고, 라우팅·배치·캐싱과 전문가 병렬 디스패치·부하 불균형을 반영한 계정과 트래픽·에너지 검증이 필요하며 dense 계수만 재보정해서는 부족하다.

정리하면 이 논문의 기여는 보편적인 에너지 상수를 주장하는 것이 아니라, 공유 가중치와 개인 KV, 실제 시간이라는 재사용 가능한 작업-시간 구조가 여러 모델과 Hopper·Blackwell 설정에서 같은 형태로 유지된다는 점을 보인 것이다. 계수는 각 로컬 설정의 에너지 응답을 설명하며, 고정 계수로도 held-out 조건 평균 예측이 측정값과 최대 3.73% 차이를 보였다. LLM 서빙 에너지를 정량적으로 해석하고 배포 트레이드오프를 비교하려는 개발자에게 출발점이 되지만, 적용 전에는 모델·하드웨어·런타임·에너지 경계가 논문의 조건과 맞는지 확인해야 한다.