PACE는 4비트 순환 상태를 주기적으로 반올림해 추론 메모리를 줄인다

무엇인가

선형 어텐션 언어 모델은 트랜스포머의 키-값 캐시를 고정 크기 순환 상태로 대체한다. 각 순환 레이어는 헤드마다 상태 행렬 하나를 두고, 서버는 동시에 디코딩하는 시퀀스마다 그 복사본을 저장한다. 논문은 64개 동시 시퀀스에서 fp32 상태가 가중치와 상태가 함께 차지하는 메모리의 10~41%를 쓴다고 제시한다. 상태를 낮은 정밀도로 저장하면 같은 가속기에서 더 많은 시퀀스를 돌릴 수 있지만, 기존 상태 양자화기는 매 생성 토큰 뒤 상태를 반올림했고 4비트에서는 정확도 손실이 보고됐다. PACE는 재학습 없이 적용하는 사후 4비트 상태 양자화기로 이 문제를 다룬다.

어떻게 동작하나

PACE의 핵심은 반올림 시점을 바꾸는 것이다. 프리필에서는 청크 커널이 이미 청크마다 상태를 한 번 쓰므로, PACE는 프리필 주기를 커널 청크 길이인 256토큰으로 고정한다. 디코딩에서는 매 토큰이 아니라 dP개 생성 토큰마다 한 번 상태를 반올림하고, 그 사이 토큰은 디코드 버퍼에 담아 두었다가 플러시 때 상태에 한꺼번에 적용한다. 기본 디코드 주기는 8이고 버퍼는 int8이다. 버퍼는 토큰별 (a_t, k_t, v_t)를 보관하므로 메모리 계산에 포함되며, 상태 값당 추가 비용은 c dP, c=(b_k d_k/γ + b_v d_v + 32)/(d_k d_v)로 모델링된다. 균일 구성에서는 버퍼의 키와 값을 8비트로, PACE-4/8의 혼합 구성에서는 키를 4비트, 값을 bf16으로 둔다.

무엇과 다른가

두 번째 구성 요소는 채널 정렬 스케일 그룹이다. 저자들은 게이트 델타 상태의 큰 값들이 열 방향으로 모인다는 것을 관찰하고, 그 원인을 여러 토큰에 걸쳐 큰 값을 유지하는 델타 값 u_t의 채널로 설명한다. 그래서 PACE는 상태를 키 축을 따라 g개 연속 원소로 묶어 한 열 안의 값들이 하나의 스케일을 공유하게 한다. PACE-4는 64개 키 축 그룹과 대칭 양자화, int8 버퍼를 쓰고, PACE-4/8은 32개 그룹과 정수 영점을 쓰며 레이어마다 4분의 1 헤드를 8비트로 유지한다. 8비트 헤드는 한 번 반올림이 남기는 오차 에너지 e_h와 헤드 감쇠 a_h로 계산한 잔류 오차 E_h=e_h/(1-a_h^{2dP})가 큰 순서로 고른다. 이 구성의 페이로드는 상태 값당 5.66비트로 DAMP INT4와 같다.

어떻게 쓰나

실험은 Qwen3.5-4B, 9B, 27B와 Qwen3.6-35B-A3B 네 하이브리드 모델에서 한다. 평가는 GSM8K, MMLU-Pro 560문항, IFEval 541문항, 32,768토큰 RULER 변수 추적, MATH-500, WikiText-103 퍼플렉시티다. 먼저 반올림 주기만 분리한 실험에서 기존 균일 round-to-nearest와 값 축 32 그룹을 4~8비트, dP 1·8·32로 비교했을 때, 8토큰마다 반올림하는 것이 8비트 미만 모든 비트 폭에서 매 토큰 반올림보다 네 백본 모두 높은 점수를 냈다. 기본 주기 8은 32주기의 격차 대부분을 버퍼 메모리 4분의 1로 닫는다. 다만 세 큰 백본에서는 모든 비트 폭에서 완전 정밀도와의 격차가 남고, IFEval과 RULER-32k에 집중된다. RULER-32k 격차는 세 주기에서 비슷해 프리필에서 생기는 부분이 있음을 시사한다.

전제와 한계

본 비교에서 PACE-4/8은 세 큰 모델에서 DAMP INT8과 경쟁 가능한 정확도를 약 3분의 2의 상주 메모리로 낸다. Qwen3.5-4B에서는 평균이 더 낮고 GSM8K, MMLU-Pro, IFEval 점수도 낮다. DAMP INT4와 같은 상주 비트에서는 int8 버퍼를 쓴 PACE-4/8이 모든 백본에서 DAMP INT4보다 높고, 35B-A3B에서 차이가 가장 크다. 혼합 버퍼를 쓰면 세 큰 백본에서는 이 변형보다 높고 4B에서는 낮다. PACE-4는 Q-Mamba DSQ와 같은 상주 비트에서 모든 백본에서 더 높은 점수를 낸다. 절제 실험에서는 키 축 그룹이 같은 폭의 값 축 그룹보다 낮은 퍼플렉시티를 냈고, 같은 상주 비트에서 헤드별 정밀도 배분이 DAMP INT4보다 낮은 퍼플렉시티를 냈다. 상태 드리프트도 dP가 커질수록 세 4비트 양자화기 모두 감소했다.

처리량 실험은 Qwen3.5-4B, H100 PCIe 한 장, 512토큰 문맥, 배치 1~128에서 한다. 주기적 INT4 디코딩은 배치 16부터 매 토큰 bf16 디코딩보다 낮은 TPOT를 보였고 배치가 커질수록 차이가 커졌다. 대부분의 감소는 bf16 상태를 쓰는 디코드 버퍼에서 나오고, INT4 상태가 TPOT를 조금 더 줄인다. 이는 상태 읽기·쓰기가 디코딩 단계에서 차지하는 비중이 큰 대규모 동시 서빙에서 의미가 있다. 다만 이 처리량 측정은 균일 4비트 상태에 대해서만 이뤄졌고, PACE의 키 축 그룹과 헤드 배분은 타이밍하지 않았다.

개발자 입장에서 PACE는 이미 학습된 게이트 델타 계열 모델을 재학습 없이 서빙 메모리와 디코딩 비용을 줄이는 후처리 옵션으로 볼 수 있다. 특히 동시 시퀀스 수가 많아 상태 복사본이 메모리 병목이 되는 상황에서, 상태 비트 폭만 낮추는 것이 아니라 디코드 버퍼 비용까지 포함해 상주 비트를 계산해야 한다. 적용 전에는 대상 모델이 게이트 델타 규칙과 청크 커널을 쓰는지, 프리필 주기가 256으로 고정될 때 생기는 정확도 격차가 허용되는지, 헤드별 8비트 배분을 체크포인트마다 다시 계산해야 하는지 확인해야 한다.

저자들이 밝힌 한계는 분명하다. 평가는 Qwen3.5·3.6 계열의 게이트 델타 하이브리드 네 모델에 한정되며, 다른 모델 계열이나 모든 레이어가 순환인 모델, 다른 업데이트·감쇠를 쓰는 토큰 믹서로 일반화된다는 증거는 없다. 오차 한계에 쓰는 헤드 감쇠, 열 구조, 헤드 순위도 이 모델들에서만 측정됐다. 구성 공간이 넓지만 일부만 탐색했고, 프리필 주기는 모든 벤치마크에서 256토큰으로 고정해 프리필 반올림 빈도의 효과를 측정하지 않았다. 처리량은 균일 4비트 상태만 측정했고, 정적 스케일·확률적 반올림·상태 회전을 주기적 반올림과 결합한 경우는 시험하지 않았다.