포아송 과정으로 워터마크 강도를 지키며 추측 샘플링을 가속하는 다중 드래프트 기법

무엇인가

대규모 언어모델(LLM)을 실제 서비스에 올릴 때 개발자는 두 가지를 동시에 요구받는다. 하나는 추론 효율, 다른 하나는 생성물의 출처 추적이다. 전자는 추측 샘플링(speculative sampling)으로, 후자는 워터마킹으로 접근해 왔다. 그런데 Hu와 Huang(2024)은 두 목표를 결합하는 것이 매우 비자명하며 심지어 불가능할 수 있다는 no-go 정리를 제시했다. 워터마크를 심으면 추측 샘플링의 성능이 반드시 떨어진다는 것이다. He 등(2026)은 다른 워터마크 지표를 써서 이 트레이드오프를 개선했지만 근본적인 한계는 남아 있었다. 이 논문은 질문을 바꾼다. 워터마크 검출력을 희생하지 않으면서 샘플링 효율을 끌어올려 트레이드오프 곡선 자체를 밀어낼 수 있는가. 저자들의 답은 가능하다이며, 그 도구는 포아송 과정(Poisson process)이다.

어떻게 동작하나

핵심 아이디어는 워터마킹과 추측 샘플링을 키 기반 포아송 커플링(keyed Poisson coupling)으로 통합하는 것이다. 방출되는 모든 토큰은 타깃 모델의 분포를 정확히 따르고, 드래프트 모델은 몇 개의 샘플이 방출되는가만 결정한다. 워터마크는 주변분포를 사후적으로 재가중하는 방식이 아니라 커플링 수준에서 심어지기 때문에, 워터마크를 넣어도 효율이 유지된다. 구체적으로 저자들은 PFR(Poisson Functional Representation)을 쓴다. 강도 1인 포아송 과정에서 (Z_i, T_i)를 뽑고, K = argmin_i (T_i 곱하기 (dP/dQ(Z_i))^{-1})를 골라 Z = Z_K를 선택하면 Z가 타깃 분포 P를 따른다. 이산 LLM 분포에서는 PFR이 지수 경쟁(exponential race) 방식으로 환원된다는 것을 부록 A.1에서 증명한다. 워터마크는 편향 없는(unbiased) 방식으로 넣는다. 시드 ζ에 대해 E_ζ[P̃_ζ(v)] = P̃(v)를 만족해야 하며, Gumbel 워터마크와 유사하게 의사난수 함수 r_t(y) = F_{y_{t-m:t-1}, k}(y)를 써서 y_t = argmax_y (u_t(y)/T) - log(-log(r_t(y)))로 토큰을 고른다. 검출기는 키를 가진 쪽이 S_A = Σ -log(1 - r_t(w_t))를 계산하는데, 워터마크가 없으면 기댓값이 |T|이고 워터마크가 있으면 더 커진다.

무엇과 다른가

이 설계의 부산물이 드래프터 불변성(drafter invariance)이다. 기존 추측 샘플링은 드래프트 모델이 바뀌면(예: 모델 업데이트) 커플링 때문에 큰 모델이 생성하는 토큰까지 바뀐다. 고정된 랜덤 시드에서 출력이 재현되기를 바라는 사용자 입장에서는 곤란한 성질이다. 저자들은 정지시간 드래프터 불변성(stopping-time drafter invariant)을 정의한다. 정지시간 τ의 값이 고정되면, 방출된 접두사의 분포가 드래프트 모델에 의존하지 않아야 한다는 조건이다. 논문의 단일 드래프트 알고리즘(Algorithm 3)이 이 성질을 만족한다는 것을 Proposition 4.4로 증명한다. SpecTr, SpecInfer, 그리고 Rowan 등(2025)의 Algorithm 2는 이를 만족하지 않는다. 저자들은 기존의 강한 드래프터 불변성은 샘플링 효율을 떨어뜨리고, Rowan 등의 조건부 드래프터 불변성은 실현된 드래프트 시퀀스까지 조건으로 걸어 워터마킹에 불리하다고 지적한다. 정지시간 불변성은 그 중간에 위치한다. 드래프트가 블록 길이(효율)에는 영향을 줄 수 있지만, 블록 길이가 정해진 뒤 방출되는 토큰의 법칙은 타깃 측 랜덤니스가 지배한다는 것이다. 워터마크 검출기는 최종 토큰과 비밀 키만 보고 드래프트 시퀀스나 수락 정보는 보지 못하므로, 이 성질이 워터마킹과 잘 맞는다. 참고로 통신 없는 커플링에서 일치 확률의 상한은 P(X=Y) ≤ (1 - ||P-Q||_TV)/(1 + ||P-Q||_TV)로, 최대 커플링의 1 - ||P-Q||_TV보다 낮다. 저자들은 이 손실이 불가피하지 않다고 주장한다.

어떻게 쓰나

다중 드래프트 확장은 포아송 과정의 매핑 정리(mapping theorem)에 기반한 다중 샘플 PFR(MPFR)로 이루어진다. MPFR은 점수 T_i 곱하기 (dP/dQ(Z_i))^{-1}가 가장 작은 것부터 B번째로 작은 것까지 골라 B개의 iid P 샘플을 얻는다. 다중 드래프트 알고리즘(Algorithm 4)은 컨텍스트로 인덱싱된 매핑 포아송 과정을 쓴다. 루트 접두사에서 시작해 깊이 ℓ의 추측 트리를 만들고, 점유된 각 컨텍스트 c에 키 기반 소스 Π(c)를 배정해 Q(·|c)에서 ν(c)개의 드래프트를 MPFR로 생성한다. 모든 c에 대해 MPFR(P, Π(c), 1)을 계산하고, 현재 타깃 승자가 드래프트 집합에 속하는 한 유일하게 실현된 타깃 경로를 따라 토큰을 방출한다. 중요한 차이는 포아송 과정이 드래프터 정체성이 아니라 컨텍스트로 인덱싱된다는 점이다. Rowan 등(2025)은 드래프트 인덱스 기반 알고리즘으로 현재 유효한 드래프트 인덱스 집합을 유지하며 다음 토큰을 고르는데, 이 활성 집합 때문에 출력이 실현된 드래프트 시퀀스에 숨은 의존성을 갖게 되어 조건부 드래프터 불변성만 만족한다. Theorem 5.1은 현재 스텝에서 최소 하나의 토큰이 수락될 확률이 P(accept) ≥ 1 - Σ_{i∈V} P(i)(P(i)/(P(i)+Q(i)))^B임을 보인다.

전제와 한계

실험은 Qwen2.5-7B-Instruct를 타깃, Qwen2.5-0.5B-Instruct를 드래프터로 쓰고 CNN/DailyMail에서 수행했다. 베이스라인은 네 갈래다. 워터마크만 적용한 Basic-UWM(Aaronson & Kirchner)은 워터마크 강도의 상한을, 워터마크 없는 VSpS(Leviathan 등)와 Rowan 등의 다중 드래프트 Invariant는 효율의 상한을 각각 설정한다. 트레이드오프 계열로는 Hu와 Huang의 MWS/MSE, He 등의 MSE-Pseudo가 있다. 지표는 효율의 AATPS, 검출력의 ANLPPT(세 가지 점수 변형 U/Li/PL), TPR@1%FPR, 품질의 LPPL과 ROUGE-L이다. 단일 드래프트 결과에서 L ∈ {1,2,3,4}를 훑은 (AATPS, ANLPPT-U) 평면에서 PFR은 모든 L에서 두 파레토 끝점을 지배한다. 특히 PFR과 PFR-NoWM의 AATPS가 거의 동일한데, 이는 워터마크가 커플링 수준에서 심어져 비용이 거의 없다는 것을 보여준다.

다중 드래프트 실험은 L = 4, B ∈ {2,4,6,8}에서 MPFR과 Rowan 등의 Invariant를 비교한다. 모든 B에서 MPFR은 INVARIANT와 비슷한 AATPS를 내면서(셀에 따라 작은 편차) ANLPPT-U는 훨씬 크다. 워터마크 신호는 B에 걸쳐 안정적이며(ΔANLPPT ≤ 0.001), 드래프트를 추가해도 토큰당 검출 신호가 희석되지 않는다. 고정 오탐률에서의 검출력(TPR@1%FPR)을 보면 PFR과 MPFR은 강한 워터마크 기준인 Basic-UWM, MWS를 따라가고, MSE와 MSE-Pseudo는 일관되게 더 약하다. 드래프터 교체 실험에서는 드래프터만 바꿨을 때(D0: Qwen2.5-0.5B-Instruct, T=1.0, D1: Qwen2.5-1.5B-Instruct, T=1.0, D2: Qwen2.5-0.5B-Instruct, T=0.5, D3: Qwen2.5-0.5B-Instruct, T=1.5) T_eval ∈ {64,128}에서 PFR의 TPR 변동은 최대 1%포인트인 반면 MSE는 12~22%포인트, MSE-Pseudo는 6~11%포인트 흔들린다.

개발자 관점에서 이 논문이 중요한 이유는 세 가지다. 첫째, 워터마크와 추측 디코딩을 함께 쓸 때 생기는 둘 중 하나를 포기해야 한다는 통념을 다중 드래프트 축에서 우회할 수 있다는 구체적인 구성법을 제시한다. 둘째, 드래프터 불변성은 드래프트 모델을 교체하거나 업데이트해도 워터마크 검출 신호와 출력 재현성이 흔들리지 않게 해주는데, 실험에서 PFR의 TPR 변동이 1%포인트 이내로 억제되는 것을 확인할 수 있다. 셋째, 워터마크가 주변분포를 바꾸지 않으므로(unbiased) 품질 감사 지표인 LPPL로 편향을 점검할 수 있다. 실무에서는 드래프트 모델 교체 주기가 짧거나, 생성 텍스트의 출처 증명이 규제 요건인 서비스에서 우선 검토할 만하다. 다만 컨텍스트별 포아송 과정과 워터마크 부기(bookkeeping) 비용이 추가되므로, 실제 지연시간 예산 안에서 이득이 나는지 자체 벤치마크가 필요하다.

저자들이 밝힌 한계는 두 가지다. 첫째, 타깃-드래프트 간 통신량, 워터마크 강도, 추측 샘플링 효율 사이의 트레이드오프를 근본적으로 특정하는 이론적 결과는 아직 없다. 둘째, 현재 구현은 커플링과 워터마크 부기가 상당해서 알고리즘이 약간 느려지며, 향후 이를 줄여 더 가속할 여지가 있다고 밝힌다. 또한 다중 드래프트 기법이 Hu와 Huang의 불가피한 트레이드오프를 위반하는 것은 아니라는 점도 명시한다. 그 트레이드오프는 드래프트 수를 고정했을 때 여전히 성립하며, 이 논문은 드래프트 수라는 추가 축에서 곡선을 개선한 것이다.