KL 정규화로 오프라인 Q러닝이 빠른 표본 복잡도를 얻는다
Fast Rates for Offline Q-Learning with KL Regularization
무엇인가
오프라인 강화학습은 환경과 추가 상호작용 없이 고정된 데이터셋만으로 정책을 학습한다. 핵심 난제는 데이터 커버리지 부족이다. 학습자는 오프라인 데이터에 잘 표현되지 않은 행동을 고를 수 있고, 그 결과 가치 추정이 부정확해지고 외삽 오차가 생긴다. 이를 억제하는 두 축이 비관주의와 정책 정규화다. 비관주의는 커버리지가 얇은 영역의 가치 추정을 벌점으로 눌러 오차를 줄이고, 정책 정규화는 참조 정책에 대한 상대 엔트로피(KL)로 학습 정책을 묶는다. 최근 이론 연구들은 KL 정규화가 단일 단계 문제와 마르코프 게임에서 Õ(1/ε)의 빠른 표본 복잡도를 준다는 것을 보였지만, 그 알고리즘들은 대부분 후진 귀납에 기반한 fitted Q-iteration 형태였다. Q러닝은 벨만 최적 방정식을 증분 확률 근사로 푸는 별개의 알고리즘 계열이라 기존의 빠른 rate 분석이 그대로 옮겨지지 않는다. 이 논문이 던지는 질문은 "오프라인 Q러닝도 KL 정규화로 빠른 rate를 얻을 수 있는가"다.
어떻게 동작하나
문제 설정은 유한 지평 에피소드 MDP (S, A, H, ρ, P, r)이고 보상은 결정론적으로 r_h: S×A→[0,1]이다. 참조 정책 π_ref와 정규화 계수 η>0를 고정하고, 정책의 가치 함수에서 각 단계 보상마다 (1/η)log(π_t/π_ref_t)를 뺀다. 1/η가 정규화 강도다. 정규화 벨만 연산자는 F_{h,s}(Q) = (1/η)log⟨π_ref, e^{ηQ}⟩, 즉 log-sum-exp 형태이고, 최적 정책은 Gibbs map G_{h,s}(Q)(a) ∝ π_ref(a|s)e^{ηQ(s,a)}로 주어진다. 데이터 커버리지는 KL 정규화 최적 정책 π*의 점유 측도가 행동 정책 μ의 점유 측도로 덮인다는 단일 정책 집중성 계수 C*_η로 가정한다(Assumption 2.2). 참조 정책과 행동 정책이 같을 필요는 없지만, π*가 방문하는 상태에서 참조 정책의 행동 지지집합을 행동 정책이 덮어야 한다.
무엇과 다른가
첫 번째 제안인 KLQ(KL-regularized Q-Learning)는 고전 Q러닝의 확률 근사 갱신 형식 Q_h(s_h,a_h) ← (1-α_n)Q_h(s_h,a_h) + α_n(r_h + V_{h+1}(s_{h+1}))을 그대로 유지한다. 다만 V_h(s) = max_a Q_h(s,a) 대신 정규화 벨만 연산자 F_{h,s}(Q_h(s,·))를 쓰고, 정책은 Gibbs map G로 뽑는다. 스텝 크기는 α_n = (H+1)/(H+n)이고, 오프라인 궤적을 처리하면서 방문한 상태-행동 쌍만 갱신한다. Shi et al. (2022)의 비관적 Q러닝과 달리 비관적 보너스도, 단조 max 갱신도 쓰지 않는다. Theorem 3.1에 따르면 확률 1-δ로 SubOpt(π̂) ≤ c·η e^{ηH(H+1)} H^7 S A C*_η / K · ι^4(1+log K)이며, ι = log(SAT/δ)다. 따라서 ε-최적 정책까지의 표본 복잡도는 Õ(η e^{ηH(H+1)} H^8 S A C*_η/ε)다. 저자들은 이것이 오프라인 유한 지평 표 형식에서 Q러닝에 대한 최초의 Õ(1/ε) 보장이며, 빠른 rate에 비관주의가 필수가 아님을 보인다고 주장한다.
어떻게 쓰나
두 번째 제안인 KLPQ(KL-regularized Pessimistic Q-Learning)는 KLQ에 비관주의를 결합한 것이다. Theorem 4.1은 SubOpt(π̂) ≤ c·η H^6 S A C*_η / K · ι^3(1+log K)를 주고, 이로부터 표본 복잡도 Õ(η H^7 S A C*_η/ε)를 얻는다. KLQ에 있던 e^{ηH(H+1)} 지수 인자가 사라지고 H의 지수도 8에서 7로 내려가지만, Õ(1/ε)의 빠른 rate는 그대로 유지된다.
전제와 한계
기술적 핵심은 KL 정규화가 만드는 구조를 이용해 증분 Q러닝 갱신의 제곱 Q 추정 오차에 대한 재귀식을 세우는 것이다. Lemma D.4는 (Δ^k_h(s,a))² ≤ L_h²·1{N=0} + cH²L_{h+1}²ι²·1{N≥1}/(N∨1) + (1+1/H)Σ_n α_n^N (P_h e^k_{h+1})(s,a) 형태의 재귀를 제시한다. 정책 부분최적성은 SubOpt(π̂) ≤ η Σ_h E_{(s,a)~d^{π*}_h}[(Q*_h(s,a) - Q^{K+1}_h(s,a))²]로 Q 추정 오차의 제곱합에 환산된다. 논문은 비관주의가 이 오차 재귀와 Q 오차에서 부분최적성으로 넘어가는 환산을 모두 날카롭게 만든다고 설명한다.
실험과 수치 결과는 원문에 제시되지 않았다. 이 논문은 순수 이론 논문으로, 데이터셋이나 베이스라인 비교, 표의 숫자가 없고 결과는 전부 정리와 보조정리 형태의 유한 표본 상한이다. 따라서 "어떤 데이터셋에서 몇 퍼센트 개선" 같은 실증 근거는 이 원문에서 확인할 수 없다.
개발자 관점에서 이 논문이 쓸모 있는 지점은 표본 효율의 기대치를 정할 때다. 오프라인 로그로 정책을 학습하면서 KL 정규화를 이미 쓰고 있다면(RLHF, 선호도 기반 학습 등), 필요한 데이터량을 Õ(1/ε²) 기준으로 잡을 이유가 없을 수 있다는 이론적 근거가 생긴다. 다만 이 보장은 표 형식 상태-행동 공간, 유한 지평, 결정론적 보상, 단일 정책 집중성 가정 위에 서 있다. 실무에 적용하려면 참조 정책과 행동 정책의 관계를 명확히 하고, C*_η가 유한한지, 즉 행동 정책이 KL 정규화 최적 정책이 방문하는 상태에서 참조 정책의 행동 지지집합을 덮는지 먼저 점검해야 한다.
한계는 저자들이 명시적으로 밝힌다. KLQ의 상한에는 e^{ηH(H+1)} 지수 인자가 있어 η가 크거나 지평이 길면 폭발한다. KLPQ가 이 지수 의존성을 제거하지만 여전히 η, H^7, S, A, C*_η에 의존하는 상한이다. 또한 표 형식·유한 지평·결정론적 보상·단일 정책 집중성이라는 전제를 벗어난 설정, 함수 근사, 실험적 검증은 이 논문의 범위 밖이다.