제약된 온라인 학습에서 국소 제약이 기울기 평형 달성 여부를 가른다

무엇인가

이 논문은 제약이 있는 온라인 학습에서 시간평균 기울기가 0으로 수렴하는 기울기 평형(GEQ)을 다룬다. GEQ는 온라인 분위수 교정, 컨포멀 예측, 방어적 예측처럼 손실 기울기의 누적 불균형이 사라져야 하는 문제와 연결된다. 기존 제약형 GEQ 연구는 제약 밖으로 나간 행동을 법선벡터로 보정한 뒤 (g_t+n_t)의 평균이 0이 되는 조건을 주로 봤지만, 이 논문은 행동이 실제로 C_t 안에 있으면서 원래의 기울기 평균 자체가 0으로 가는 더 강한 문제를 본다. 기존의 충분조건이 필요조건인지, 제약이 GEQ 달성 가능성을 근본적으로 바꾸는 조건은 무엇인지가 핵심 질문이다.

어떻게 동작하나

먼저 CGEQ가 단순한 제약에서도 불가능할 수 있음을 보인다. p_t∈[0,1/2]인 이진 예측에서 g_t(p)=p-z_t이고, 적대자가 절반 확률로 전부 0인 결과열, 절반 확률로 앞은 0 뒤는 1인 결과열을 내는 경우를 구성한다. 모든 T0 접두사에 사후적으로 달성 가능한 고정 예측이 있고 결과열의 총변화도 1 이하지만, 어떤 학습자도 E|(1/T)Σ(p_t-z_t)|≥c>0를 피할 수 없다. 문제는 국소 블록이다. 뒤쪽 절반이 전부 1이면 p≤1/2인 고정 예측으로는 그 블록에서 평형을 맞출 수 없다. 반대로 모든 길이 H 창의 평균 z가 [0,1/2]에 들도록 국소 실현가능성을 주면, H기간 평균을 지연해 예측하는 학습자로 O(H/T) 수준의 평형을 얻는다. 이 예가 블록형과 슬라이딩 윈도형 적대자라는 두 국소 제약 모델을 도입하는 이유다.

무엇과 다른가

이론은 목표를 원점으로 두는 벡터 보상 블랙웰 접근가능성 문제로 재구성된다. 블록형 적대자에 대해서는 각 방향 u와 H라운드 인과 정책 π에 대해 sup_u inf_π sup_s <u,G_H(π,s)>≤0라는 블록형 블랙웰 조건이 필요충분임을 보인다. 여기서 G_H는 H라운드 누적 벡터 보상이다. 이 조건이 성립하면 누적 평균 오차는 L√(H/T)+LH/T로 줄어든다. H=1이면 고전 블랙웰 조건과 만나고, 기존의 복원성과 내향 흐름 조건을 포함하지만 두 조건 모두 필요조건은 아니다. 슬라이딩 윈도형은 창이 겹치며 생기는 시간 의존성 때문에 연속 상태 s에서 다음 창 s'로의 전이 집합 W_H(s)와 연속 포텐셜 φ를 넣은 벨만형 보정 연산자 T_{u,H}φ(s)=inf_π sup_{s'∈W_H(s)}{<u,G_H(π,s')>+φ(s')}를 쓴다. 이 연산자로 정의한 하방·상방 방향값 λ의 부호가 점별·균일 접근가능성의 필요충분 조건을 이룬다. 모든 상태가 유한 단계 안에 서로 도달 가능하다는 가정 아래 두 값이 같아지고 점별 조건과 균일 조건도 동치가 된다. 슬라이딩 윈도에서는 달성 가능하지만 블록형에서는 불가능한 사례도 제시해 두 모델이 일반적으로 다름을 보인다.

어떻게 쓰나

4장은 국소 실현가능성 아래 알고리즘 원리를 준다. 먼저 국소 실현가능성만으로는 충분하지 않음을 2차원 반례로 보인다. 행동 p가 반지름 1인 양의 사분면 원판에 있고, 적대자가 좌표 j_t와 이진 결과 z_t를 골라 선택된 좌표에만 1/2(p_j-z)^2 손실을 주면, 고정 H에 대해 국소 실현가능한 결정론적 인과 슬라이딩 윈도 적대자가 존재해 어떤 학습자도 누적 기울기 노름을 T에 비례해 키울 수 있다. 저자들은 여유 있는 강한 국소 실현가능성을 제안한다. 모든 길이 H 구간 I와 모든 방향 u에 대해 min_{x∈C}Σ_{t∈I}<u,g_t(x)>≤-γH가 성립하는 γ>0를 요구한다. 알고리즘은 지평선을 길이 H 블록으로 나누고, 이전까지 누적 기울기 S의 방향 u_k를 정한 뒤 각 블록에서 그 방향 손실 <u_k,g_t(x)>에 대한 무후회 학습기 A_H를 돌린다. 창 내 후회가 R_H이고 γ≥R_H/H이면 블록별 방향 기울기 합이 0 이하가 되어 텔레스코핑으로 (1/T)||Σg_t(x_t)||≤L√(H/T)+LH/T=o(1)를 얻는다. 즉 윈도별 무후회 학습기를 CGEQ 알고리즘으로 바꾸는 일반 환원이다.

전제와 한계

실험은 소프트 제약 설정에서 누적 기울기 불균형 ||S_t||_2와 누적 양의 제약 위반 V_t=Σ[c_s(x_s)]_+를 측정한다. 제안 기법 Soft-Blackwell FTRL은 블랙웰형 외부 제어기와 FTRL 내부 학습기를 결합해 누적 피드백으로 기울기 평형과 제약 만족의 균형을 맞추고, 내부 학습기는 각 국소 창에서 정규화된 스칼라 손실을 최소화한다. 비교 대상은 제약을 무시하고 고정 행동 영역으로 사영하는 Vanilla GD, 제약 관측으로 만든 실현가능 집합에 잠재 반복을 사영하는 Lazy GD, 작은 후회와 누적 제약 위반을 노리는 COCO다. 합성 이진 예측에서는 A^M B^M 반복 결과열과 시간가변 하한 q_t를 주고 c_t(p)=q_t-p를 걸었으며, Soft-Blackwell FTRL과 Lazy GD가 작은 기울기 불균형과 낮은 누적 위반을 유지했고 Vanilla GD는 위반이 컸으며 COCO는 교정 이탈과 누적 위반이 가장 컸다. LLM 독성 교정에서는 프롬프트당 40개 후보 응답의 공개 독성 점수를 쓰고 H=10, τ=0.1로 두었으며, Soft-Blackwell FTRL이 작은 누적 기울기 불균형과 가장 작은 최종 누적 제약 위반을 보였고 세 베이스라인은 더 큰 불균형을 보였다. 주가 변동성 교정에서는 GARCH(1,1) 예측으로 0.9와 0.7 커버리지를 동시에 목표로 하고 0≤x^(0.7)≤x^(0.9) 하드 제약과 창별 폭 예산 소프트 제약을 두었으며 H∈{10,20}, τ=0.02를 사용했다. FNMA H=10에서 Soft-Blackwell FTRL이 가장 작은 최종 교정 오차를 냈지만 누적 폭 위반은 Vanilla GD와 COCO보다 컸고, Lazy GD는 기울기 불균형과 제약 위반이 모두 크게 나타났다. 제공된 본문에는 이들 실험의 구체적 성능 수치가 표로 제시되지 않고 그림 1~3의 추세로만 보고된다.

개발자에게 이 논문은 제약이 있는 온라인 교정·예측 시스템에서 평균 기울기 평형과 제약 위반을 동시에 관리하려는 설계 지침을 준다. 특히 피드백이 행동 뒤에 늦게 오고, 제약이 시간에 따라 변하며, 국소 창마다 실현가능한 기준점이 있는 문제에 적용할 수 있다. 구현 전에는 창 길이 H, 여유 γ, 내부 무후회 학습기의 후회 R_H, 제약 피드백 시점을 확인해야 한다. 강한 국소 실현가능성의 마진이 없거나 슬라이딩 창의 전이 구조가 국소 실현가능성을 보장하지 않으면 이론적 보장이 사라질 수 있으므로, 하드 제약과 소프트 제약을 구분하고 누적 위반을 별도 지표로 감시해야 한다.

한계도 분명하다. 주요 블랙웰 characterization은 행동 집합이 고정된 C인 경우를 중심으로 전개되며, 서론에서 동기로 든 시간가변 C_t는 확장 부록으로 미룬다. 슬라이딩 윈도 이론은 유한 단계 브리징 같은 구조 가정과, 정량 보장을 위해서는 유계 포텐셜 가정을 둔다. 일반 환원은 강한 국소 실현가능성의 양의 마진 γ가 창 내 후회보다 커야 작동하고, 국소 실현가능성만으로는 2차원 반례가 보여주듯 충분하지 않다. 실험은 개별 라운드 실현가능성을 보장하기 어려워 소프트 제약 설정에서 누적 위반을 측정했고, 하이퍼파라미터는 검증 데이터로 고른 뒤 고정했다. 따라서 실제 시스템에 적용할 때는 이론 가정이 데이터와 제약 피드백 구조에서 성립하는지 먼저 점검해야 한다.