추천자 후회로 정규화 강화학습의 추정 품질을 높인다
Recommender regret for improving regularised RL estimation with bandits and MCTS
무엇인가
이 논문은 정규화 강화학습이 학습과 추론에서 정책·가치·Q값 추정기를 사용하지만, 기존 밴딧 기반 추정 프레임워크는 추정의 품질이 아니라 샘플링 효율을 평가해 왔다고 지적한다. DQN과 SAC의 원샘플 몬테카를로 타깃, AlphaZero의 MCTS 타깃처럼 추정기는 실제 RL 파이프라인의 핵심인데, 샘플링 예산을 어떻게 배분해야 타깃 추정 품질이 좋아지는지에 대한 프레임워크가 없었다는 문제의식이다.
어떻게 동작하나
제안 방법의 핵심은 추정값 생성 자체를 추천 과정으로 형식화하는 것이다. 밴딧 기반 샘플링을 개선 연산자로 보고, 정규화기를 반영한 추천자 후회를 정책·가치·Q값 각각에 대해 정의한다. 정책에는 원시 노름과 Bregman 발산, 가치에는 절댓값 오차, Q값에는 정책 원시 노름의 쌍대 노름을 사용한다. 이론적으로 가치 후회는 대략 1/sqrt(T), Q값 후회는 sqrt(K/T) 규모의 하한을 가지며, 정책 후회는 추가 가정 아래 하한을 유도한다. 특히 분석된 알고리즘 중에서는 균등 샘플링이 가장 타이트한 상한을 달성하고, E3W는 log(T)만큼 느슨한 상한을 갖는다고 보인다. 이는 탐색이 거의 필요 없다는 기존 다중팔 샘플링 결과와 대비되는 지점이다.
무엇과 다른가
이를 트리 탐색으로 확장한 것이 추천자 MCTS다. 각 노드를 밴딧 문제로 보고, 결정론적 전이와 결정론적 비잎 보상을 가정한 트리에서 루트의 추천자 후회가 집중됨을 보인다. 균등 샘플링은 ζ=1/K를 최대화해 MCTS 기대 후회를 O~(sqrt(K^{3H}/T))와 Bregman 기반 O~(K^{3H}/T)로 달성한다. 즉 추천자 MCTS는 밴딧 기반 타깃 개선과 탐색 기반 타깃 개선을 하나로 묶는 일반화로 제시된다.
어떻게 쓰나
합성 트리 실험에서는 가지 수 k와 깊이 d로 트리를 만들고, 각 노드·행동의 평균 보상을 고정한 뒤 방문마다 정규분포 보상을 샘플링한다. Q값 오차를 정규화기별 쌍대 노름으로 측정했을 때, 제시된 트리들에서 균등 샘플링이 E3W보다 빠르게 수렴했다. Bregman 발산 기반 후회에서도 이 경향이 이어졌지만, 가치 후회와 노름 기반 정책 후회에서는 균등 샘플링이 항상 최저 오차를 보이지는 않았다. 저자들은 이를 K 의존성이 이론대로 완전히 모델링되지 않은 분석의 간극으로 설명한다.
전제와 한계
OCTAX 아케이드 실험은 19개 게임에서 PQN 스타일 Q네트워크를 학습하고, 고정된 Q네트워크를 정규화 MCTS 내부 가치 추정에 사용한다. 정규화 트리 탐색의 역온도는 5, SMM의 α는 1, E3W 탐색 상수는 0.1로 두고 100개 시드로 평가했다. 정규화 MCTS는 PQN 기준선보다 성능을 개선했고 시뮬레이션 수가 늘수록 개선이 두드러졌다. 높은 시뮬레이션 수에서는 균등 샘플링과 E3W가 비슷했지만, 낮은 시뮬레이션 수에서는 E3W가 더 나은 경우가 많았다. 원문에 구체적 반환값 개선폭 수치는 제시되지 않았다.
과학적 발견 실험은 항균 펩타이드, 녹색 형광 단백질, 5′ 비번역 영역 서열 설계를 다룬다. Trabucco 등의 단백질·DNA 서열 데이터로 트랜스포머 프록시 보상 모델을 학습하고, 이를 고정해 TGM 기준선과 정규화 MCTS 가치 추정에 사용했다. 시뮬레이션 예산은 32에서 1024까지 스윕했고 1024는 AMP와 UTR에만 적용했으며, 역온도는 0.025에서 40까지 스윕했다. 각 설정에서 5개 시드에 걸쳐 100개 서열을 생성하고, 레벤슈타인 거리로 다양성을 반영한 top-k 보상을 측정했다. TENTS를 포함한 트리 탐색 개선 정책은 모든 과제에서 기준선의 top-100 평균에 필적하거나 능가했고, 특히 균등 샘플링이 거의 모든 탐색 알고리즘과 과제에서 E3W를 앞섰다. 저자들은 OCTAX와 과학적 발견 과제에 정규화 MCTS를 적용한 첫 결과라고 주장한다.
개발자 관점에서 이 논문은 MCTS나 원스텝 추정기를 쓰는 RL 시스템에서 “샘플링을 얼마나 효율적으로 했는가”보다 “최종 추정값이 얼마나 정확한가”를 기준으로 예산 배분을 봐야 한다는 관점을 준다. 특히 균등 샘플링을 강한 기준선으로 두고, 낮은 예산에서는 E3W 같은 그리디 샘플링이 유리할 수 있음을 확인해야 한다. 다만 정규화기별 역온도, α, ε 같은 하이퍼파라미터와 가정의 적용 가능성을 먼저 점검해야 한다.
저자들이 밝힌 한계는 분명하다. 일반 정규화기를 대상으로 한 상한은 T 의존성은 비교적 타이트하지만 K 의존성은 때때로 느슨하며, 정책 하한은 상대 내부점과 매끄러움을 요구하는 가정에 의존한다. MCTS 이론은 결정론적 전이와 결정론적 비잎 보상을 전제로 한다. 실험에서도 가치·정책 오차의 이론적 K 의존성이 완전히 맞지 않는 간극이 나타난다. 향후 정규화기별 알고리즘으로 상한을 더 타이트하게 만들 계획이며, 원문 실험은 대체로 정성적 경향을 제시하고 구체적 개선 수치는 제시하지 않는다.