지금 점수가 미래를 배신하는 게임에서 리플레이로 보상 신호를 다시 세운다

무엇인가

장기 전략 게임에서 언어모델 에이전트를 훈련시키기 어려운 이유는 보상이 희소하다는 것이다. 확정적 피드백은 게임이 끝날 때 한 번 들어온다. 그렇다고 게임 중 점수판을 조밀 보상으로 쓰면, 그 점수가 미래 결과를 안정적으로 예측하지 못한다. 저자들은 여덟 개 전략 게임에서 위치 쌍의 8~68%가 "점수가 높은 쪽이 더 나쁜 결말로 간다"는 역전을 보인다고 측정하고 이를 점수판 함정(scoreboard trap)이라 부른다. 프리시브에서는 civ2civ3 규칙에서 26%, classic 규칙에서 27%가 함정이며, 함정 비율은 게임 첫 10분의 55%에서 마지막 10분의 8%로 줄어든다. 게임이 길어질수록 점수판은 더 나빠져서, 60턴 게임에서 80턴 게임으로 가면 최종 점수와의 상관이 0.81에서 0.12로 떨어지고 함정 비율은 30%에서 54%로 올라간다. 최신 LLM들도 이 함정을 못 피한다. 함정 쌍에서 여섯 개 모델의 정확도는 0.26~0.34로 우연 이하였고, 프롬프트로 "점수가 오해를 부를 수 있다"고 경고해도 0.32~0.38에 그쳤다. 같은 모델들이 비함정 쌍에서는 0.77~0.82를 낸다는 점이 문제의 성격을 분명히 한다.

어떻게 동작하나

저자들이 만든 CivHarness는 이 문제를 측정 가능하게 만드는 장치다. 저장된 게임 상태에서 결정론적으로 시드된 K개의 분기를 실제 프리시브 엔진 위에서 게임 끝까지(또는 지정한 턴까지) 실행하고, 관측·행동·결과를 기록한다. 같은 세이브, 같은 시드, 같은 행동 트레이스가 같은 상태를 재현하는지 검증하는 리플레이 체크도 포함한다. 에이전트는 전체 게임 상태가 아니라 자기 진영이 탐험한 시야만 본다. 독립적인 게임들을 묶어 실행하고 실패한 런을 재시도하며 완료된 작업을 기록해 수집을 이어갈 수 있는 배치 실행도 구현해 롤아웃 속도를 높였다. 이 하네스는 실험에 쓰인 RL 엔진 slime과 연결되어, 정책과 게임 엔진 사이에서 관측·행동을 주고받고 판정기의 쌍별 선호를 상태 가치로 변환해 학습 샘플로 넘긴다.

무엇과 다른가

핵심 개념은 리플레이 오라클이다. 상태 s에서 K개 분기를 끝까지 돌려 얻은 최종 점수의 평균을 Y(s)로 정의하고, scoreboard(s+) > scoreboard(s−)이면서 Y(s+) < Y(s−)인 쌍을 함정 쌍으로 정의한다. 이때 Y는 참 최종 점수가 아니라 봇 플레이 기반 재생 추정치이므로, 두 값의 차이가 합동 표준오차의 두 배를 넘는 쌍만 남겨 유의미한 것만 학습에 쓴다. 이렇게 만든 10,800개 쌍(서로 다른 게임의 위치, 최대 10턴 차이, 라벨 차이가 합동 표준오차의 두 배 초과)으로 Qwen2.5-7B-Instruct를 LoRA rank 16으로 미세조정한 것이 CivTelescope다. 입력은 평가 대상 플레이어 관점에서 텍스트로 렌더링한 두 위치(모든 플레이어의 점수, 해당 플레이어의 금·기술·도시·유닛)이고, 출력은 더 높은 최종 점수에 도달할 위치다. 순서 편향을 줄이려 두 순서로 각각 질의해 평균한다.

어떻게 쓰나

성능은 함정 쌍에서 77.5% 정확도로, 같은 백본의 제로샷(0.26~0.34)과 다섯 개 프론티어 모델을 크게 앞선다. 비함정 쌍에서도 0.878로 비교군(0.77~0.82)보다 높아, 단순히 점수 순서를 뒤집는 것이 아님을 보인다. 같은 위치에 리플레이 결과를 타깃으로 회귀 가치 헤드를 붙이면 함정 쌍에서 0.520으로 우연 수준인 반면, 같은 쌍에서 CivTelescope는 0.688이었다. 학습에 쓰지 않은 classic 규칙에서도 0.592로 백본 0.241, 프론티어 모델 0.20~0.49를 앞선다. 라벨 출처 실험은 특히 인상적이다. 같은 쌍에 대해 GPT-5.6-sol의 선호를 라벨로 쓴 판정기는 0.391로, 라벨을 만든 모델 자신의 0.330과 비슷한 수준에 머물렀다. 반면 리플레이 결과로 라벨링한 판정기는 0.610이었다. 선호 라벨은 라벨러의 함정 오류를 그대로 물려받지만, 재생 결과 라벨은 그렇지 않다는 것이 저자들의 주장이다.

전제와 한계

CivMarshmallow는 이 판정기를 보상으로 바꾸는 훈련 레시피다. 먼저 남은 턴 수(rem)를 20, 40, 80, 120으로 늘려가는 단계적 훈련을 한다(각 단계는 턴 100, 80, 40, 1에서 시작하는 위치 뱅크를 쓴다). 판정기의 쌍별 확률 p(s≻r)를, 최종 점수를 아는 주변 턴의 참조 위치 집합에 대한 평균 승률로 집계하고 그 분위수에 해당하는 참조 점수를 선형 보간해 스칼라 포텐셜 Φ(s)를 만든다. 즉 판정기가 순위를, 참조 집합이 스케일을 공급한다. 참조 집합은 정책이 좋아지면 포화되므로 N번의 정책 업데이트마다 최근 롤아웃으로 후보를 만들어 홀드아웃 롤아웃에 대한 스피어만 상관이 기준을 넘을 때만 교체한다. 포텐셜 차이는 γ=1, λ<1인 GAE에 들어가고, 관측된 최종 점수는 마지막 타깃으로 남는다. 전체 120턴 게임에서는 하이브리드 보상을 쓴다. 게임 턴 u에 대해 시그모이드 가중 w(u)로 초반에는 점수판(또는 종국 보상)을, 후반에는 판정기 보상을 섞고, 전환 턴은 35다.

결과는 단계별로 갈린다. 함정이 흔한 중반, 즉 rem80에서 CivTelescope 보상은 평균 단계 이득 8.94점으로 sparse 5.04, scoreboard 0.83을 앞섰고, 짝지은 승률은 sparse 대비 81%, scoreboard 대비 96%였다. 전체 120턴에서는 scoreboard→CivTelescope가 5.21점, sparse→CivTelescope가 5.15점으로 scoreboard 4.87, sparse 2.87, CivTelescope 단독 2.77을 앞섰다. 순수 CivTelescope와 같은 체크포인트에서 출발한 하이브리드가 세 시드 모두에서 평균 2.4점 더 높았다. 순서를 뒤집으면 효과가 사라진다. CivTelescope→sparse는 1.76점, 80턴에 sparse로 되돌아가는 3단 구성은 2.84점이었다. 판정기를 게임 마지막 위치에만 적용하면 rem40에서 이터레이션당 −0.13점(2시드 평균)으로 오히려 손해였고, 매 결정마다 쓰면 +0.44점이었다. 프롬프팅 기반 에이전트 다섯 개와 비교하면, 최고 성능 정책이 최종 점수 23.4로 최고 스캐폴드의 13.2를 크게 앞섰고 게임 중 탈락률도 4% 대 9~26%, 불법 행동 비율도 0.1~0.5% 대 41.6%였다. 입력 절제 실험은 판정기가 무엇을 보는지 알려준다. 점수 숫자를 전부 마스킹해도 함정 정확도가 0.687인 반면, 점수만 남기고 텍스트 설명을 없애면 0.113으로 떨어지고 비함정 정확도는 0.842로 유지된다. 점수만 보는 판정기는 곧 점수판 휴리스틱 자체이며, 나머지 상태 기술이 함정을 벗어나게 해준다.

개발자 관점에서 이 논문의 실무적 함의는 명확하다. 손쉽게 얻는 조밀 지표(현재 점수, 부분 리워드, 프록시 모델 점수)를 그대로 보상으로 쓰기 전에, 그 지표가 실제 최종 결과와 순위가 일치하는지 위치 쌍 단위로 검증해야 한다. 검증 방법도 논문이 그대로 준다. 상태를 저장하고 분기해 끝까지 돌려 결과를 재는 오라클을 만들고, 프록시 순위와 결과 순위가 어긋나는 쌍의 비율을 재는 것이다. 또한 판정기를 선호 라벨로 증류하면 교사 모델의 편향을 그대로 물려받는다는 결과(0.391 대 0.610)는, LLM-as-judge를 보상으로 쓸 때 라벨 출처를 무엇으로 잡을지에 대한 직접적인 경고다. 판정기를 보상으로 쓸 때는 전체 구간에 균일하게 적용하기보다, 판정기 신뢰도가 확보되는 구간(여기서는 대략 30턴 이후)까지 기다렸다가 가중치를 넘기는 스케줄이 전체 게임 성능에 유리했다.

한계와 전제도 분명하다. 리플레이 오라클의 Y(s)는 참 최종 점수가 아니라 고정 난이도 내장 봇을 상대로 한 재생 추정치이고, 그래서 라벨 쌍은 두 값의 차이가 합동 표준오차의 두 배를 넘는 경우만 채택하는 필터를 거친다. 판정기 훈련 라벨도 이 추정치에 의존하므로 오라클의 분산과 봇 난이도 설정이 판정기 품질에 그대로 전이된다. 참조 집합 기반 포텐셜은 정책이 개선되면 포화되기 때문에 주기적 교체와 검증 절차가 필수라는 점도 실험 설계에 내재한 전제다. 실험은 프리시브 한 게임, 그것도 주로 civ2civ3 규칙에 집중되어 있고, 미학습 규칙( classic )에서의 판정기 우위는 0.592 대 0.241 수준으로 유지되지만 회귀 가치 헤드와의 비교(0.622 대 0.592, 구간 중첩)에서는 함정 쌍에서 두 방법을 구분할 수 없었다.