게임 가상 세계 CPT의 데이터·다양성·모델 크기 효과를 120개 설정으로 분리한다

무엇인가

로봇·신체화 학습에서는 데이터와 모델을 키우면 일반화가 좋아진다는 결과가 쌓여 왔지만, 그 경험은 중력과 접촉, 객체 항상성 같은 동일한 물리 법칙 위에 놓여 있다. 반면 게임으로 대표되는 가상 세계는 시각 스타일, 물리, 조작 인터페이스, 목표가 동시에 달라진다. 최근 범용 게임 에이전트 연구들은 게임 플레이 궤적에 대한 continued pre-training(CPT)을 공통 단계로 채택했지만, 기존 연구는 데이터 양·다양성·모델 크기를 한꺼번에 바꿔 왔기 때문에 어느 요인이 전이를 만드는지 분리하지 못했다. 이 논문은 그 세 축을 통제된 격자로 분리한다.

어떻게 동작하나

실험은 4×6×5=120개 구성이다. 백본은 Qwen3.5 0.8B·2B·9B·27B 네 크기, 데이터 예산은 50·100·200·400·800·1,600시간 여섯 단계, 데이터 혼합은 Minecraft 궤적 비중을 100%, 51.4%, 27.1%, 2.8%, 0%로 둔 S1~S5 다섯 가지다. 총 3.5×10^11 토큰, 6ND 규칙으로 2.2×10^22 FLOPs에 해당한다. 학습 데이터는 85%가 VPT·D2E·OpenP2P에서 샘플링한 게임 플레이 궤적이고 15%는 비전-언어·신체화·자기중심 데이터다. 일부 턴에는 GPT-5.6-Luna가 기록된 관측과 행동을 바탕으로 생성한 회고적 추론을 덧붙여 백본의 추론 능력을 보존한다. 행동은 200ms 청크 단위의 구조화 텍스트로, 마우스 이동 Δx,Δy∈[-1000,1000], 스크롤 Δz∈[-5,5], 33ms 동안 눌린 키·버튼 0~4개를 담는다. 관측은 5Hz, 제어는 30Hz, 궤적당 20턴이며 이전 턴의 사고와 행동이 이후 턴에 보인다. 모든 파라미터(ViT 포함)를 AdamW와 Warmup–Stable–Decay로 인과적 다음 토큰 예측 손실로 학습한다. 평가는 학습 분포와의 거리에 따라 세 층으로 나뉜다. 코퍼스 내(MCU의 Minecraft, ViZDoom의 DOOM), 미학습 관련 세계(OmniGameArena의 3D 월드 7종), 미학습 원거리 세계(GameWorld의 2D·2.5D 중심)다.

무엇과 다른가

결과의 핵심은 학습이 두 국면으로 나뉜다는 관찰이다. 초기 수십 시간에서 키·마우스·포맷 손실이 급격히 떨어지고, 50시간만 노출돼도 세 검증 집합 모두에서 베이스 모델 손실을 밑돈다. 학습에 없던 게임에서도 그렇다. 저자들은 이를 인터페이스 단계라 부르며 게임 간에 공유되는 포맷·표현·행동 원시요소를 습득하는 구간이라고 해석한다. 이후는 월드 단계로, 이득이 학습한 세계와 관련 세계로 좁아진다. S1~S3에서 50시간을 1,600시간으로 늘리면 Minecraft 검증 손실이 네 모델 크기 평균 약 10.4% 감소하고 MCU 성능도 함께 오른다. 반면 Minecraft 궤적이 충분치 않으면 총량을 늘려도 그 손실은 거의 줄지 않는다. 다양성은 Minecraft 검증 손실 기준으로는 S1이 최저, 코퍼스 내 손실 기준으로는 S3·S4가 최저다. Minecraft 데이터가 0인 S5도 베이스 모델보다는 낮은 Minecraft 손실을 낸다. 전이는 관련 세계에서 두드러진다. 1,600시간에서 S2~S5의 평균 OGA 점수는 S1의 약 2.8배이고, 동일 모델 크기에서 16개 혼합 구성 모두 S1을 앞선다. DOOM 데이터가 혼합의 극히 일부인데도 ViZDoom 성능이 오른다. 모델 크기는 데이터 효율을 높인다. 큰 모델은 최대 32배 적은 게임 플레이 데이터로 비슷하거나 더 나은 성능을 내고, 50시간으로 학습한 큰 모델이 1,600시간으로 학습한 작은 모델을 이긴다. 다만 9B 이후로는 이득이 줄고, 단일 게임(S1) 학습에서는 큰 모델의 원거리 일반화가 오히려 나빠진다. 1,600시간 27B-S1은 Minecraft가 아닌 세 벤치마크 모두에서 자기 베이스 모델보다 낮고, GameWorld에서는 최대 약 17점 떨어진다.

어떻게 쓰나

저자들은 Chinchilla 형태의 스케일링 법칙에 다양성 비율 ρ를 넣어 경험적 법칙을 적합한다. L(N,T,ρ)=E+A/N^α+Bρ^η/T^β+C/(ρ+ε)^γ이며, N은 파라미터 수, T는 게임 플레이 시간, ρ는 Minecraft 궤적 비율 r(코퍼스 내 손실을 예측할 때는 1−r)이다. 마지막 항은 Minecraft 데이터가 전혀 없어도 유한한 손실이 나오는 혼합 간 전이를 잡기 위한 장치다. 적합 결과 R²는 학습 손실 0.980, Minecraft 0.982, 코퍼스 내 0.995이고 RMSE는 각각 0.0041, 0.0020, 0.0012다. 27B 모델이나 1,600시간, 50시간 체크포인트를 빼고 다시 적합해도 RMSE 0.0016~0.0027로 외삽된다. 반면 분포 밖(OOD) 손실은 법칙을 따르지 않는다. 베이스 모델 대비 이득은 이미 50시간에서 달성되고 이후 20개 곡선 모두에서 조금씩 상승할 뿐이라 β≈0이 되고, 남은 R² 0.855는 혼합 간 정적 차이를 반영할 뿐이다.

전제와 한계

프런티어 모델과의 비교도 있다. MCU에서 27B-S1은 최고의 Minecraft 전용 모델을 13점 앞서고, 0.8B-S1조차 7B 전용 모델을 넘는다. 수만 시간으로 행동 복제만 한 모델들이 지시 조건 과제에서 거의 0점을 받는 반면, 언어 백본을 가진 0.8B-S3는 과제의 36%를 완수한다. GUI 과제 성공률은 0.8B에서 27B로 가며 6배가 되지만 신체화 과제 성공률은 모델 크기 전반에서 안정적이다. 즉 거친 이동은 인터페이스 단계에서 일찍 습득되고 정밀한 커서 제어는 용량이 필요하다. 시간 정지 상호작용에서는 CPT가 27B 백본의 MCU 점수를 약 6배, OGA 점수를 약 2.6배로 끌어올리고 9B·27B 모델이 약 300B 오픈 모델과 맞먹는다. 원거리 GameWorld에서는 프런티어 모델이 이쪽의 두 배이고 CPT 이득은 0.8B·2B에서만 나타난다. 실시간 상호작용에서는 순위가 뒤집힌다. ViZDoom과 MCU에서 프런티어 모델은 점수가 약 90% 줄고 0.8B~9B 모델은 시간 정지 성능의 88%를 유지한다. 네 벤치마크 평균에서 GameScaling-9B-S3가 25.3점으로 가장 좋은 프런티어 모델(19.2점)을 앞선다.

개발자 관점에서 실무적 함의는 분명하다. 첫째, 목표 환경이 정해져 있고 데이터 예산이 한정돼 있다면 다양성을 무작정 늘리는 것보다 학습 분포를 평가 도메인에 맞추는 편이 낫다. Minecraft만으로도 전용 모델을 이기지만 그 모델은 다른 세계로 잘 전이되지 않는다. 둘째, 같은 3D 조작 원시요소를 공유하는 관련 세계로의 전이는 다양성으로 값싸게 얻을 수 있다. 셋째, 지연 시간이 결과를 뒤집는다. 세계가 멈추지 않는 실시간 설정에서는 두 자릿수 배 작은 모델이 더 나은 플레이어가 될 수 있으므로 벤치마크 점수만 보고 모델을 고르면 배포에서 실패한다. 넷째, 단일 게임으로 큰 모델을 미세조정하면 코퍼스 밖 성능이 오히려 떨어질 수 있으니 도메인 특화와 일반화 사이의 트레이드오프를 지표로 확인해야 한다.

저자들이 밝힌 한계도 명확하다. CPT는 기록된 행동에 대한 모방 학습이라 과제 성공·실패에 대한 환경 피드백이 없다. 27B-S3는 시간 정지 OGA 점수를 베이스 대비 16.0점 올리면서 GameWorld에서는 4.0점 떨어뜨리는데, 이런 격차가 모방 목적함수 자체의 한계인지 게임 커버리지 부족인지 아직 분리되지 않는다. OOD 손실이 스케일링 법칙을 따르지 않는다는 사실과 원거리 세계에서의 이득이 50시간 이후 정체된다는 사실도 같은 방향을 가리킨다. 저자들은 세계 다양성을 더 키우거나 실제 플레이 중 온라인 피드백을 넣거나 둘을 결합하는 후속 단계가 필요하다고 말한다. 또한 실시간 비교의 우위에는 자체 H200 클러스터의 vLLM API와 상용 API의 네트워크 지연 차이가 섞여 있으므로, 향후 비교는 과제 점수와 응답 시간, 배포 인프라를 함께 보고해야 한다고 명시한다.