멀티플레이어 월드 모델의 통신 비용을 계층 구조로 줄인 Multics

무엇인가

멀티플레이어 인터랙티브 월드 모델은 여러 플레이어의 시점에서 하나의 공유 환경을 동시에 생성하는 것을 목표로 한다. 게임 엔터테인먼트와 인터랙티브 시뮬레이션에 바로 쓰이는 기술이지만, 기존 비디오 월드 모델은 대부분 단일 플레이어를 가정하고 한 명의 행동·카메라 궤적·텍스트 프롬프트에 조건화된 관측만 만든다. 단일 플레이어에서 멀티플레이어로 넘어가면 두 가지가 동시에 무너진다. 첫째, 겹치는 시야에서 플레이어 간 일관성이 유지되어야 하고, 각 플레이어의 행동과 카메라 입력을 그대로 따라야 하며, 무관한 동시 사건에 휘둘리지 않아야 한다. 둘째, 플레이어 수가 늘어나도 재학습 없이 일반화되고 계산량이 감당 가능해야 한다. 기존 방식은 둘 중 하나를 포기한다. Solaris로 대표되는 완전 연결 통신은 모든 플레이어 토큰을 시퀀스 차원으로 이어 붙여 서로 직접 어텐션하게 하는데, 플레이어 수에 대해 어텐션 비용이 제곱으로 늘어난다. γ-World 같은 중앙집중 방식은 공유 전역 표현 하나로 정보를 모아 계산량을 줄이지만, 서로 무관한 사건들이 같은 통로에서 섞여 간섭이 커지고 플레이어별 제어 정확도가 떨어진다.

어떻게 동작하나

Multics는 이 둘 사이에 층을 하나 더 넣는다. 정보 교환을 플레이어, 그룹, 전역의 세 층으로 나누고, 그룹 층에 그룹 토큰을 두어 자기어텐션의 중간 표현으로 쓴다. 같은 그룹에 배정된 플레이어들은 그룹 토큰을 통해 국소적으로 정보를 모으고, 그룹 토큰은 다시 전역 토큰과 연결되어 그룹 간 통신을 담당한다. 즉 플레이어 x_i가 자기 그룹 토큰 h^L_{g(i)}에, 그룹 토큰이 전역 토큰 h^G에 연결되는 경로만 허용하고, 무관한 국소 사건끼리 직접 섞이는 경로를 위상 자체로 차단한다. 그룹에 배정되지 않은 플레이어는 전역 토큰을 통해서만 통신한다. 완전 연결·중앙집중·그룹 기반 방식을 포함해 모든 통신 위상은 자기어텐션 마스크로 구현되므로, 같은 어텐션 연산 안에서 서로 비교 가능하다.

무엇과 다른가

그룹 표현을 특정 그룹 정체성에 묶지 않기 위해, 그룹 토큰 파라미터 E^L을 하나만 학습하고 런타임에 M개의 그룹 슬롯에 복제해 잠재 프레임 전체로 펼친다. 슬롯마다 별도 파라미터가 없으므로 그룹 슬롯은 서로 교환 가능하고, 플레이어 수가 달라져도 새 그룹 전용 파라미터나 재학습 없이 같은 통신 모듈을 쓸 수 있다. 숨은 표현은 각 그룹에 배정된 플레이어에 대한 계층적 자기어텐션을 거치며 그룹별로 달라진다. 어떤 플레이어를 같은 그룹에 묶을지는 최근 카메라 궤적으로 정한다. 시점 t에서 과거와 현재 카메라 상태만 사용해 인과성을 유지한 N×N 대칭 관련도 행렬 R^(t)를 계산하고, 여기서 공간 근접성과 시선 방향 정렬을 함께 본다. 중앙집중 베이스라인의 통신 비용과 같은 예산 C_max를 두고, 그룹 수 M과 그룹 정원 K 제약 아래에서 관련도 높은 플레이어 관계를 보존하면서 커버리지를 최대화하는 배정을 고른다. 남는 그룹 슬롯과 예산은 미배정 플레이어를 위해 쓰이고, 그마저 없으면 전역 토큰으로만 통신한다. 관련도는 통신 위상만 결정할 뿐이고 특징 교환은 학습된 계층적 자기어텐션이 담당한다.

어떻게 쓰나

실험은 Wan2.2 TI2V 5B를 베이스로, 10인 Counter-Strike 2 경기를 렌더링해 카메라 궤적과 마우스·키보드 행동 주석을 붙인 OpenCS2 데이터셋에서 수행했다. N=4와 N=6 모델을 따로 학습하고 샘플마다 10명 중 N명을 무작위로 고른다. 각 샘플은 352×640 해상도 165프레임이고, 확산 강제(diffusion forcing) 학습을 쓰며 동적 그룹핑 위상은 48 비디오 프레임마다 갱신한다. 베이스라인은 Solaris(완전 연결)와 γ-World(중앙집중)를 같은 베이스 모델·데이터·학습 설정·반복 수로 재구현해 비교했다. 평가는 일관성(GeoKPM, PSNR, SSIM, LPIPS), 행동 정확도(역동역학 모델 IDM), 카메라 정확도(RotErr, TransErr, CamMC), 시각 품질(FID, FVD)의 10개 지표로 구성하고, OpenCS2에서 200개 홀드아웃 샘플(모델당 100개)을 쓴다. Multics는 4인·6인 설정 모두에서 대부분의 지표에서 베이스라인을 앞섰다. 저자들은 PSNR·SSIM 같은 픽셀 정렬 지표가 작은 공간 편차에 민감하다는 점을 짚으면서, GeoKPM과 LPIPS의 일관된 개선이 기하학적·지각적 일관성이 실제로 좋아졌다는 근거라고 설명한다. 완전 연결인 Solaris는 정보 교환이 제한 없음에도 대부분의 지표에서 뒤졌고, γ-World는 동시 상호작용이 다양해질수록 일관성과 카메라 정확도가 흔들렸다.

전제와 한계

확장성 쪽 수치가 더 눈에 띈다. 4인으로 학습한 모델을 재학습이나 추가 파라미터 없이 6·8·10인 추론에 그대로 적용했고, 이때도 Solaris와 γ-World보다 일관성·제어성·시각 품질이 좋았다. 계산량은 10인 기준 자기어텐션 9.6 TFLOPs로, 완전 연결 방식의 69.1 TFLOPs 대비 크게 줄었고 중앙집중·그룹 기반 방식과 비슷한 수준을 유지한다. 절제 실험에서는 완전 연결·중앙집중·그룹 기반·계층적 통신 네 가지를 같은 조건에서 학습해 계층 구조가 일관성과 행동·카메라 제어성을 꾸준히 개선함을 보였고, 그룹핑 전략을 고정·무작위·동적으로 바꿔 비교해 동적 그룹핑이 GeoKPM과 카메라 정확도를 끌어올린다는 것을 확인했다. 통신 예산 민감도도 확인했는데, 기본 1.0×로 학습한 모델에서 추론 예산을 0.6×에서 1.4× 사이로 바꾸면 1.0× 아래로 줄일 때 GeoKPM이 떨어지고, 1.0× 위로 늘려도 GeoKPM은 비교적 안정적으로 유지된다. 게임 외 도메인으로는 실내 환경을 재구성해 렌더링한 다중 로봇 1인칭 영상 데이터셋 EgoTeam에서도 학습하고 100개 테스트 샘플로 평가해 성능을 유지했다.

실무 관점에서 이 논문이 주는 신호는 명확하다. 여러 에이전트나 여러 시점을 하나의 생성 모델로 묶는 시스템을 만든다면, 모든 스트림을 완전 연결 어텐션으로 붙이는 선택은 플레이어 수가 조금만 늘어도 비용이 감당되지 않는다. 그렇다고 전역 토큰 하나로 다 모으는 중앙집중 구조는 서로 무관한 사건이 섞이는 간섭 문제를 만든다. Multics는 그룹 토큰이라는 중간 표현을 두고, 그룹 슬롯 파라미터를 공유해 플레이어 수 변화에 파라미터 추가 없이 대응한다는 설계를 제시한다. 특히 관련도는 카메라 궤적으로 추정하고, 그것으로 통신 위상만 정하며, 특징 교환은 학습된 어텐션에 맡긴다는 분업은 다른 멀티스트림 생성 시스템에도 그대로 옮길 수 있는 패턴이다. 다만 통신 예산을 중앙집중 베이스라인과 같은 값으로 맞추는 전제가 깔려 있으므로, 실제 서비스의 지연·비용 목표가 다르면 예산 설정과 그룹 수·정원 결정을 다시 튜닝해야 한다.

논문이 명시적으로 밝힌 전제는 다음과 같다. 관련도 계산은 과거와 현재 카메라 상태만 쓰는 인과적 추정이라 미래 궤적을 모르는 온라인 상황을 가정한다. 그룹핑은 통신 예산 C_max를 중앙집중 베이스라인의 비용과 일치시키는 제약 아래에서 결정되며, 그룹 수 M과 정원 K는 플레이어 수와 예산에서 유도된다. 학습은 N=4와 N=6 두 설정에 대해서만 이루어졌고, 8인·10인은 재학습 없는 추론 일반화로만 확인했다. 또한 제공된 본문에는 별도의 한계(Limitations) 절이 없고 결론부도 중간에 끊겨 있어, 저자가 밝힌 추가적인 실패 사례나 적용 범위 제한은 이 텍스트만으로는 확인할 수 없다. 표 1·2의 개별 수치도 본문에 제시되지 않아, 정량적 개선폭은 TFLOPs 비교(10인 기준 9.6 대 69.1) 외에는 확인되지 않는다.