RLSplat은 가우시안 예산을 줄이면 추론 비용까지 함께 줄인다

무엇인가

피드포워드 3DGS(FF3DGS)는 이미지에서 한 번의 순전파로 3D 장면을 재구성하므로 자원 예산이 제한된 응용에 적합하다. 최근 예산 제어형 방법들(EcoSplat, F4Splat)은 추론 시점에 가우시안 개수를 조절해 저장 용량이나 렌더링 지연 제약을 맞춘다. 그러나 이 논문이 지적하는 핵심은 이들이 출력 크기만 제어하고 추론 비용은 제어하지 못한다는 점이다. 두 방법 모두 목표 개수보다 훨씬 많은 조밀한 가우시안을 먼저 예측한 뒤 불투명도 순으로 남기거나 여러 스케일 중 하나를 선택한다. 그 결과 예산을 1K로 낮추든 4K로 올리든 지연 시간과 최대 메모리가 거의 일정하게 유지된다.

어떻게 동작하나

RLSplat은 이 문제를 가지치기나 선택이 아니라 할당(allocation)으로 다시 정식화한다. V개의 비보정 입력 이미지와 목표 예산 B가 주어지면 기하 백본이 이미지를 N개의 앵커 토큰으로 인코딩하고, 각 앵커는 장면의 국소 3D 영역을 나타낸다. 가우시안 할당 정책은 앵커별 예상 배분 비율 p_n을 출력하고, 실제 할당 k는 다항분포 Mult(B, p)에서 뽑되 합이 정확히 B가 되도록 강제된다. 즉 장면 전체를 훑어 중복을 걸러내는 대신, 어느 국소 영역에 몇 개를 놓을지를 먼저 결정하고 그 수만큼만 생성한다.

무엇과 다른가

할당은 이산적이라 미분이 불가능하고 렌더링 결과로만 평가할 수 있기 때문에, 저자들은 이를 정책 최적화 문제로 다룬다. 학습 스텝마다 현재 정책에서 C개의 후보 할당을 롤아웃하고, 각 할당으로 3DGS를 만들어 새 시점에서 렌더링한 뒤 실측 영상과의 재구성 손실을 계산한다. 이 손실의 음수가 보상 R_c = -L_recon이 되고, 그룹 내에서 평균과 표준편차로 표준화해 어드밴티지를 만든다. 정책 갱신은 GSPO를 따라 할당을 길이 B의 시퀀스로 보고 길이 정규화된 중요도 비율을 계산한 뒤 클리핑된 목적함수를 최대화한다. 추론 시에는 확률적 샘플링을 쓰지 않고 기대 개수 B·p를 합이 정확히 B가 되는 정수 할당으로 결정적으로 변환한다.

어떻게 쓰나

생성된 B개의 가우시안 토큰은 자원 선형 디코더에서 정련된다. 각 앵커는 할당받은 수 k_n만큼 슬롯 인덱스에 조건화된 토큰을 만들고, 헤드가 초기 가우시안과 초기 중심을 예측한다. 문제는 초기 토큰이 공간 맥락을 갖지 못해 이웃을 참조해야 한다는 것인데, 전체 B개에 대한 전역 어텐션은 O(B²)이라 예산을 줄여도 비용이 줄지 않는다. 대신 앵커 중심들의 KNN으로 K_anc=16개의 이웃 앵커를 찾고, 그 앵커에 속한 가우시안 토큰 중에서만 다시 K_gs=16개의 이웃을 찾는 계층적 검색을 쓴다. 이웃 집합은 그래디언트를 끊은 초기 위치로 한 번만 계산해 모든 층에서 공유하며, 각 토큰은 자기 이웃에만 크로스 어텐션을 수행하므로 비용이 O(B·K_gs)로 예산에 선형이 된다. 이 검색이 유효하려면 가우시안이 실제로 부모 앵커 근처에 있어야 하므로, 자기 앵커 중심에 더 가깝도록 강제하는 보로노이 손실과 잔차 이동량을 국소 앵커 간격 대비 제한하는 오프셋 손실을 함께 건다.

전제와 한계

학습은 두 단계다. 기저 학습에서는 무작위 할당으로 인코더와 디코더를 40,000 스텝 훈련하며 예산을 [2048, 16384V] 구간에서 샘플링해 다양한 앵커별 개수에 노출시킨다. 정책 학습에서는 균등 확률로 초기화한 정책 헤드를 붙이고 5,000 스텝 추가 학습하는데, 기저 학습에 참조 정책이 없으므로 KL 패널티는 적용하지 않으며 할당 선택이 품질에 가장 크게 작용하는 저예산 쪽으로 예산을 치우쳐 샘플링한다. 손실은 MSE와 LPIPS를 합친 재구성 손실, 카메라 손실, 앵커의 가우시안을 원본 이미지 패치로 투영하는 투영 손실(카메라 뒤로 떨어지는 것을 막는 치랄리티 페널티 포함), 그리고 두 국소성 정규화 항으로 구성된다.

실험은 RealEstate10K에서 뷰 수 2, 3, 4, 6, 8, 12, 24로 학습하고, ACID 249개 테스트 장면에 제로샷으로 평가했다. 해상도는 256×256이며 지연과 최대 VRAM은 데이터 로딩·포즈 정렬·렌더링을 제외한 가우시안 생성 단계만 측정했다. 뷰당 1K, 2K, 4K 예산 전 구간과 모든 뷰 수에서 PSNR·SSIM·LPIPS 모두 최고를 기록했고, 예산이 낮아질수록 격차가 커졌다. 8개 컨텍스트 뷰 기준 F4Splat 대비 PSNR 우위는 4K에서 0.74dB, 2K에서 0.99dB, 1K에서 1.22dB로 벌어진다. 2K 가우시안에서는 F4Splat보다 0.9dB 높은 PSNR을 내면서 최대 메모리를 9.6배 덜 쓰고 4.1배 빨랐다. 예산 고정형 방법과 비교하면 24뷰에서 24K 가우시안으로 25.58dB를 기록해, 1536K 가우시안을 쓰는 SPFSplat의 25.00dB를 64배 적은 개수로 앞선다. 8K 총 예산을 쓴 정성 비교에서도 계단 난간 영역에 EcoSplat 2,521개, F4Splat 3,026개를 배치한 반면 RLSplat은 5,388개를 집중해 해당 영역 국소 PSNR을 17.79dB, 20.00dB에서 23.51dB로 끌어올렸다.

절제 실험은 국소성 정규화와 정련 모듈이 장식이 아님을 보여준다. 오프셋 손실을 빼면 PSNR이 0.53dB 떨어지고, 보로노이 손실까지 제거하면 2.51dB가 무너진다. 투영 손실이 없으면 학습 자체가 실패하는데, 앵커의 가우시안을 인코딩 출처 이미지 영역에 묶어주는 장치가 그것뿐이기 때문이다. 국소 정련 모듈을 제거하면 0.96dB 하락한다. 계층적 이웃 검색은 65,536 가우시안에서 전수 검색 대비 27배 빠르고(8.1ms 대 219.6ms) 종단 지연을 595.0ms에서 388.0ms로 줄였으며, 보로노이 손실이 있을 때 99.0%의 가우시안에서 전수 검색과 정확히 같은 이웃을 찾는다. 이 손실이 없으면 그 비율이 60.2%로 떨어진다. 이웃 수 K_gs는 재학습 없이 추론 시 바꿀 수 있어, 예산이 클 때는 줄여 메모리를 아끼고 작을 때는 늘려 품질을 챙기는 운용이 가능하다.

개발자 입장에서 이 논문의 실질적 메시지는 예산 지표를 출력 크기로만 보면 속는다는 것이다. 저장 용량이나 렌더링 지연만 보고 모델을 고르면, 정작 추론 파이프라인의 피크 메모리와 지연은 예산과 무관하게 고정되어 있을 수 있다. RLSplat은 생성 단계 자체를 예산에 묶는 구조를 제시하므로, 엣지나 배치 서버에서 3DGS를 돌리며 메모리 상한을 지켜야 하는 경우 참고 가치가 크다. 다만 저자들이 별도의 한계 절을 두지는 않았고, 보고된 지연·메모리는 가우시안 생성 단계만의 수치이며 데이터 로딩과 포즈 정렬, 렌더링 비용은 빠져 있다. 학습 예산 범위도 [2048, 16384V]로 한정되어 그 밖의 극단적 예산에서의 거동은 검증되지 않았고, 평가는 RealEstate10K 학습 후 ACID 제로샷이라는 단일 프로토콜에 머문다. 또한 투영 손실이 없으면 학습이 아예 실패할 만큼 앵커와 이미지 패치의 대응에 의존하며, 국소성 정규화가 빠지면 이웃 검색 정확도가 60.2%로 급락한다는 점은 이 구조가 정규화 설계에 민감하다는 신호로 읽어야 한다.