RePR는 생성모델로 PMI를 추정해 확장 가능한 잠재 토크나이저를 학습한다

무엇인가

이 논문이 푸는 문제는 두 가지다. 첫째, 생성 모델의 잠재 토크나이저로 쓸 표현은 무엇이 좋은 표현인가. 둘째, 그런 표현을 학습하는 것이 픽셀을 직접 모델링하는 것보다 실제로 연산 효율적인가. 저자들은 기존 관행을 문제 삼는다. RAE 같은 최신 잠재 확산 방법은 DINOv2 같은 인코더를 그대로 물려받는데, 그 인코더의 목적 함수는 생성을 돕도록 설계된 것이 아니고, 학습에 ImageNet보다 100배 이상 많은 데이터와 연산을 요구한다. 그래서 토크나이저 인코더를 포함한 전체 FLOP 효율은 지금까지 제대로 이해되지 않았다는 것이 출발점이다.

어떻게 동작하나

저자들이 지목하는 기존 레시피의 실패 원인은 세 가지다. 대조 학습과 LeJEPA는 소수의 비트만으로 목적 함수가 포화되는 특징 억제(feature suppression)에 취약하고, 대조 학습은 CLS 토큰을 최적화하는데 정작 토크나이저로 쓰이는 것은 스케일이 커지면 불안정해지는 내부 패치 특징이라는 점, 그리고 VAE나 VQ-VAE는 재매개변수화 트릭이나 straight-through 추정으로 기울기를 병목에 통과시켜 의미론을 학습하지 못한다는 점이다.

무엇과 다른가

제안 방법 RePR(Relative Prediction Representations)의 핵심은 표현 학습을 판별 과제에서 생성 과제로 옮기는 것이다. Word2Vec과 대조 학습이 데이터 분포의 점별 상호정보량(PMI) 행렬을 암묵적으로 분해한다는 기존 결과에 착안해, 생성 모델로 PMI를 직접 추정하고 표현 임베딩의 내적이 그 값을 따라가도록 명시적으로 지도한다. 손실은 두 뷰 x, y의 임베딩 내적과 생성 모델이 준 log P(y|x) - log P(y)의 차이를 제곱 오차로 맞추는 형태이며, 생성 모델 쪽 항에는 stop-gradient가 걸린다. 확산 모델에서는 ELBO를 이용해 로그 확률을 손실값으로 직접 얻고, 조건부 디노이징 오차와 무조건부 디노이징 오차의 차이로 PMI를 계산한다. 대조 학습과 달리 네거티브 샘플이 필요 없고, PMI 분해의 이론적 성질은 그대로 물려받는다.

어떻게 쓰나

실용화를 위한 장치도 구체적이다. 고주파 정보가 PMI를 지배하는 문제는 노이즈 수준 s와 확산 타임스텝 t에 대한 가중치 q(s), g(t)로 완화해, 어떤 잡음 스케일의 정보를 유사도로 볼지 편향을 준다. 큰 입력의 우도 추정이 비싼 문제는 부트스트래핑으로 푼다. 전체 뷰의 PMI를 한 번에 추정하는 대신 토큰 y_k가 추가로 기여하는 증분 PMI를 지도하고, 이 증분들이 망원급수처럼 합쳐져 전체 PMI가 복원된다. 구조적으로는 MAR(마스크 토큰 없는 MAE 인코더, 마스크 토큰이 있는 MAE 디코더, x-예측과 v-손실을 쓰는 확산 MLP)을 예측 모델로 두고, 표현 모델은 H×W×D 패치 특징 전체를 출력하며 상대 위치 임베딩에 cross-attention해 공간 등변성을 강제한다. 마스킹은 겹칠 수 있는 두 마스크 A, B와 겹치지 않는 타깃 패치 p로 구성하고 마스킹 비율을 U[M_A, 100%]에서 무작위로 뽑아 다양한 문맥 크기를 지도한다. 이전 학습 사이클의 특징을 예측 타깃으로 재투입하는 반복적 특징 예측도 적용하며, 표현 모델은 4회 반복마다 한 번만 갱신하는 지연 최적화를 쓴다.

전제와 한계

실험은 ImageNet과 텍스트-이미지 데이터셋 GPIC에서 이뤄졌다. 특징 억제 견고성은 모든 이미지 패치에 이미지를 식별하는 워터마크를 넣은 ImageNet 변형으로 검증했는데, 이 데이터에서 LeJEPA와 DINOv3는 워터마크만 표현하도록 붕괴한 반면 RePR은 견고했다. 확장성은 μP를 따라 깊이를 고정하고 폭만 256에서 1024까지 늘려 확인했으며, 최대 폭 설정이 표준 ViT-L과 맞먹는다. ImageNet에서는 JiT-Base를 80 에폭, GPIC에서는 MiniT2i를 1 에폭 학습해 확산 가능성을 측정했고, 약 두 자릿수(order of magnitude)에 걸쳐 일관된 멱법칙 스케일링을 관찰했다. 측정한 로그 스케일 FLOP 범위를 최대 1배까지만 외삽하면 DINOv2 수준 성능을 약 7분의 1 학습 FLOPs로, WebSSL 수준을 약 8분의 1로 달성한다는 예측이 나온다. ImageNet에서는 폭 1024 모델이 200 에폭 이후 과적합하기 시작한다.

연산 최적 생성에서는 Latent Forcing을 사용해 지각 손실, GAN, 외부 디코더 없이 비교를 격리했다. 1.19×10^20 FLOPs 예산(JiT-L 200 에폭과 동일)에서 RePR과 JiT-L 조합은 픽셀 공간의 JiT-L 대비 조건부 생성 FID-10K를 2.61, 무조건부 생성을 4.18 개선했다. 가이드를 쓴 설정에서는 FID-50K 2.18을 기록했다. 절제 실험에서는 마스킹 전략 변형이 유용하지만 결정적이지는 않고, 표현 손실 가중치는 아주 작은 값이 최적이며, 2·3번째 학습 반복이 성능을 크게 끌어올린다고 보고한다. RAE용 토크나이저로 GAN+LPIPS 디코더를 붙인 소규모 비교에서는 JEPA-H와 Mocov3를 앞섰는데, 이때 RAE 디코더가 쓰는 DINOv1/8 사전학습 GAN은 4.7×10^20 FLOPs로 이 논문이 학습한 어떤 모델보다 큰 연산을 쓴다.

개발자 관점에서 이 논문의 실질적 의미는 토크나이저 선택이 공짜가 아니라는 점을 FLOP 회계로 보여준다는 데 있다. 잠재 확산 파이프라인을 구성할 때 인코더를 외부 사전학습 모델에서 가져오면 학습 비용이 생성 모델 쪽에서 사라지는 것처럼 보이지만, 저자들은 그 비용을 합산해야 한다고 주장한다. 또한 표현 손실 가중치가 작아도 된다는 관찰과 표현 모델을 4회마다 갱신하는 지연 최적화는 재현 시 바로 참고할 만한 구현 힌트다. 다만 이 방법은 확산 모델의 ELBO와 조건부 디노이징을 반복 평가해야 하므로, PMI 추정 자체의 비용과 배치 구성(마스크 A/B, 타깃 패치, A_Repeat, p_Repeat)이 실제 학습 처리량에 미치는 영향을 먼저 확인해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. VLB는 디노이저가 최적일 때만 정확히 로그 확률과 일치하므로, PMI 추정은 예측 성능이 좋아질수록 참값에 가까워지는 근사다. 입력에 담긴 정보가 많아질수록 우도 추정이 어려워진다는 문제 때문에 증분 PMI 부트스트래핑을 도입했다는 점도 방법의 필연적 제약이다. 스케일링 법칙의 7배·8배 절감은 측정 구간을 최대 1배까지만 외삽한 예측치이며 실측이 아니고, ImageNet에서는 폭 1024 모델이 200 에폭 이후 과적합해 스케일링이 이어지지 않는다. 또한 기존 토크나이저 스케일링 법칙 연구들이 디코더와 인코더를 함께 묶어 다룬 반면, 이 논문은 인코더만의 확산 가능성 스케일링을 분리해 다룬다는 점에서 비교 대상과 조건이 다르다.