JEPA의 좋은 뷰가 플라톤 표상 정렬을 증명하고 42배 효율을 이끈다

무엇인가

플라톤 표상 가설(PRH)은 서로 다른 모달리티로 학습한 모델이 스케일이 커지면 세계에 대한 같은 표상으로 수렴한다는 관찰이다. 하지만 관찰만으로는 언제 성립하는지, 어떻게 학습해야 정렬을 개선하는지 알 수 없다. 이 논문은 질문을 바꾼다. 서로 따로 학습한 JEPA(Joint-Embedding Predictive Architectures)가 어떤 조건에서 같은 표상을 배우는가. 저자들은 답이 양성 쌍(positive pair)에 있다고 본다.

어떻게 동작하나

논문은 세계를 유한 상태 z로, 모달리티 m의 관측을 렌더링 x=g_m(z)로 형식화한다. JEPA의 목적함수는 예측 항과 반붕괴(anti-collapse) 항으로 구성된다. 2차 반붕괴, 즉 임베딩을 화이트닝하는 JEPA는 양성 쌍이 그리는 그래프의 스펙트럼 임베딩, 상위 k개 고유벡터를 학습한다. 스펙트럼 갭이 있으면 해는 회전까지 유일하다. 이때 모든 모달리티가 같은 양성 쌍 분포를 공유하면 각 모달리티의 최적 인코더는 f_m*∘g_m = Q_m h*를 만족한다. Q_m은 직교행렬이고 h*는 세계의 공통 임베딩이다. 따라서 두 모달리티의 표상은 Q_m Q_m'^T라는 회전 하나만큼 같아진다. 양성 쌍이 서로 다르면 정렬 오차는 두 양성 쌍 커널의 불일치와 스펙트럼 갭으로 제한된다.

무엇과 다른가

핵심 구분은 좋은 뷰와 나쁜 뷰다. 좋은 뷰는 같은 장면의 두 관측, 예컨대 같은 장면의 사진 두 장이나 캡션 두 개다. 나쁜 뷰는 한 관측의 두 손상, 예컨대 한 사진의 두 크롭이나 한 문장의 두 마스킹이며, 관측 고유의 nuisance를 공유한다. 인코더가 nuisance에 차원을 쓰면 다른 모달리티와 어떤 회전으로도 정렬할 수 없다. 좋은 뷰는 스펙트럼 갭 조건에서 nuisance를 무시하지만, 나쁜 뷰는 손상이 세계의 k번째 방향보다 nuisance를 더 많이 보존하면 차원을 nuisance에 배정한다. 저자들은 다음 토큰 예측이 한 문서의 접두부와 연속부를 양성 쌍으로 삼고 softmax 로그-분배함수를 반붕괴 항으로 쓰는 JEPA 형태라고 설명한다. 즉 언어모델의 다음 토큰 예측은 나쁜 뷰 JEPA이며, 이것이 언어모델이 비전과 스케일을 통해서만 부분적으로 정렬하는 이유라는 것이다.

어떻게 쓰나

실험은 145k Flickr 캡션부터 940M 웹 이미지의 텍스트까지 이어진다. 고정한 DINOv2와의 정렬을 WIT-1024 상호 10-NN으로 측정했을 때, 좋은 뷰는 대부분의 비교에서 가장 좋은 정렬을 보였다. 좋은 뷰 비율과 본 샘플 수에 대한 정렬 스케일링 법칙은 학습 전에 예측한 85개 실행을 다른 시드로 다시 돌린 것과 같은 수준의 오차로 맞혔다. 같은 코퍼스에서 좋은 뷰 JEPA는 21.6M 샘플로 다음 토큰 예측이 900M 샘플에서 얻는 정렬에 도달했다. 수치는 .109와 .111이었고, 원문은 이를 42배 적은 샘플, Figure 1 기준 14배 적은 텍스트 토큰으로 설명한다. 900M 샘플의 좋은 뷰 JEPA는 .184에 도달해 Qwen2.5-72B의 .154와 CLIP 텍스트 인코더의 .124를 웃돌았다. 116B 텍스트 토큰을 읽은 109M 텍스트 JEPA가 660배 큰 모델, 100배 이상 많은 데이터로 학습한 모델보다 정렬이 높다는 비교도 제시된다.

전제와 한계

정렬이 회전 하나라는 점은 캡셔너로 이어진다. 텍스트만으로 캡션 디코더를 학습하고, 고정한 DINOv2 또는 DINOv3 이미지 인코더 임베딩에 회전을 적용해 이미지를 설명한다. 이미지-캡션 쌍으로 학습하는 네트워크는 없고, 쌍은 회전 하나를 맞추는 데만 쓰인다. Qwen2.5-1.5B 디코더, 100M 웹 이미지 텍스트로 학습한 텍스트 JEPA, DINOv2 ViT-g와 DINOv3 ViT-L, 32개 캡션 샘플의 합의 디코딩, 30k Flickr 쌍으로 맞춘 회전을 쓰면 Flickr CIDEr .519, COCO CIDEr .838을 기록했다. 데모 디코더로는 .538과 .832였다. 초기 캡셔너는 Flickr 1k 테스트에서 CIDEr .396, 30k 쌍 회전으로 .431이었고, Flickr 쌍으로만 맞춘 회전과 Flickr·COCO 학습 캡션 디코더로 COCO에서 CIDEr .668을 냈다. 제약 없는 선형 맵이나 MLP는 Flickr에는 더 맞지만 COCO로 전이되면 성능이 떨어졌고, 회전은 전이됐다. 비디오에서는 8프레임 평균과 사진에서 맞춘 회전으로 MSR-VTT CIDEr .246을 기록했다.

쌍이 전혀 없는 정렬도 시험한다. Schnaus 등이 제안한 프로토콜에서 DINOv2 ViT-B/14와 텍스트 인코더를 COCO train2014의 서로 겹치지 않는 절반씩, 이미지와 캡션을 분리해 맞춘다. 109M 좋은 뷰 JEPA는 FOSCTTM .018, 제로샷 CIFAR-10 86.0%, CIFAR-100 67.2%, ImageNet-100 top-5 64.4%를 냈다. 원문은 이 수치가 21개 비전·언어 모델 조합과 다섯 설정에서 보고된 모든 제로샷 정확도(각각 최대 82%, 62%, 56%)를 넘는다고 쓴다. 같은 조건에서 다시 돌린 Qwen3-8B는 .018, 83.4%, 61.7%, 47.6%였고, 70배 작은 JEPA가 CIFAR-100에서 5.5점, ImageNet-100에서 16.8점 앞섰다. CLIP 텍스트 인코더와는 CIFAR 두 개에서 비슷했지만 FOSCTTM .006과 ImageNet-100 68.7%에는 못 미쳤다. Flickr의 비페어 풀에서는 109M 좋은 뷰 JEPA가 R@1 16.4%±10.4%(중앙값 16.1%, 우연 0.1%)를 냈고, CLIP 텍스트 인코더·mpnet·BERT·Qwen2.5-0.5B·나쁜 뷰 JEPA·다음 토큰 예측은 최대 0.3%였다. 쌍 없이 맞춘 캡셔너도 Flickr CIDEr .158±.042(.208 선택)로 우연 회전 .028과 30k 쌍 회전 .430 사이에 섰다.

개발자에게 이 논문의 실무적 메시지는 양성 쌍의 정의가 멀티모달 정렬의 핵심 레버라는 것이다. 같은 장면의 다중 캡션, 비디오 프레임, 재캡션처럼 세계 상태를 공유하는 관측을 양성으로 삼으면 적은 샘플로도 정렬이 좋아진다. 반대로 크롭·마스킹·문서 접두부처럼 한 관측의 nuisance를 보존하는 쌍은 스케일을 키워도 비효율적이다. 다만 실제 시스템에서는 정렬 지표와 다운스트림 성능, 시드 분산을 함께 확인해야 한다. 페어 없는 정렬은 강력하지만 데이터 기하와 평가 프로토콜에 민감하다.

저자들이 밝힌 한계도 분명하다. 정리는 유한 세계, 단사 렌더링, 일치하는 주변분포를 가정한 모집단 명제이며 실제 모달리티는 손실이 있고 유한 샘플 학습은 네트워크의 귀납 편향에 기댄다. 회전까지의 유일성은 2차 반붕괴에 대해 증명됐고 LeJEPA의 전체 분포 제약까지 보장하지 않는다. 커널 불일치 한계도 스펙트럼 해에만 증명됐다. 실험은 LeJEPA를 쓰고 이미지 쪽은 대부분 크롭을 양성으로 쓰는 나쁜 뷰라 정리 가정과 정확히 일치하지 않는다. 좋은 뷰는 어떤 텍스트가 같은 장면을 설명하는지 알아야 하며, Flickr·COCO의 이미지별 캡션 묶음에 의존한다. Recap-DataComp에서는 이미지 캡셔너가 만든 텍스트가 이미지-텍스트 학습에서 증류된 정보를 담는다. 이미지 캡셔너 없이 alt-text와 텍스트 패러프레이즈만 쓴 좋은 뷰는 WIT에서 .060으로, 재캡션을 쓴 .107보다 낮았다. 따라서 대규모 언어모델·CLIP 텍스트 인코더와의 비교는 이런 텍스트에 의존한다. 페어 정보는 양성 쌍 정의, 하나의 선형 맵, Recap의 캡션 생성 텍스트를 통해 들어가며 크로스모달 손실로 들어가지는 않는다. MSR-VTT 밖의 이미지 인코더는 저자들 정의로 나쁜 뷰 JEPA이고, 하이퍼파라미터는 좋은 뷰 JEPA에만 튜닝됐다. 좋은 이미지 뷰는 비디오 프레임처럼 장면당 여러 관측이 필요하며, 7k 클립으로 학습한 이미지 JEPA는 DINOv2보다 훨씬 약해 좋은 이미지 뷰의 스케일링은 future work로 남는다.