JEPA는 예측 가능한 특징이 아니라 예측적으로 닫힌 특징 집합을 고른다

무엇인가

JEPA는 현재 관측의 잠재 표현으로 다음 관측의 잠재 표현을 예측하도록 인코더와 예측기를 함께 학습한다. 문제는 인코더가 예측 대상까지 만들기 때문에 어떤 특징이 잠재에 남는지가 명시되지 않는다는 점이다. 잠재는 계획에 쓰이는 세계 모델 역할을 하므로, 빠진 특징은 예측이 아무리 정확해도 다운스트림 판단에 쓰일 수 없다. 기존 설명은 각 특징의 변화 속도나 개별 예측 가능성으로 선택을 설명해, 신호등처럼 다음 상태를 예측하기 어려운 특징은 버려진다고 보았다. 이 논문은 특징 사이의 예측 관계를 고려하면 그런 특징도 남을 수 있다고 주장한다.

어떻게 동작하나

제안은 predictive closure라는 집합 수준 특성화다. 특징 집합 S의 현재값 Y_t(S)와 다음값 Y_{t+1}(S)를 하나의 확률변수로 두고, 정규화가 허용하는 엔트로피를 가진 feasible 집합들 중 상호정보량 I(Y_t(S);Y_{t+1}(S))를 최대화하는 집합이 이상적 학습 후 인코더가 표현하는 집합이라고 증명한다. 즉 JEPA는 특징을 하나씩 순위 매기는 것이 아니라, 예측에 대해 가장 닫힌 집합을 고른다. 이 목적은 H(Y_{t+1}(S)|X_t)인 aleatoric uncertainty와 I(X_t;Y_{t+1}(S)|Y_t(S))인 predictive leakage의 합을 최소화하는 것으로 분해된다. 어떤 특징의 현재값이 다른 특징의 다음값을 예측하는 데 도움을 주면 predictive leakage를 줄여 비용을 상쇄하고, 다음값이 집합의 현재값으로 결정되면 비용을 더하지 않는다. 특징들이 독립적으로 진화하면 기존의 개별 예측 가능성 설명과 일치하지만, 예측 관계가 있으면 다른 집합이 선택될 수 있다. 기존의 부분공간 설명이 선형 인코더와 예측기, 특징의 독립 진화를 가정한 것과 달리 이 관점은 비선형 상호작용과 집합 간 경쟁을 다룬다.

무엇과 다른가

이 관점은 세 가지 선택 예측을 낳는다. 예측 불가능한 특징이라도 다른 표현된 특징을 잘 예측하면 교차 보조로 남을 수 있다. 한 특징 집합 내부의 예측 관계가 강해지면, 경쟁 집합의 관계가 그대로여도 표현이 그쪽으로 옮겨갈 수 있다. 상호 예측하는 특징 집합이 잠재 용량보다 커지면, 특징 자체의 예측 가능성이 같아도 표현이 나빠질 수 있다. 또한 보조 손실로 특정 특징을 고정하면 그 특징의 예측 파트너까지 함께 강화되고, 예측기에 측면 정보를 주면 그 정보가 다음값을 예측하는 데 도움을 주는 특징이 강화될 수 있다. 이때 조향은 목표 특징을 직접 건드리지 않아도 간접적으로 일어난다.

어떻게 쓰나

실험은 CIFAR-10 이미지 콜라주로 만든 합성 시퀀스에서 진행됐다. 잠재 차원은 3차원으로 작게 두고, 예측 손실과 SIGReg 정규화를 0.9와 0.1의 계수로 결합했으며, 기본적으로 세 개의 최적화 시드로 평균 디코딩 정확도를 측정했다. 프로브는 동결된 잠재에서 목표 특징 값을 복원하는 방식으로 평가했고, 이진 특징의 우연 수준은 50%다. 신호등 실험에서는 현재 신호등 값이 어느 이미지가 교체될지 결정하는 확률 q가 커질수록, 신호등의 다음 상태는 독립적이고 예측 불가능한데도 신호등 특징 디코딩이 좋아졌다. 두 쌍 실험에서는 C가 D로 복사될 확률 p_D를 높이자 A/B 특징의 표현이 줄고 C/D 특징의 표현이 늘었으며, A/B 내부의 예측 관계는 바꾸지 않았다. 경쟁 주기를 N=2,4,8,16으로 키우자 경쟁 이미지 특징의 평균 디코딩 정확도가 모든 시드에서 감소했고, N=16에서는 A/B 특징이 모든 시드에서 더 잘 표현됐다. 다만 민감도 분석 세 구성 중 하나에서는 그 증가가 오차 막대 안에 있었다.

전제와 한계

조향 실험은 같은 두 쌍 설정에서 진행됐다. C 이미지를 재구성하는 보조 손실을 추가하자, 재구성 대상이 아닌 D 특징이 더 강하게 표현되고 A/B 특징은 약해졌다. 가장 큰 재구성 가중치에서는 모든 p_D에서 D가 C만큼 거의 정확하게 디코딩됐다. 예측기에 C 이미지를 측면 정보로 직접 넣는 실험에서는 대부분의 p_D에서 D 특징 표현이 늘고 B 특징 표현이 줄었으며, A 특징 표현은 전 구간에서 늘었다. p_D=0.75, 0.85, 0.95에서는 C를 주는 것이 D 표현을 강화했다. 다만 주 잠재만으로 낮은 디코딩 정확도가 나온다고 해서 그 특징이 예측기에서 완전히 사용 불가능하다고 단정할 수는 없으며, 주 잠재와 측면 표현에서 함께 복원될 수 있다고 저자들은 명시한다.

개발자에게 이 논문은 JEPA 기반 월드 모델이나 자기지도 표현 학습을 설계할 때 특징 선택을 개별 변수의 예측 가능성만으로 판단하면 안 된다는 기준을 준다. 다운스트림에 필요한 특징이 예측 불가능해 보여도, 다른 중요한 특징을 예측하는 데 쓰이면 잠재에 남을 수 있으므로 무작정 제거 대상으로 보면 안 된다. 반대로 잠재 용량이 작으면 상호 예측하는 집합이 커질수록 표현이 나빠질 수 있어, 특징 집합의 크기와 경쟁 관계를 함께 봐야 한다. 보조 손실이나 측면 정보는 원하는 특징을 직접 감독하지 않아도 그 예측 파트너를 통해 간접적으로 표현을 조향할 수 있다. 행동을 측면 정보로 보는 action-conditioned JEPA에서는 에이전트가 영향을 주는 특징이 더 선호될 수 있다는 해석도 제시된다. 실무에서는 조향 후 원하는 특징뿐 아니라 경쟁하거나 함께 움직이는 다른 특징까지 평가해야 한다.

한계는 분명하다. 실험은 통제된 합성 이미지 시퀀스에서 각 효과의 방향을 확인하는 데 초점을 맞췄고, 자연 데이터로 학습한 큰 JEPA 시스템에서 효과의 크기를 측정하지는 않았다. 측면 정보 실험에서 주 잠재만으로 낮은 정확도가 나와도 정보가 다른 경로로 복원될 수 있고, predictive closure만으로 A와 B가 분리되는 현상은 설명되지 않는다. action-conditioned JEPA에 대한 함의도 실제 행동 조건 실험으로 검증되지 않았다. 저자들은 이 집합 수준 관점이 생물학적 표현 학습 모델에도 관련될 수 있다고 보지만, 대규모 자연 데이터에서의 검증은 future work로 남긴다.