표현 형성 경로의 기하학이 학습 복잡도와 안정성을 예측한다

무엇인가

이 논문은 신경망의 표현을 최종 체크포인트에서만 비교하는 관행에 문제를 제기하고, 학습 중 표현이 표현 공간에서 지나가는 경로 자체를 연구 대상으로 삼는다. 표현 분석은 훈련된 표현의 유사도, 인코딩 변수, 랭크, 고유 차원, 클래스 구조를 재는 데 집중해 왔고 학습 동역학 분석은 손실, 파라미터, 예측에 주로 머문다. 그러나 두 네트워크가 비슷한 성능이나 비슷한 최종 표현에 도달해도 중간 상태의 순서는 크게 다를 수 있다. 논문은 이 형성 이력이 최종 표현이 버린 정보, 특히 학습 중 구성되는 계산의 구조와 이후 표현 안정성에 대한 정보를 담는지 묻는다.

어떻게 동작하나

방법의 중심에는 체크포인트별 표현 상태와 그 상태 사이의 기하학이 있다. 고정된 n개 예시에 대한 은닉 활성 H에서 평균을 뺀 H_c를 만들고, ρ = H_c^T H_c / Tr(H_c^T H_c)로 추적 정규화된 공분산 상태를 정의한다. 이 ρ는 총 분산이 1인 분산 타원체로 볼 수 있고, 두 상태의 차이는 Bures 거리로 잰다. Bures 거리는 PSD 구조를 존중하면서 분산 타원체가 얼마나 다른지 재는 척도다. 국소적으로는 입력 요인 φ를 조금 바꿨을 때 표현 상태가 얼마나 움직이는지를 양자 피셔 정보 QFI 행렬 F로 측정한다. 논문의 정리 1은 d_B^2(ρ(φ), ρ(φ+dφ)) ≈ (1/4)dφ^T F dφ임을 보여, QFI가 Bures 기하의 국소 자임을 확인한다. F의 대각 성분은 개별 요인 민감도, 비대각 성분은 요인 방향 사이의 국소 결합, 선행 고유벡터는 가장 민감한 입력 방향을 나타낸다. QFI는 평가 시 레이블이나 출력 손실 없이 계산되며 중심 유한 차분으로 추정된다.

무엇과 다른가

전역 기하학은 체크포인트 t0부터 tK까지 상태 열 ρ_t0,...,ρ_tK의 궤적으로 정의된다. 총 경로 길이 L_B는 연속 체크포인트 사이 Bures 거리의 합이고, 종점 변위 D_B는 처음과 마지막 상태의 Bures 거리다. 구불구불함 τ는 L_B/D_B로 정의되며 삼각부등식에 의해 1 이상이다. 1에 가까우면 비교적 직접적인 경로, 큰 값이면 학습 중 표현이 순 이동량보다 훨씬 멀리 돌아간 경로다. 논문은 더 직접적인 경로가 무조건 좋다고 가정하지 않고, 경로 복잡도가 학습하는 계산과 체계적으로 관련되는지, 종점이 담지 못한 정보를 담는지 실험으로 묻는다.

어떻게 쓰나

개입을 위해 표현 기하학을 파라미터 공간으로 당겨온 표현 자연 경사 RepNG도 제안한다. 파라미터 변화 dα가 표현 상태의 변화 dρ를 통해 Bures 거리를 얼마나 바꾸는지 QFI에 대입하면 표현 공간 QFI의 당겨진 계량 G_rep를 얻는다. 감쇠 λ를 더한 G_λ = G_rep + λI를 사용해 Δα = -γ G_λ^{-1} ∇_α L로 업데이트한다. 정리 2는 δ^T G_λ δ ≤ ε^2라는 표현 변화 예산 아래에서 1차 손실 감소를 최대로 하는 방향이 G_λ^{-1}∇L 방향임을 보인다. 이는 국소 정리이며 전역 최단 표현 경로를 보장하지 않는다. 저자들도 이를 메커니즘 검증으로 제시하지, 짧은 경로가 보편적으로 우월하다는 주장으로 제시하지 않는다.

전제와 한계

첫 실험은 국소 QFI가 과제에 필요한 요인에 집중되는지 본다. 8차원 가우시안 입력에서 처음 두 좌표의 부호만으로 4개 균형 클래스를 정하고 8→64→32→4 MLP를 300 에폭 훈련했다. 과제 관련 2차원 부분공간에 놓인 QFI 민감도 비율 m_rel은 초기 0.220±0.017에서 학습 후 0.931±0.016으로 증가했고, 짝지은 증가량은 0.712, t9=51.2, p<10^-10이었다. 표현 야코비안 점수는 0.841±0.020, 레이블을 쓰는 감독 손실 기울기 참조는 0.997±0.0006이었다. dSprites에서는 같은 1024→96→24→4 MLP로 scale, horizontal position, vertical position 각각의 4-way 분류기를 따로 훈련했다. 관련 요인 QFI 질량은 scale 1.000±0.0001, horizontal 0.724±0.037, vertical 0.728±0.047이었고, 모든 과제에서 목표 요인이 가장 큰 무관 요인보다 컸다(p<10^-6). 즉 QFI는 단순히 활성 변동이 큰 방향이 아니라 학습한 계산이 조직된 통제 요인을 드러냈다.

다음은 상호작용 차수가 표현 경로의 직접성에 반영되는지다. 10차원 가우시안 입력에서 처음 k개 좌표의 부호 패턴을 목표로 하면 2^k개 균형 클래스가 생긴다. 10→64→32→2^k MLP를 180 에폭 훈련했고 모든 조건에서 평균 테스트 정확도가 95.7%를 넘었다. 에폭 해상도에서 평균 구불구불함은 k=1부터 4까지 1.261±0.042, 1.607±0.045, 1.838±0.055, 2.049±0.058로 단조 증가했다. 출력 클래스 수 증가를 분리하기 위해 동일한 이진 출력 차원에서 처음 k개 부호의 패리티를 맞추는 실험도 했다. 이때 구불구불함은 1.014에서 1.723, 1.872, 4.177로 증가했고 10개 시드 모두 양의 기울기였다(p=2.0×10^-7). 시드 보존 순열 검정도 연관성을 확인했다(p=5.0×10^-6). 20에서 300 업데이트까지 훈련 길이를 맞춘 비교에서도 양의 관계가 유지됐다(모두 p≤6.9×10^-7). dSprites의 고정 출력 잔차 CNN에서는 1, 2, 3요인 패리티 과제에서 구불구불함이 3.01→4.93→7.13으로 증가했고 10/10 시드에서 순서가 유지됐다(p=1.86×10^-5). CIFAR-10에서 동물 대 차량 k-way 패리티도 1.54→4.41→8.13으로 증가했고 5/5 짝지은 시드에서 대략 같은 검증 성능을 보였다(p=0.019). 저자들은 체크포인트 서브샘플링, Bures 거리를 Frobenius나 CKA 유도 거리로 바꾼 경우, 유한 차분 스텝과 샘플 크기 변화에서도 순서가 유지됐다고 보고한다.

형성 이력의 예측력도 별도 30시드 실험에서 확인했다. 상호작용 차수를 통제한 뒤 구불구불함은 추가 30에폭 동안의 지속 훈련 드리프트를 표준화 β=0.87, p=9.2×10^-4로 예측했고, 학습된 가중치에 작은 교란을 가했을 때의 파라미터 민감도도 β=0.51, p=2.4×10^-4로 예측했다. 반면 종점 변위는 둘 다 예측하지 못했다. 개입 실험은 6→16→8→4 네트워크의 동일한 24차원 랜덤 파라미터 부분공간에서 수행됐고, 하이퍼파라미터는 분리된 파일럿에서 골랐으며 검증 정확도 72%에서 멈췄다. 평균 테스트 정확도는 71.1%에서 72.1%에 머물렀다. 30개 짝지은 시드에서 구불구불함은 RepNG 1.895±0.097, 출력 자연 경사 1.987±0.155, SGD 2.084±0.138, Adam 2.663±0.211이었다. 서론은 같은 성능에서 Adam 대비 29% 감소라고 요약한다. 출력 자연 경사와의 차이는 미해결로 남았지만, 동일 업데이트 노름과 훈련 예산에서는 표현에서 유도한 방향이 출력 자연 경사보다 더 직접적인 궤적을 만들었다는 20개 확인 시드 결과가 있다.

개발자에게 이 논문은 체크포인트별 은닉 활성 공분산, Bures 이동량, 구불구불함, QFI를 학습 로그에 추가해 과제 복잡도와 표현 안정성을 진단하는 지표로 쓸 수 있음을 시사한다. 다만 고정 평가 예시, 통제된 입력 요인, 충분한 체크포인트, 유한 차분 비용이 필요하고, 성능이 같은 모델끼리 비교해야 한다. RepNG는 바로 대체 옵티마이저라기보다 표현 이동을 제약하는 정규화나 진단-개입 루프의 후보로 봐야 한다. 한계로 저자들은 상태가 특징 좌표계에서 정의되어 공통 직교 변환에는 불변이지만 임의의 가역 재매개변수화에는 불변하지 않다고 밝힌다. 따라서 함수적으로 동등한 모든 파라미터화에 대한 몫으로 해석하지 않는다. QFI는 민감도일 뿐 인과성이 아니고, 이산 경로 길이는 체크포인트 시간 해상도에 의존하므로 서브샘플링 검증이 필요하다. RepNG 정리는 국소적이며 전역 최단 경로를 보장하지 않고, 더 직접적인 경로가 항상 더 좋다는 가정도 하지 않는다. 대규모 아키텍처와 고차원 파라미터 공간으로의 확장은 향후 과제다.