ReLU망의 조각별 선형 구조에서 상호정보량을 직접 추정한다

무엇인가

이 논문은 깊은 신경망의 표현을 상호정보량 I(Y;T)로 분석할 때 생기는 실무적 난점을 다룬다. 고차원 MI 추정은 bin width, bandwidth, k-최근접 이웃 반경, 보조 신경망 구조 같은 하이퍼파라미터에 의존하고, 그 편향이 신호를 압도하기 쉽다. 연속 입력에 대한 결정론적 네트워크에서는 I(Y;T) 자체가 잘 정의되지 않는다는 지적도 있다. 저자들은 ReLU를 포함한 연속 조각별 선형(CPWL) 네트워크가 입력 공간을 볼록 선형 영역으로 분할한다는 점에 주목한다. 각 입력은 활성화 패턴으로 정의되는 이산 영역 라벨 Π와 연속 표현 T를 함께 가지므로, Π에 대한 정보량은 유한 알파벳 위에서 외부 이산화 선택 없이 정의된다.

어떻게 동작하나

핵심은 I(Y;T)를 해석 가능한 기하학적 항으로 정확히 분해하는 것이다. 논문의 분해는 I(Y;T)=I(Y;Π)+I(Y;T|Π)-I(Y;Π|T)다. 첫 항인 라우팅 정보 I(Y;Π)는 입력이 어느 영역에 떨어지는지에 담긴 과제 정보이고, 유한하며 직접 추정 가능한 유일한 항이다. 둘째 항 I(Y;T|Π)는 영역 내부 정보로, 각 영역의 아핀 사상 A_ω가 입력의 라벨 관련 방향과 얼마나 정렬되는지를 영역별 가중 합으로 표현한다. 셋째 항 I(Y;Π|T)는 라우팅 손실로, T만 읽을 때 사라지는 클래스 관련 영역 정보다. 서로 다른 영역이 잠재 공간에서 같은 T 값을 공유하면서 클래스 분포가 다를 때 양수가 되며, 접힘(folding)의 정보적 흔적이 된다. 별도로 표현 불충분성 I(Y;X|Π,T)는 (Π,T)가 놓치는 과제 정보를 뜻하고, 이것이 0이면 (Π,T)가 Y에 충분하다. 이 분해로부터 I(Y;T)-I(Y;Π)=I(Y;T|Π)-I(Y;Π|T)가 따라오며, 두 정보량 중 어느 쪽이 무조건 더 크다고 말할 수 없다.

무엇과 다른가

추정 절차는 네트워크의 분할을 그대로 센다. 데이터셋 D의 각 샘플에 대해 활성화 패턴을 계산해 데이터가 실제로 지지하는 영역 집합 Ω_D를 만들고, 각 영역 ω와 라벨 y의 교차 빈도 n_{y,ω}, 주변 빈도 n_y, n_ω를 세어 플러그인 MI를 계산한다. 이 값은 표본이 충분히 많이 찬 영역에서는 I(Y;Π)에 근접하고, I(Y;Π) ≤ I(Y;Π,T) ≤ I(Y;X) ≤ H(Y)의 사슬을 실험적으로 확인하는 데 쓰인다. 추정치의 신뢰 구간을 판단하는 지표는 점유율 ρ=|Ω_D|/N과 단일 샘플 영역 비율이다. ρ가 작으면 대부분 영역에 여러 점이 있어 믿을 만하지만, ρ가 1에 가까워지면 거의 모든 샘플이 자기 영역을 가져 추정치가 실제 학습 구조와 무관하게 경험적 라벨 엔트로피 H(Y)로 포화된다. 논문은 이 포화를 표준 편향 보정으로 고칠 수 없다고 밝힌다. 계산 비용은 샘플당 순전파 한 번과 활성화 패턴 해싱으로, 이미 필요한 추론 비용에 선형 오버헤드를 더하는 수준이며, 기능 동등성 몫의 쌍별 클러스터링보다 점근적으로 싸다.

어떻게 쓰나

영역 수가 샘플 수에 가까워지는 미세 해상도 영역에서는 원시 플러그인 추정기가 무의미해진다. 이를 위해 저자들은 같은 선형 연산자를 구현하는 영역을 묶는 함수 동등성 몫을 제안한다. 두 영역 ω, ω'는 아핀 사상의 선형 부분 A_ω^l이 같을 때 동등하고, 영역별 바이어스 c_ω^l은 묶는 기준에서 제외한다. 이 몫 위에서 계산한 MI는 I(Y;Ω_{D,func}) ≤ I(Y;Π)를 만족하며, 등호는 영역별 라벨 분포가 A_ω^l을 통해서만 ω에 의존할 때 성립한다. 실제 계산에서는 활성 부분 신경망 행렬을 만들고, 같은 출력 활성 집합을 가지면서 상대 프로베니우스 차이가 허용도 ε 이하인 영역을 합친다. ε은 [0,2]에 유계이고 차원 없이 스케일 불변인 값으로, 0이면 원래 분할을 그대로 쓰고 1 이상이면 대부분 영역을 합친다. 논문은 유용한 범위를 0.2~0.5로 본다. 합친 뒤의 영역 수를 원래 영역 수로 나눈 압축률 ρ_func(ε)는 네트워크가 가진 패턴 중복을 보여주는 진단 지표가 된다.

전제와 한계

첫 실험은 추정기를 기존 MI 추정기와 교정 비교한다. 데이터는 7클래스 합성 2D 혼합(보류 2,000점, H(Y)=2.639비트), UCI Wisconsin Breast Cancer(보류 114점, H(Y)=0.949비트), 784차원 MNIST를 10개 PCA 성분으로 줄인 MNIST FC(보류 10,000점, H(Y)=3.319비트)다. 베이스라인은 좌표당 8빈 균일 비닝(Miller-Madow 보정), K=|Y|인 k-평균(Miller-Madow 보정), 혼합 연속-이산 KSG(k=3)다. 깊이 3·5, 너비 5·9·25의 완전연결 ReLU망과 MNIST FC의 [3,3,3], [5,5,5], [7,7,7]을 포함해 총 75개 네트워크를 평가했다. 결과적으로 제안한 라우팅 추정치는 비닝과 r=0.911, k-평균과 r=0.922의 피어슨 상관을 보였고, 75개 네트워크의 모든 은닉층에서 H(Y)를 넘지 않았다. KSG와의 차이는 두 갈래로 나타났다. MNIST FC에서는 KSG가 라우팅 추정치보다 체계적으로 높았고, 합성 데이터에서는 30개 중 23개 네트워크에서 KSG가 H(Y)=2.639비트에 0.02비트 이내로 붙어 있는 동안 라우팅 추정치는 1.777~2.629비트를 보였다. 깊이별로 라우팅 추정치는 단조 증가하며 비닝·k-평균을 따라갔고, MNIST FC에서 KSG는 약 2.7~2.8비트에 머무는 동안 라우팅 추정치는 약 0.95비트에서 2.0비트로 올라가 격차가 약 1.8비트에서 0.65비트로 줄었다. 저자들은 이 격차를 영역 내부 정보가 라우팅 손실보다 큰 상태로 해석한다.

둘째 실험은 포화 영역과 함수 동등성 보정을 검증한다. MNIST를 상위 d개 주성분으로 줄여 d를 2,3,4,5,10,15,20으로 바꾸고, 3개 은닉층과 너비 7,15,25,50의 ReLU MLP를 학습해 마지막 은닉층에서 측정했다. ε 격자까지 포함해 140개 네트워크를 평가했다. d≤5에서는 너비 7과 15의 원시 추정치가 H(Y)보다 최소 0.345비트 낮아 분할이 정보를 담았지만, 너비 25와 50은 작은 d에서도 H(Y)에 접근했다. d가 10,15,20으로 커지면 너비 25와 50의 원시 추정치는 거의 모든 샘플이 자기 영역을 갖게 되어 H(Y)로 포화됐다. 함수 동등성 몫은 ε=0.1과 0.2에서 원시 값보다 최대 0.175비트, 0.384비트 낮췄다. ε=0.3~0.5에서는 중복 선형 연산자가 있는 곳에서만 정보를 복원했다. d≥10, ε=0.5에서 너비 15는 H(Y)보다 0.266~0.425비트 낮은 추정치를, 너비 25는 0.027~0.074비트 낮은 추정치를 보였고, 너비 50은 격차 0.004비트 이하로 여전히 포화됐다. ε=1,2는 과도하게 압축했고, d=2에서 ε=2는 원시 값의 0.732~0.828만 남겼다. 압축률 ρ_func(ε)는 작은 d 네트워크에서 ε=0.1에서 급락했고, 큰 d 네트워크는 ε≈0.2~0.3까지 1에 가깝게 유지됐다. 층별로는 모든 네트워크에서 첫 층의 ρ_func=1이었고, ε>0일 때 평균적으로 깊어질수록 비율이 감소해 함수 동등성이 합성의 결과임을 보였다.

개발자에게 이 논문은 학습된 ReLU망의 표현을 평가할 때 “MI를 하나의 숫자로 뽑는” 대신, 라우팅 정보와 영역 내부 정보, 라우팅 손실을 분리해 읽는 진단 도구를 제공한다. 특히 원시 라우팅 추정치는 하이퍼파라미터 없이 계산되지만, 점유율 ρ가 1에 가까운지 반드시 확인해야 한다. ρ가 높으면 값이 H(Y)로 포화되어 학습 구조를 반영하지 않을 수 있으므로, 함수 동등성 몫과 압축률 ρ_func(ε)를 함께 보고 ε을 명시해야 한다. 또한 라우팅 정보가 높다고 해서 클래스 구조를 실제로 학습했다는 뜻은 아니다. 레이블을 무작위로 섞은 대조 실험에서 좁은 [5,5,5] 합성 네트워크의 참 라벨 정보는 1.949비트에서 1.411비트로 떨어졌고 함수 몫은 1.828비트에서 1.096비트로 더 낮췄지만, 넓은 [25,25,25] 네트워크는 참 라벨 테스트 정확도 15.9%에서도 원시 2.433비트, 함수 몫 2.329비트를 유지해 H(Y)=2.639비트에 가까웠다. 따라서 높은 추정치는 ρ와 레이블 순열 대조, 가능하면 분해항의 직접 추정과 함께 해석해야 한다.

저자들이 밝힌 한계는 분명하다. 첫째, 교정 실험은 제안 추정기가 기존 이산 MI 추정기와 일관적인지 보는 내부 일관성 검사이지, I(Y;Π)가 I(Y;T)를 근사한다는 증명이 아니다. 두 값은 어느 방향으로든 다를 수 있고, KSG와 라우팅 추정치의 격차가 그 예이다. 둘째, 플러그인 추정기는 관측되지 않은 영역 때문에 H(Y)Pr(Π∉Ω_D)+h_2(Pr(Π∉Ω_D))의 절단 격차를 가지며, 포화 경계 근처에서는 두 번째 항이 커진다. 점유율 ρ를 함께 보고하지 않으면 신뢰도를 판단하기 어렵고, 너비 25 WBC 두 아키텍처는 ρ=0.900, 0.961로 신뢰 영역 밖이다. 셋째, 함수 동등성 몫은 데이터 처리 부등식으로 유효한 하한이지만 중간 용량에서만 레이블 순열 효과를 제거하며, ε이 0.2~0.5 창 안에서도 추정치가 최대 0.304비트 움직인다. 작은 ε=0.1에서도 일부 영역이 합쳐져 ρ_func(0.1)≥0.717이었고 ε≥1은 과병합이므로, ε을 불투명한 하이퍼파라미터로 두지 말고 ρ_func로 감사해야 한다. 넓거나 깊은 네트워크, 컨볼루션·잔차 구조에서는 거의 모든 데이터 포인트가 자기 영역을 가질 수 있어 함수 몫이 필수적이며, 분해 격차를 직접 추정하는 일은 향후 과제로 남아 있다.