ConSDL이 샘플별 희소 코딩으로 SAE 사전 일관성을 높인다

무엇인가

이 논문은 파운데이션 모델의 내부 활성값을 희소 오토인코더(SAE)로 분해해 개념을 찾는 분석의 재현성 문제를 다룬다. SAE는 활성값을 학습된 과완전 사전 원자의 희소 선형 결합으로 표현하는데, 같은 데이터와 설정으로 학습해도 랜덤 시드에 따라 사전이 크게 달라질 수 있다. 저자들은 이 불일치가 SAE가 찾은 특징이 모델 내부 표현인지 학습 절차의 산물인지 의심하게 만들고, 통제된 합성 환경에서 알려진 정답 특징을 회수하지 못하는 사례도 있다고 지적한다. 그래서 목표는 개별 학습 실행 사이에 사전과 계수가 더 일관되게 나오도록 만드는 것이다.

어떻게 동작하나

ConSDL은 SAE의 선형 인코더를 샘플별 희소 코딩으로 대체한다. 각 활성값 x에 대해 현재 사전 W_dec와 편향 b_dec 아래에서 비음수 계수 a를 1/2||x-W_dec a-b_dec||^2 + λ||a||_1로 최적화하고, 이를 FISTA로 푼다. 저자들은 한 번의 인코더 순전파로 얻은 계수가 샘플별 최적화 계수보다 부족하다는 선행 관찰에서 출발해, 이 부족한 계수로 사전을 업데이트하는 것이 시드 간 불일치의 원인이라고 가설을 세운다. 여기에 두 장치를 더한다. 계수 재적합은 FISTA가 고른 0이 아닌 원자 집합은 유지한 채 L1 벌점 없이 크기만 다시 맞춰 희소 벌점의 축소 편향을 보정한다. 동시 활성 유사도 정규화는 같은 샘플에서 함께 활성화된 원자 쌍 중 코사인 유사도가 마진 μ를 넘는 가장 유사한 쌍에만 (s-μ)^2 벌점을 주어 사전 중복을 줄인다. 학습은 계수 추정과 재적합, 쌍 선택을 고정한 뒤 W_dec와 b_dec를 업데이트하는 교대 최적화로 진행되며, 계수 추정 쪽으로 그래디언트를 흘리지 않는다.

무엇과 다른가

합성 실험은 활성 차원 768, 사전 폭 3072에서 12288까지(4배, 8배, 12배, 16배), 샘플당 기대 활성 원자 수 60, 원자 선택 불균형을 Zipf 지수 0, 0.5, 0.7, 1.0로 바꾼 16개 설정에서 이뤄졌다. 각 설정마다 100만 개 관측값으로 5에폭 학습하고 3개 시드로 반복했으며, ReLU SAE, TopK, BatchTopK, Matryoshka SAE, MP-SAE, iSAE와 비교했다. 사전 회수는 헝가리안 매칭 후 디코더 코사인 유사도(DCS), 계수 회수는 평균 계수 상관(MCC)으로 측정했다. ConSDL은 16개 설정 모두에서 정답 사전과 계수를 거의 완벽하게 회수했고, 기존 방법이 무너지는 큰 사전과 긴 꼬리 원자 선택에서도 견고했다. 또한 교차 시드 일관성과 정답 회수 사이의 상관이 DCS r=0.90, MCC r=0.99로 높아, 정답이 없는 실제 모델에서는 교차 시드 일관성을 보조 지표로 쓸 수 있다고 주장한다.

어떻게 쓰나

실제 파운데이션 모델에서는 정답 분해가 없으므로 교차 시드 일관성을 주 지표로 삼았다. 비전은 CLIP ViT-B/16과 DINOv2의 끝에서 두 번째 층 활성값, ImageNet 약 120만 장을 1에폭 학습했고, 언어는 GPT-2 Small과 Pythia-160M의 9층 활성값, FineWeb 5억 토큰을 문맥 길이 1024로 학습했다. 활성 차원은 네 모델 모두 768이다. 사전 폭 4배, 8배, 16배와 희소도 l0≈32, 64, 128을 조합한 36개 구성에서 3개 시드로 학습해 DCS와 MCC를 측정했다. 평균적으로 ConSDL은 DCS 0.84, MCC 0.78을 기록해 기존 SAE 평균 대비 각각 17.6%, 35.9% 상대 개선을 보였고, 각 지표의 최강 베이스라인과 비교해도 DCS 1.9%, MCC 13.3% 높았다. 사용 가능 원자 비율은 1.00으로 기존 평균보다 5.6% 높았고 최강 베이스라인과 같았으며, 재구성 품질은 비슷한 수준이었다. 희소 프로빙에서도 비전 6개 이미지 분류 데이터셋과 언어 113개 이진 과제에서 상위 1개 또는 5개 latent를 쓸 때 최강 베이스라인에 근접하거나 일부 설정에서 최고였고, 큰 차이는 아니었다.

전제와 한계

구성 요소 분석은 CLIP ViT-B/16과 Pythia-160M의 16배 사전, l0≈128에서 이뤄졌다. 재적합 없이 샘플별 희소 코딩만 쓰면 Pythia에서 더 큰 λ(3.0 대 1.5)가 필요했고 9,767개의 죽은 원자가 생기며 R2가 0.69로 떨어졌다. 재적합을 더하면 두 백본 모두 R2가 0.92로 올라가고 Pythia의 죽은 원자가 사라졌다. 그러나 재적합만으로는 중복 원자가 남아 CLIP 5,564개, Pythia 3,191개였고, 동시 활성 유사도 정규화를 더하면 각각 1개와 0개로 줄었다. 개념 발견 측면에서 CLIP 16배 사전에서 ConSDL은 교차 시드 코사인 유사도 0.7을 넘는 일관 원자를 약 9천 개 학습해 ReLU SAE의 약 4천 개보다 많았고, 맥주병 예시에서는 ReLU의 넓은 맥주 원자에 대응하는 ConSDL 원자들이 병목, 거품, 잔 속 맥주처럼 더 세밀한 특징을 나눠 가졌다. 사전 구조 수준에서도 16배 사전의 클러스터 크기 순위 상관이 0.95로 Matryoshka의 0.22보다 높았고, 클러스터당 192, 48, 12, 3개 원자에서 정규화된 중심 일치도가 1, 0.96, 0.94, 0.88이었다.

저자들이 밝힌 한계는 분명하다. 실제 모델 활성값에서의 일관성은 합성 설정의 회수 수준보다 낮은데, 이는 개념 수가 많고 빈도 불균형이 강하며 활성값이 개념 방향의 희소 선형 결합이라는 가정에서 벗어나기 때문일 수 있다. 일부 개념은 선형 방향이 아니라 비선형 또는 매니폴드 구조일 수 있지만, ConSDL은 선형 희소 가정 안에서 일관성을 높이는 데 집중한다. 또 샘플별 반복 희소 코딩 때문에 표준 SAE보다 학습 비용이 커지며, 실험은 상대적으로 작은 파운데이션 모델과 사전 폭에 한정돼 수십억 파라미터 모델이나 훨씬 큰 사전으로 확장된다고 보장하지 않는다. 개발자 입장에서는 SAE로 모델 해석을 재현해야 할 때 시드 간 사전 불일치와 죽은·중복 원자를 먼저 확인하고, 대상 모델 규모와 희소도에서 ConSDL의 일관성 이득이 학습 비용을 정당화하는지 검증해야 한다.