거대 활성값은 확률적으로 생기고 가중치 감쇠가 그 규모를 결정한다

무엇인가

트랜스포머의 잔차 스트림에는 특정 토큰 위치에서 다른 좌표보다 수백에서 수천 배 큰 값이 몇 개 남아 있다. 이 거대 활성값(massive activation)은 어텐션 싱크와 맞물려 암묵적 어텐션 편향으로 기능하고, 제거하면 모델 품질이 떨어지며, 저정밀 학습과 추론의 최대 장애물이 된다. 기존 연구는 왜 큰 값이 유용한지에 대한 메커니즘(어텐션 싱크에 쌓이는 그래디언트를 감쇠시키는 하한 조건)과 학습 중 성장 곡선을 맞추는 5-파라미터 법칙을 각각 내놓았지만, 실제로 규모를 무엇이 정하고 무엇이 성장을 멈추게 하며 왜 특정 좌표가 그 역할을 맡는지는 설명하지 못했다. 이 논문은 그 세 질문을 학습 궤적과 통제 실험으로 파고든다.

어떻게 동작하나

방법은 크게 두 축이다. 하나는 밀도 높게 체크포인트를 남긴 자체 학습 런과 공개된 Pythia 체크포인트를 따라가며 활성값의 생성·성장·쇠퇴를 측정하는 것이고, 다른 하나는 개입 실험이다. 저자들은 싱크 토큰의 은닉 상태 x에 대해 세 가지 양을 구분한다. 단일 좌표의 크기 m, 최대값 대 중앙값 비율 r, 그리고 토큰 전체의 집계 규모인 rms(x)다. 이 셋은 같이 움직이지 않으며, 특히 r은 분모인 중앙값이 학습 중 떨어지기 때문에 분자인 지배 채널 크기가 줄어도 상승할 수 있다. 또한 채널을 잔차 스트림에 써 넣는 출력 투영 행렬의 행(writer row) w에 대해 유지력 G = -⟨w, g_w⟩/‖w‖²를 정의해, 손실이 미는 힘이 가중치 감쇠 계수 λ를 넘으면 채널이 자라고 아니면 침식된다는 비교 기준을 세운다. AdamW의 2차 모멘트 정규화를 적용한 사전조건화 유지력도 함께 측정한다. 이 위에서 상승과 정점을 설명하는 균형 모델을 세우는데, AdamW 사전조건화된 성장이 가중치 감쇠에 맞선다는 것이 골자다.

무엇과 다른가

첫 번째 결과는 거대 활성값이 고정된 차원이 아니라 확률적 역할이라는 점이다. 아키텍처와 데이터를 고정하고 시드만 바꾸면 싱크를 나르는 좌표가 달라진다. 51M 모델에서는 한 시드에서 채널 207, 다른 시드에서 263이 지배 채널이 되었고, Pythia-410m의 세 시드는 상위 3개 싱크 채널이 전혀 겹치지 않았다. 싱크 채널 수(1~3개), 발생 층, 싱크 위치도 시드에 따라 변한다. 다만 정체성은 각 런 안에서 이르게 고정된다. Pythia-410m에서는 최종 상위 3개가 약 4천 스텝부터 143k 스텝 런이 끝날 때까지 1~3위를 유지했고, 8천 스텝 시점의 순위가 최종 순위와 스피어만 상관 0.5~0.7을 보였다. 51M 모델에서는 argmax가 채널 221에서 308, 207로 옮겨간 뒤 약 5천 스텝에서 잠긴다.

어떻게 쓰나

두 번째 결과는 가중치 감쇠가 활성 규모의 전환을 인과적으로 통제한다는 것이다. 정점 근처 체크포인트에서 이어 학습할 때 가중치 감쇠를 제거하면 전역 활성 규모(중앙값 |x|)가 계속 상승하지만, 감쇠를 유지하면 학습률이 일정해도 하락한다. 비교 구간에서 상수 학습률 조건은 -11%, 감쇠 스케줄 조건은 -18%였다. 감쇠 계수 λ를 훑으면 거대 활성값의 정점 위치가 대략 로그-선형으로 이동하며(t_peak ≈ a - b ln λ, 상관계수 -0.985), 정점 크기는 대략 λ^(-1/2)에 비례한다. λ=0에서는 관측 구간 안에 정점이 나타나지 않았다. 이는 사전조건화된 성장과 가중치 감쇠의 균형 모델과 일치한다.

전제와 한계

세 번째 결과는 그래디언트 감쇠가 개별 채널이 아니라 토큰의 집단 rms에 달려 있다는 것이다. 학습 없이 순전파·역전파 한 번씩으로 거대 활성값과 다른 큰 채널들을 각각 어블레이션하며 (rms(x), ‖g_x‖)를 측정했더니, 곱 ‖g_x‖·rms(x)가 조건 전반에서 거의 일정하게 유지됐다. 거대 활성값을 어블레이션했을 때 0.94였고, 다른 큰 채널들을 어블레이션한 범위 0.89~0.95 안에 들어간다. 거대 활성값을 없애도 토큰의 rms는 약 5%만 바뀐다. 천장 효과도 집단 규모를 따라간다. rms 이동량을 맞춰 놓고 거대 활성값만 키우는 경우와 상위 16개 채널을 비례적으로 키우는 경우를 비교했을 때, 방향 왜곡은 11배 차이인데도 rms 초과분을 각각 73%와 71% 제거했다. 작은 랜덤 채널은 약 20%만 되돌려졌다.

네 번째 결과는 싱크가 경쟁적으로 소수 중복 담지자에게 통합된다는 것이다. Pythia-410m에서 16k 스텝에서 143k 스텝 사이에 상위 3개 채널이 싱크 토큰 제곱 노름 ‖x‖²에서 차지하는 몫은 0.55에서 0.99로 커진다. 이는 보존량의 재분배가 아니다. 전체 싱크 rms는 정점을 찍고 줄어들며, 승자의 이득은 나머지 필드의 손실보다 약 2.9배 크다. 51M의 연속체 영역에서는 쇠퇴가 선택적이지 않고 완만해서 상위 8개 채널의 정점 대비 최종 잔존율이 0.78~0.89였다. 중복성도 확인된다. 16k 스텝의 Pythia-410m에서 살아남은 채널 하나를 어블레이션하면 싱크로 가는 어텐션이 0.004~0.015만 줄지만, 상위 3개를 함께 어블레이션하면 0.08이 줄어 약 3배의 초가산 효과가 나타난다. 유지 기제는 원시 그래디언트가 아니라 옵티마이저다. 원시 유지력은 10^-4 수준으로 Pythia의 λ=10^-2보다 훨씬 작지만, AdamW 2차 모멘트 정규화를 거치면 큰 채널 집단은 감쇠 임계값 위로 올라오고 랜덤 채널은 0 근처에 머문다.

실무적으로 이 논문이 주는 교훈은 개입 지점을 바꾸라는 것이다. 역할이 확률적이므로 개별 채널을 0으로 만들거나 억제해도 싱크는 다른 좌표에 다시 구성될 수 있고, 그래디언트 감쇠가 집단 rms로 결정되므로 특정 이상치 차원만 겨냥한 양자화·클리핑 대책은 근거가 약하다. 대신 토큰의 집계 규모를 다루는 전략이 더 잘 동기가 부여되며, weight decay 계수는 활성 크기와 정점 시점을 조절하는 학습 시점 레버로 쓸 수 있다. λ를 키우면 정점이 앞당겨지고 크기가 λ^(-1/2)로 줄어든다는 관계는 학습 레시피를 정할 때 참고할 만한 스케일링이다.

저자들이 밝힌 한계는 분명하다. 정체성과 생애주기 분석은 70M~6.9B 파라미터의 Pythia 모델을 포함하지만, perturb-and-restore 통제 실험은 약 51M 규모에 머문다. 크기 대조 비교는 채널 분포의 꼬리가 채워진 연속체 영역을 전제로 하므로, 후기 학습의 이중봉(bimodal) 영역에서 같은 결론이 성립하는지는 확인하지 않았다. 어텐션 편향 기능 자체나 싱크가 설 자리를 잃었을 때 재건되는 현상은 검증 대상이 아니며, 집단 내부에서 어떤 채널이 생존하고 어떤 채널이 붕괴하는지 선택하는 메커니즘은 미해결로 남는다. 붕괴하는 채널의 writer-row 그래디언트는 1/rms로 줄지 않고 곱이 1.5~2배 오히려 커지며, 생존자 수는 전체 싱크 어텐션과 상관이 0에 가까워 어텐션 싱크 포화로 개수가 정해진다는 설명도 지지되지 않는다.