모델 가중치 대신 출력 로짓만 흔들어도 신경 두꺼비 이득은 그대로다

무엇인가

2026년 Gan과 Isola는 사전학습 언어모델의 가중치를 무작위 가우시안으로 흔들면 특정 추론 과제에서 원본보다 훨씬 좋은 변형 모델이 다수 나온다고 보고했다. Llama-3.1-8B-Instruct의 Countdown 과제에서 정확도가 10.8%에서 63.6%로, 무려 52.8포인트 오르는 사례까지 제시됐다. 이들은 이를 'Neural Thickets' 가설로 설명했다. 즉 충분히 큰 모델의 사전학습 가중치 주변에는 과제 특화 전문가들이 빽빽한 덤불처럼 둘러싸여 있고, 눈먼 가우시안 섭동이 그중 일부를 끄집어낸다는 것이다. 이 논문은 그 이득 자체는 재현하되, 그 기하학적 설명이 필요 없다는 것을 보이려 한다.

어떻게 동작하나

저자들이 정리한 일반 틀은 PSV(Perturb-Select-Vote)다. 사전학습 예측기 f(·;θ)에 섭동 연산자 P를 적용해 N개의 변형 멤버를 만들고, 각 멤버를 과제별 선택 세트에서 평가해 보상 r_i를 매긴 뒤 상위 K개만 남겨 다수결로 예측을 합친다. Neural Thickets의 RandOpt는 섭동 공간이 모델 전체 파라미터인 특수 사례로, 각 멤버를 θ+σε_i (ε_i~N(0,I))로 만들고 200개 과제 예시로 점수를 매긴 뒤 K개를 앙상블한다. 원 논문은 N=1000~5000, K∈{1,2,5,10,20,50}을 사용했다.

무엇과 다른가

첫 번째 실험은 '전체 네트워크를 흔들어야 하는가'를 묻는다. OLMo-3-7B-Instruct의 Countdown에서 그리디 베이스라인은 66.6%, 전체 가중치 PSV는 90.8%였다. 그런데 디코더 블록 하나만 흔들어도 이득의 상당 부분이 회복됐고, 뒤쪽 블록일수록 효과가 컸다. 블록 내부에서도 마찬가지다. 잔차 스트림에 직접 쓰는 구성요소는 전체 이득을 그대로 회복했고, value·feed-forward 입력 프로젝션은 96~99%, 어텐션 소프트맥스를 거치는 query/key 경로는 85~89%를 회복했다. Qwen2.5 0.5B~3B에서도 같은 패턴이 나타났다. 즉 이득은 네트워크 전반의 조율된 섭동을 요구하지 않는다.

어떻게 쓰나

그렇다면 가중치 섭동이 아예 필요할까. 저자들은 모델을 완전히 동결하고 출력 로짓에만 어휘 크기의 가우시안 편향을 더한다. ℓ_i = ℓ + σε_i, ε_i~N(0,I_V)이며, 이 편향은 멤버 i에 대해 모든 디코딩 스텝과 모든 입력에서 고정된다. 이 'logit PSV'는 네트워크 내부에서 추가 연산을 하지 않고 가중치도 건드리지 않는다. 그런데도 OLMo-3-7B-Instruct에서 MATH-500을 63.3%에서 81.3%로 끌어올려, 같은 N·K의 전체 가중치 PSV(74.7%)를 앞섰다. GSM8K는 87.5%에서 91.9%로 올랐다. USPTO에서는 42.7% 대 39.4%로 높았지만 다수 반응 클래스를 더 자주 예측한 결과여서 균형 정확도는 26.7%로 전체 가중치 PSV(29.7%)보다 낮았다. 0.5B~7B 모델 전반에서 logit PSV는 15개 추론 셀 중 13개에서 더 정확했고 나머지 둘도 0.6포인트 이내였으며, MBPP·ROCStories·USPTO에서는 대체로 아래였다. 원 프로토콜의 N=5000 예산에서는 28개 모델-과제 쌍 중 22개에서 두 방법이 통계적으로 구분되지 않았고, logit PSV가 유의하게 나은 추론 쌍 3개, 나쁜 쌍 3개였으며 추론 과제에서 더 나빴던 적은 없었다.

전제와 한계

저자들은 PSV의 이득을 출력 다양성, 검증 기반 선택, 투표로 분해한다. 온도 T=0.7로 고정한 온도 조정 다수결(TT-MV)과 비교했을 때, 강한 모델에서는 TT-MV가 이득의 상당 부분을 설명했다. MATH-500에서 TT-MV는 77.7%로 동일 예산의 전체 가중치 PSV(74.7%)를 웃돌았고, N=1000 전체 가중치 PSV보다 7개 과제 중 3개(Countdown, MATH-500, OlympiadBench)에서 앞섰으며 GSM8K·ROCStories에서는 0.4포인트 이내였다. 반면 약한 모델에서는 선택이 중요해진다. Qwen2.5-1.5B-Instruct의 USPTO에서 TT-MV는 모든 온도에서 6.9% 이하였지만 전체 가중치 PSV는 24.9%에 도달했다. 다만 이 경우도 PSV가 테스트 예시의 76%에서 다수 클래스를 예측해 31.9%짜리 다수 클래스 베이스라인에는 여전히 못 미쳤다. 같은 모델의 Countdown에서는 TT-MV가 T=0.12에서 34.3%로 정점을 찍고 전체 가중치 PSV는 37.4%였다. 결론은 강한 모델은 샘플링과 투표만으로 충분하고, 약한 모델은 선택이 추가로 필요하다는 것이다.

메커니즘 설명은 1차 근사다. 가중치 섭동 모델의 로짓은 ℓ_{θ+σε}(x) ≈ ℓ_θ(x) + σJ(x)ε (J는 로짓의 파라미터 야코비안)로 전개되는데, 섭동이 네트워크 어디에 들어가든 선도항은 로짓의 구조적 교란이라는 뜻이다. 실제로 OLMo-3-7B-Instruct Countdown에서 선형화된 로짓이 정확한 섭동 모델이 만든 argmax 토큰 변화의 89.7%를 재현했다. σ가 커지면 근사는 나빠진다.

비전으로의 확장은 흥미롭게도 결론이 더 강하다. DINOv3 백본에서 full-weight PSV와 patch-embedding PSV는 6.7B 규모에서도 worst-group 정확도를 최대 1포인트밖에 올리지 못했다. 반면 백본과 프로브를 모두 고정하고 클래스 로짓만 흔드는 logit PSV는 FMoW와 Waterbirds에서 worst-group 정확도를 5~6포인트 끌어올렸다. 나아가 π_true와 π_pred의 클래스 빈도 비율로 계산한 결정론적 재보정 b_c = log π_true(c) − log π_pred(c)만으로도 FMoW의 이득 대부분이, 이진 과제인 Waterbirds에서는 logit PSV와 동등한 수준이 재현됐다. 분포 이동이 없는 균형 ImageNet에서는 어떤 방법도 유의미한 이득을 주지 못했다. 즉 비전에서의 이득은 가중치 공간의 도메인 전문가가 아니라 출력 재보정 효과로 설명된다.

실무적으로 이 논문이 주는 시사점은 명확하다. 추론 성능을 짜내려고 가중치 앙상블이나 파인튜닝을 고민하기 전에, 모델을 동결한 채 로짓에 고정 편향을 여러 개 심고 작은 검증 세트로 상위 K개를 골라 다수결하는 값싼 절차를 먼저 시도해볼 만하다. 특히 도메인 이동이 큰 분류 과제에서는 클래스 빈도 기반 재보정만으로도 상당 부분이 해결된다. 다만 저자들이 밝힌 전제를 확인해야 한다. PSV는 레이블이 붙은 선택 세트를 요구하고, 투표하려면 생성 답을 비교할 수 있어야 하므로 자유로운 개방형 생성에는 적용이 제한된다. 언어 실험은 7B 파라미터까지만 수행됐고 더 큰 모델에서는 가중치 공간 효과가 남아 있을 수 있다. 1차 근사는 작은 σ에서만 유효하며, logit PSV도 테스트 입력마다 K번의 모델 평가가 필요해 단일 예측보다 추론 비용이 K배로 늘어난다.