하이브리드 추론 모델의 NO-THINK RL 향상은 대부분 THINK 모드 재활성화다

무엇인가

Qwen3 같은 하이브리드 추론 모델은 채팅 템플릿 토큰 몇 개로 THINK 모드와 NO-THINK 모드를 오간다. NO-THINK 모드에서 검증 가능 보상 강화학습(RLVR)을 돌려 추론 성능이 올랐다는 보고가 흔한데, 이 향상이 새로운 문제 해결 능력을 배운 것인지 아니면 같은 가중치를 공유하는 THINK 모드의 능력을 다시 끌어올린 것인지는 구분되지 않았다. 이 논문은 후자를 thinking leakage(사고 누출)라고 부르고, NO-THINK 모드 RL 이득의 상당 부분이 여기서 나온다는 증거를 제시한다. 두 모드가 프롬프트 몇 토큰만 다르고 네트워크는 동일하기 때문에, 이 구분은 RL 성능 해석 자체를 바꾼다.

어떻게 동작하나

저자들은 Qwen3-1.7B, 4B, 8B를 DAPO-Math-17k로 GRPO 학습한다. 모두 NO-THINK 템플릿(enable_thinking=False, 프롬프트 끝에 빈 think 블록 thinking\n\n</think>\n\n 추가)으로만 훈련한다. 스텝마다 256개 프롬프트에서 temperature 1로 응답 5개를 샘플링하고, clip ratio 0.2의 PPO식 목적함수, 원본 모델에 대한 KL 페널티 1e-3, 모든 linear layer에 rank-64 LoRA(스케일 64), AdamW, 상수 학습률 1e-5, 그래디언트 노름 클리핑 1.0을 쓴다. 평가는 AIME 2022–2024(I, II) 90문제, 응답당 32k 토큰 예산, 마지막 \boxed 표현 채점이다. THINK 유사도는 세 가지로 잰다. 첫째 wait, hmm, alternatively 같은 반성 단어 개수. 둘째 원본 모델을 고정 판정자로 써서 같은 응답이 THINK 접두사에서 더 높은 토큰 로그확률을 받는지 비교하는 Think Win Rate(TWR, Mann–Whitney 통계량). 셋째 중간 layer(8B·4B는 36층 중 18층, 1.7B는 28층 중 14층) 잔차 스트림에서 원본 모델의 THINK−NO-THINK 방향 v에 대한 학습 후 변화량의 좌표 α다.

무엇과 다른가

학습이 진행되면 세 모델 모두 THINK 쪽으로 움직인다. 8B 정확도는 0.17에서 0.43으로 오르고, 응답 길이는 8B 2.7k→7.2k, 4B 3.0k→6.3k, 1.7B 2.5k→4.7k 토큰으로 늘어난다. 반성 단어는 8B 1.3→13.0, 4B 2.1→9.5, 1.7B 1.2→3.3개로 증가한다. 원본 모델의 THINK 모드는 같은 32k 예산에서 16k–18k 토큰, 반성 단어 120–130개, 정확도 0.74/0.69/0.43이다. TWR은 50%에서 8B 94%, 4B 86%, 1.7B 84%로 상승한다(원본 THINK 블록 텍스트는 100%). 활성화 이동 α는 8B 0.56, 4B 0.40, 1.7B 0.21까지 오르고, 이동 벡터와 v의 코사인 유사도는 모든 체크포인트에서 0.33–0.70으로 양수다. 다만 8B step 67에서 v에 직교하는 성분도 0.58‖v‖만큼 있어 변화 전체가 THINK 방향인 것은 아니다.

어떻게 쓰나

관찰만으로는 인과를 말할 수 없어 세 가지 개입을 한다. 첫째, RL이 만든 가중치 변화 ΔW를 W0 + cΔW로 확대한다. c를 키우면 NO-THINK 모드인데도 </think> 토큰이 나타난다. step-67 업데이트에서 c=1.5일 때 응답의 6%, c=3일 때 51%(step-15 업데이트는 최대 23%)에서 생성되며, 443개 응답 모두 정확히 한 번, 중앙값 91% 위치에서 나온다(THINK 모드에서는 92%). thinking은 한 번도 나오지 않는다. 즉 열지 않은 think 블록을 THINK 모드가 닫는 지점에서 닫는다. 정확도는 step-67 0.72, step-15 0.68까지 오르지만 원본 THINK 모드의 0.74를 어떤 c에서도 넘지 않는다.

전제와 한계

둘째, 원본 모델과 128개 훈련 프롬프트만으로 8차원 THINK 부분공간을 만들고, 자유 생성 중 모든 layer(36층 중 1–35)와 모든 위치에서 목표 모델의 부분공간 성분만 상대 모델 값으로 바꾼다. RL 모델이 생성하되 원본 모델 성분을 받으면(original-to-RL) 정확도가 0.411에서 0.244로 떨어져 RL 이득 G=0.222의 75%가 사라지고, 응답 길이 7.0k→4.2k, 반성 단어 13.0→3.9로 줄어든다. 반대로 원본 모델이 RL 성분을 받으면(RL-to-original) 정확도가 0.189에서 0.300으로 올라 G의 50%가 이전된다. 대조군인 PCA 부분공간은 22% 제거·25% 이전, 랜덤 부분공간은 −3%·10%에 그친다. THINK 방향 하나만 패칭하면 22%만 제거되고, 8차원을 16차원으로 늘리면 이전 비율이 60%로 오른다.

셋째, 두 프롬프트의 유일한 차이인 빈 think 블록(4개 토큰)에 주목하는 헤드를 찾는다. 원본 모델에서 약 90%의 헤드가 이 블록에 1% 미만의 어텐션을 주고, 10% 이상을 주는 헤드는 모델당 5–7개뿐이다. 이 블록으로의 어텐션을 모두 차단하면 α가 8B 1.11, 4B 1.17, 1.7B 1.13이 되고 다음 토큰 분포가 THINK 모드에 가까워지는 정도 R_KL은 89%/85%/90%다. 어텐션이 큰 상위 5% 헤드만 차단해도 α=0.78/0.88/0.66, R_KL=72%/74%/77%인 반면, 같은 수의 무작위 헤드는 α 최대 0.04, R_KL 최대 6%다. 단일 헤드 패칭으로 RL이 만든 이동의 큰 몫이 재현된다. L18H19가 8B 44%, 4B 37%, L19H13이 1.7B 54%이며, 헤드 순위에 쓰지 않은 60개 응답에서도 44%/37%/56%로 유지된다. 이 헤드들은 모두 빈 블록 어텐션 상위 5% 안에 있다.

왜 이런 일이 생기는지 저자들은 GRPO 이득 신호에서 단서를 찾는다. 256개 훈련 질문마다 원본 모델에서 응답 20개를 뽑아 보상 +1/−1을 주고 5개씩 그룹화한다. 정답이 1개뿐인 그룹의 정답은 A=+1.79, 4개인 그룹의 정답은 A=+0.45를 받는데, 정답 응답의 TWR은 k=1에서 57.8%로 가장 높고 k=4에서 40.5%로 떨어진다. 오답도 벌점이 약한 쪽(k=1, A=−0.45)이 TWR 51.9%, 강한 쪽(k=4, A=−1.79)이 38.0%다. 같은 그룹 안에서도 정답이 오답보다 TWR이 5.9/2.1/1.6/2.5%p 높다. 실제로 훈련과 동일하게 LoRA를 초기화하고 이 신호로 한 스텝만 계산하면 α가 +0.0075 변한다(양의 이득만 +0.0072, 음의 이득만 +0.0057). 그룹 내 이득을 섞으면 −0.0022, 모두 +1로 균일하게 주면 +0.0006에 그친다. 즉 어떤 응답에 양·음 가중치를 배분하느냐가 THINK 방향 이동을 만든다.

저자들이 밝힌 전제와 한계도 분명하다. 가중치 스케일링은 훈련 중 본 적 없는 큰 c를 탐색적으로 시험한 것이고, 스케일링 계수는 같은 90개 AIME 문제에서 정했다. 그룹 간 TWR 차이는 인과 효과가 아니라 연관이며, 이득은 그룹의 정답 수 k로만 결정된다. 한 스텝 그래디언트 실험은 실제 훈련 배치가 아니라 초기 그래디언트를 관측한 탐침이다. α는 THINK 방향 성분만 말하고 직교 성분은 말하지 않으며, δ와 v가 같은 항을 공유해 내적이 위로 편향될 수 있어 짝·홀수 문제로 교차 적합을 했고 그 변화는 0.01 이내였다. 그럼에도 결론은 실무적으로 중요하다. 하이브리드 모델에서 NO-THINK 정확도가 올랐다는 사실만으로 새 문제 해결 능력을 배웠다고 해석하면 안 되고, 능력 추가와 기존 능력 접근성 변경을 분리해 평가해야 한다. 두 행동이 같은 네트워크에서 프롬프트 토큰 몇 개 차이로 구현되기 때문이다.