LLM은 생각하지 말라는 지시にも 계속 추론한다

무엇인가

LLM이 답을 내기 전에 중간 추론을 길게 늘어놓는 것은 성능을 끌어올리는 핵심 기법이지만, 지연 시간과 토큰 비용을 함께 키운다. 그래서 최근 모델들은 사고 모드 스위치와 추론 노력(reasoning effort) 설정을 제공하고, 사용자는 프롬프트로 즉답을 요구할 수 있다. 문제는 그 반대편인 사고 없음(no-thinking)이 제대로 정의된 적이 없다는 점이다. 기존 연구는 사고 모드를 껐다는 설정, thinking 블록이나 별도 추론 트레이스의 부재, 혹은 출력이 짧다는 사실을 사고 없음의 증거로 삼아 왔다. 이 논문은 그런 대리 지표가 신뢰할 수 없다고 지적한다. 사고 모드를 꺼도 질문에 조건화된 설명 텍스트가 답변 채널로 새어 나오고, thinking 태그를 지워도 추론은 평범한 문장으로 남으며, 출력이 짧아도 핵심 중간 단계 하나는 압축되어 들어갈 수 있기 때문이다.

어떻게 동작하나

저자는 사고 없음을 모델 내부의 잠재 계산이 아니라 관찰 가능한 응답의 성질로 재정의한다. 모델 출력을 최종 답 A와 그 앞에 노출된 모든 가독 텍스트 T로 분해하고, T를 세 단계로 나눠 측정한다. 1단계는 빈 사고율(Empty-Thinking Rate, ETR)로, T가 완전히 비어 있고 최종 답이 허용된 형식으로 파싱될 때만 1점을 주는 이진 지표다. 답 뒤에 실질 텍스트가 남아도 위반으로 본다. 2단계는 질문-사전답변 관련도(Question–Pre-answer Relevance, QRel.)로, 명령 인지형 임베딩 모델 Qwen3-Embedding-4B로 질문과 T를 각각 인코딩해 L2 정규화한 뒤 코사인 유사도를 계산한다. 질문 쪽에는 질문에 답하는 데 관련된 추론을 담은 사전답변 텍스트를 검색하라는 명령을 붙이고, T가 비어 있으면 0점을 준다. 3단계는 명시적 추론율(Explicit Inference Rate, EIR)로, 눈가림된 GPT-5.5 판정자에게 질문과 T만 보여주고 다섯 개 상호배타 라벨 중 하나를 고르게 한 뒤 명시적 추론일 때만 1점을 준다. 판정자에게는 모델 정체, 개입 모드, 최종 답, 정답 여부, QRel. 점수가 모두 숨겨지고, 판정 근거 스팬을 함께 반환하게 해 감사 가능하게 만들었다. 저자는 QRel.이 관련성 신호일 뿐 추론의 증거가 아니며, 추론에 대한 결론은 EIR과 ETR로 이끌어야 한다고 못 박는다.

무엇과 다른가

실험은 사고 억제 강도를 한 축으로 놓은 6개 모드 스펙트럼 위에서 돌아간다. M1은 공식 사고 인터페이스를 켠 Think-On, M3은 사고를 끈 채 단계별로 생각하라는 지시를 넣은 CoT로, 둘은 억제가 아니라 사고를 유도하는 반대 방향 기준점이다. 사고 없음 쪽은 M2 Think-Off(enable_thinking=False만 적용한 자연 기준선), M4 Soft(짧은 도입부는 허용하되 설명은 금지), M5 Strict(추론 없이 곧바로 답하라는 강한 제약), M6 Prefix(지시문 대신 정답 템플릿을 생성 시작 시점에 미리 채워 넣어 지시 따르기 채널 자체를 우회)로 이어진다. 모델은 Qwen3 4B·32B·235B, DeepSeek-V4-Flash(284B), OpenAI와 Google의 상용 프런티어 모델 등 6종이고, 벤치마크는 답안 공간별로 두 개씩 쓴다. 불리언 검증은 BoolQ·StrategyQA, 객관식은 MMLU·MMLU-Pro, 개방형은 GSM8K·MATH다. 지표는 정확도와 ETR·QRel.·EIR이며, 모두 빈 T를 포함한 전체 출력을 분모로 집계한다.

어떻게 쓰나

M1에서는 대부분의 모델-과제 조합에서 ETR이 0에 가깝고 QRel.과 EIR이 높다. M2로 사고를 끄면 불리언에서는 대부분 모델이 ETR 80~100%에 도달하고 QRel.과 EIR이 급감한다. 객관식은 중간이지만 이질적이어서 모델별 ETR이 0에 가까운 경우부터 95%까지 갈리고, 6모델 평균 QRel.과 EIR은 불리언과 개방형 사이에 놓인다. 개방형에서는 ETR이 거의 0으로 무너지고 QRel.은 M1 수준을 유지한 채 EIR도 높게 남는다. 저자는 이 현상을 사고 관성(thinking inertia)이라 부른다. 사고 스위치보다 답안 공간이 응답을 더 강하게 규정한다는 것이다. 반대 방향 개입인 M3(단계별로 생각하라)를 넣으면 QRel.과 EIR이 다시 M1 수준으로 올라오지만, 6모델 평균 EIR의 불리언 < 객관식 < 개방형 계단은 그대로 유지된다. GPT-5.4만 예외적으로 불리언과 객관식 모두에서 답안 전용 준수율이 높고 EIR이 낮다.

전제와 한계

억제를 M2에서 M5로 강화하면 개방형 과제에서 평균 ETR이 거의 0에서 약 40%로 오르는 대신 평균 정확도가 약 15%포인트 떨어진다. 전체 평가 코퍼스 기준 EIR은 99.69%에서 62.00%로 줄어든다. M6(접두어 강제)에서는 평균 ETR이 다시 0 근처로 돌아가고 QRel.·EIR·정확도도 M2 수준으로 반등한다. 불리언과 객관식에서는 같은 정확도 대가가 거의 나타나지 않는다. M2에서 M5로 갈 때 EIR은 불리언 5.15%에서 0.12%로, 객관식 45.57%에서 25.39%로 줄지만 평균 정확도는 거의 평평하다. 즉 M5는 모든 답안 공간에서 가시적 명시 추론을 줄이지만, 개방형에서는 여전히 상당량이 남고 그 대가로 정확도를 잃는다. 저자는 이를 사고 없음-성능 트레이드오프라 부른다. 답안 인터페이스를 고정한 MMLU 과목별 비교에서는 STEM이 네 모델 모두에서 정확도는 가장 높은데 ETR은 가장 낮았고(0.3~36.4%), QRel.(0.509~0.784)과 EIR(59.7~85.5%)은 가장 높았다. 과제 성공이 답안 전용 준수의 대리 지표가 아니라는 뜻이다. 더 직접적인 통제 실험도 있다. Qwen3-32B에서 같은 수치 답안 문항을 MMLU/MMLU-Pro의 객관식에서 불리언 검증으로 바꾸면 정확도는 77.8%에서 78.9%로 거의 그대로인데 ETR은 10.5%에서 62.5%로 오르고 QRel.은 0.709에서 0.314로, EIR은 86.95%에서 36.90%로 떨어진다. 개방형으로 바꾸면 정확도는 52.6%로 내려가고 ETR은 0%, QRel.은 0.810, EIR은 90.14%가 된다. 같은 질문이라도 답을 어떤 형식으로 요구하느냐가 즉답 가능성을 바꾼다는 것이다.

인간 검증은 벤치마크별 100개씩 600개 출력을 표집해(빈 T 비율을 코퍼스와 동일하게 유지) 다섯 명의 주석자에게 눈가림으로 평가하게 했다. ETR의 근간인 엄격 준수 판정은 수동 검사한 빈 T 표시와 600개 중 565개(94.2%)에서 일치했고, 나머지 35건의 불일치는 최종 답이 허용 형식으로 파싱되어야 한다는 추가 조건 때문이었다. QRel.은 주석자들의 관련도 판단과 항목 수준 평균 스피어만 상관 ρ=0.829를 기록해 all-MiniLM-L6-v2의 0.809를 앞섰다. EIR의 판정자 라벨은 인간의 명시적 추론 라벨과 평균 98.8% 이진 일치를 보였고, 다른 모델 계열의 독립 판정자(Claude Opus 4.8)와도 96.7% 일치했다. 인간 주석 자체도 두 가지 핵심 경향을 재현했다. M2와 M5 모두에서 명시적 추론 비율이 불리언에서 객관식, 개방형으로 갈수록 올라갔고, M5는 모든 답안 공간에서 그 비율을 낮췄다(개방형 100.0%에서 57.1%로).

실무 관점에서 이 논문이 주는 가장 직접적인 교훈은 사고 모드를 껐다거나 프롬프트에 추론하지 말라고 썼다는 사실을 비용 절감이나 지연 시간 단축의 근거로 삼을 수 없다는 것이다. 개방형 생성 과제에서 사고를 끈 프런티어 모델조차 응답의 99.9%에서 가시적 명시 추론을 남겼다. 특히 답안 후보를 제시하는 인터페이스(불리언 검증, 객관식)는 즉답을 훨씬 쉽게 만들지만, 자유 생성을 요구하면 억제 지시를 강화할수록 정확도가 떨어진다. 따라서 라우팅을 설계할 때는 답안 공간이 충분한 구조적 지원을 주는지 먼저 보고, 그렇지 않으면 추론을 허용하는 편이 낫다. 또 하나, 출력이 짧아졌다고 해서 실제 추론 토큰 비용이 줄었다고 단정하면 안 된다. 이 논문의 측정 대상은 가시 텍스트일 뿐이며, 저자들도 숨은 채널에서 계산이 계속될 가능성을 명시적으로 열어 둔다.

저자가 밝힌 범위와 한계는 분명하다. 분석 단위를 관찰 가능한 응답으로 의도적으로 제한했기 때문에, 이 논문의 주장은 가시적 출력에 관한 것이지 은닉 상태에서 과제 관련 계산이 사라졌다는 주장이 아니다. 6개 모델·6개 벤치마크 구성은 답안 공간 구조를 분리해 내기 위한 설계이며, 지원되는 경우 결정적 디코딩을 썼다. 다국어, 코드, 도구 사용, 멀티턴, 확률적 설정으로의 일반화와 상용 엔드포인트 변화에 대한 강건성은 미해결로 남는다. QRel.은 ETR의 정확한 경계를 보완하는 운영적 관련성 지표일 뿐 독립적인 추론 탐지기가 아니고, EIR은 가시 텍스트 루브릭과 판정자 보정에 의존한다. 저자들은 부록에서 다른 모델 계열의 독립 판정자로 이 의존성을 점검하고, 거의 그대로의 복사나 의미적 패러프레이즈, 응답 순서 같은 경계 사례를 감사했다고 밝힌다.