추론 모델은 생각을 늘릴수록 some과 or를 논리적으로 읽는다

무엇인가

이 논문이 다루는 문제는 "생각을 더 하면 모델이 말의 의미를 더 잘 이해하게 되는가"다. 화자가 "some students passed"라고 하면 사람은 보통 '전부는 아니다'라고 추론한다. 논리적으로는 전부 통과해도 some은 참이지만, 화용론적 함축(pragmatic enrichment)이 이를 좁힌다. 최근 추론 모델은 사고 토큰 예산이나 effort 수준으로 사고량을 사용자가 조절하게 해주는데, 기존 평가는 정확도만 채점했지 사고량이 이런 일상적 추론의 해석 자체를 바꾸는지는 측정하지 않았다. 논문은 두 가설을 세운다. 노력 계정은 사고가 늘면 함축이 늘어난다고 보고, 기본값-취소 계정은 함축이 기본값으로 생겼다가 문맥이나 진리조건 검사가 이를 반박하면 취소된다고 본다.

어떻게 동작하나

방법의 핵심은 가중치를 고정하고 사고량만 다이얼처럼 돌리는 용량-반응 실험이다. 같은 모델에 사고 끔, 예산 B 토큰에서 중단, 자연 종료(안전 상한 8,192토큰) 조건을 걸고 어떤 해석을 선택하는지 기록한다. 항목은 IMPPRES의 some·or·양태어, 인간 함축률이 붙은 어휘 스케일(good/excellent), 전제(presupposition), 그리고 LUDWIG·PragMega·Fig-QA·PUB·Circa·NOPE의 문맥 의존 함축으로 구성된다. readout은 두 가지다. 하나는 확정 답변 중 화용적 해석을 택한 비율 R이고, 다른 하나는 추론 흔적 뒤에 답변 접두사를 강제로 붙여 화용적 해석과 문자적 해석의 로그확률비 L을 비교하는 방식이다. 여기에 추론 흔적을 처음 t개 토큰에서 자르고(t=0, 32, …, 2048) 답을 강제하는 trace-prefix 진단을 더해, 해석이 흔적의 어느 지점에서 뒤집히는지 본다. 대상은 오픈 추론 모델 40개와 클로즈드 모델 7개이며, 조건마다 디코딩 시드 3개, 항목 클러스터 부트스트랩 95% 신뢰구간, 사전등록 가설 검정을 쓴다.

무엇과 다른가

결과는 사고가 논리어를 논리로 읽게 만든다는 쪽으로 모인다. Qwen3-8B에서 자연 사고는 some의 화용적 해석을 28.2pp(95% CI −41.0~−16.7), or를 36.4pp 낮췄고, Qwen3-32B에서는 각각 51.3pp, 46.5pp 떨어졌다. gpt-oss-20b는 high effort가 low effort 대비 some −30.8pp, or −24.7pp였고, OLMo-3-32B-Think는 some에서 −11.5pp였다. 항상 사고하는 R1 증류 모델도 빈 사고 블록과 비교하면 R1-Distill-Llama-8B와 70B가 모두 −50.0pp, DeepSeek-R1-0528-Qwen3-8B가 −24.4pp였다. 오픈 모델 40개 중 30개에서 some 또는 or의 변화가 유의했고, 4개는 반대 방향, 5개는 유의한 변화가 없었다. GPT-5도 최소 effort 대비 some −20.6pp, or −18.8pp였다. 반면 DeepSeek-V4는 반대로 움직여 V4-Pro에서 some이 +8.9pp, V4-Flash에서 +16.9pp 올랐다. 양태어는 일관성이 약했고, 어휘 스케일은 8B 이상 Qwen3에서 오히려 조금 더 화용적으로(8B +5.5pp, 32B +4.0pp) 읽혔다. 전제 정확도는 Qwen3-8B에서 +22.2pp, Fig-QA +10.7pp, PUB 6개 과제 +10.1pp, Circa 간접 답변 +17.5pp, NOPE +9.9pp로 문맥 의존 추론은 개선됐다.

어떻게 쓰나

흔적 진단은 왜 그런지를 보여준다. 빈 흔적에서는 사고 없음 기준선과 비슷한 35.8%(사고 없음 38.8%)였던 some의 화용적 해석이 128토큰에서 52.0%로 +16.2pp 올랐다가 흔적 끝에서는 1.1%까지 떨어진다. or도 같은 곡선(+16.9pp)을 그린다. Qwen3-8B의 some 흔적 중 67.4%가 '초반 접두사에서는 화용적, 최종 답은 문자적' 궤적이었고, 완전히 문자적인 궤적은 31.4%였다. Qwen3 계열과 단어 전반에서 이 화용→문자 궤적은 41.4~68.1%였고, Phi-4-reasoning은 75.3%, Qwen3.8-27B의 or는 38.4%에서 0.0%로(55.0%가 화용→문자), Qwen3.5-9B의 some은 35.9%→32토큰 57.1%→끝 0.0%였다. 예산 곡선에서도 some 해석은 128토큰에서 +37.2pp까지 올랐다가 512토큰을 넘기면 사고 없음보다 낮아진다(1024토큰 −21.8pp). 저자들은 이 패턴을 '먼저 떠올리고, 나중에 취소한다(entertain, then cancel)'고 부른다.

전제와 한계

흥미로운 것은 이 문자적 기본값이 사후학습에서 생긴다는 점이다. OLMo-3에서 some의 화용적 기본값은 베이스 75.6%에서 사고 흔적 SFT 후 39.7%로 떨어졌지만, 같은 베이스에서 수학 RL을 한 RL-Zero는 78.2%를 유지했다. Tülu-3는 DPO 단계에서 46.2%→14.1%로 바뀌었고 이후 RLVR은 그대로 뒀다. 기본값이 문자적으로 변할수록 추가 사고의 효과도 줄어, OLMo-3-Think에서 사고 비용은 선호 튜닝 단계 −32.1pp에서 최종 RL 후 −2.6pp로 축소됐다. 반면 R1-Distill-Qwen-7B는 베이스 41.0%보다 높은 85.9%로 some을 화용적으로 읽어, 증류가 항상 같은 효과를 내지는 않는다.

저자들은 이 진단에서 탐색적 처방 하나를 뽑는다. 화자의 의도를 묻는 some/or 항목에 한해, 완성된 흔적 대신 자기 흔적의 처음 128토큰 시점 답을 쓰는 라우팅이다. 라우팅은 프롬프트만 보고 데이터나 레이블은 보지 않는다. 두 8B 모델을 합친 동등 패밀리 점수는 자연 사고 대비 +1.4pp(95% CI 1.2~1.6) 올랐고, 문자적 정답 층은 건드리지 않아 정확도 손실이 없었다. 효과는 사고가 함축을 취소하는 지점에 집중돼 IMPPRES some/or 적절성 항목 정확도가 Qwen3-8B에서 1.2%→20.5%, DeepSeek-R1-0528-Qwen3-8B에서 2.2%→8.1%로 뛰었다. 사용자 턴에 과제 인지 지시문을 넣는 방식은 전체 점수를 더 올렸지만(+2.3pp) 이 항목들에서는 거의 움직이지 않았다(3.5%, 2.6%).

개발자 입장에서 이 논문의 실무적 메시지는 평가 축을 바꾸라는 것이다. 사고 모드를 켜면 모델은 "일부 테스트가 실패했다"를 '전부 실패해도 된다'로 읽을 수 있게 되는데, 두 해석 모두 논리적으로 허용되므로 단일 정답 정확도 벤치마크로는 해석의 변화와 능력의 손실을 구분할 수 없다. 대화형 제품에서 thinking을 기본값으로 켠다면 정확도뿐 아니라 선택된 해석을 함께 보고해야 하고, 문맥이 화자의 의도를 뒷받침하는 경우에는 그 해석을 유지하도록 학습·프롬프트를 설계해야 한다. 특히 some/or 같은 논리어가 걸린 요구사항 해석, 간접 질문 응대, 요약·판정 작업에서 사고 예산이 의미를 바꾸는지 확인할 필요가 있다.

저자가 밝힌 한계도 분명하다. 용량-반응의 핵심 근거는 사고 스위치나 effort 수준이 있는 Qwen3와 gpt-oss에 기대고, 나머지 오픈 모델은 학습된 적 없는 빈 사고 블록과 비교했으며 클로즈드 모델은 API로만 접근했다. 학습 단계 비교는 체크포인트 간 상관관계이고, 흔적 프로브는 내부 상태를 읽는 것이 아니라 흔적에 개입하는 것이므로 메커니즘을 규명하지는 않는다. 헤드라인 항목은 모두 영어이며 기계 번역한 독일어·중국어 슬라이스에서도 같은 하락이 나타났다. 측정은 강제 선택 프레이밍에 의존하고 형식이 결과를 바꾼다(Claude 모델은 형식에 따라 방향이 뒤집힘). 자유 형식 답변은 LLM 평가자로도 신뢰성 있게 코딩되지 못해(인간 합의 레이블과 최고 κ=0.57) 모든 헤드라인 결과는 강제 선택을 쓴다. 5장의 처방은 같은 베이스를 공유하는 8B 모델 두 개에서만 검증돼 계열·규모 일반화는 미검증이고, 인간 레이블은 합의 레이블로 독립 이중 주석이 없어 주석자 간 일치도는 보고되지 않는다.