여러 작업을 한 프롬프트에 넣으면 암묵적 사고 예산이 줄어든다

무엇인가

이 논문은 언어모델이 개별 프롬프트에서는 안정적으로 풀던 작업도 여러 작업을 한 프롬프트에 이어 붙이면 왜 실패하는지를 다룬다. 기존 벤치마크는 대개 한 번에 한 작업만 평가하므로, 점수가 포화된 모델의 실제 조합 견고성을 과대평가할 수 있다. 저자들은 각 모델이 단독으로 3회 연속 맞힌 작업만 모아 원문을 바꾸지 않고 k개의 작업으로 구성한 뒤, k를 3, 6, 10, 20으로 늘려가며 작업별 정확도 변화를 측정했다. 그 결과 단순 연결만으로 정확도가 크게 떨어졌고, 이 하락은 독립 오류 누적으로 설명되는 수준을 넘었다. 문맥 길이 초과도 아니었으며, 수학과 언어 과제 모두에서 나타났다. Claude Opus 5도 GPQA-Diamond에서 단독으로 3회 모두 맞힌 작업들로 k=10을 구성했을 때 약 7pp 하락했다.

어떻게 동작하나

저자들이 지목한 메커니즘은 작업별 암묵적 사고 예산이다. 프롬프트 안의 각 작업 앞에 Q01 같은 고유 태그를 붙여 추론 흔적을 작업별로 분리하고, 단독 수행 때의 사고 토큰 T_i(1)과 조합 수행 때의 T_i(k)를 비교했다. 거의 모든 작업에서 조합 크기가 커질수록 작업당 사고 토큰이 단조 감소했고, 그 비율 r_i(k)=T_i(k)/T_i(1)은 대략 r_i(k)≈k^m의 거듭제곱 법칙을 따랐다. 모델·데이터셋별 로그-로그 회귀에서 기울기 중앙값은 m=-0.54, 범위는 -0.88에서 -0.04, R² 중앙값은 0.91이었다. 중요한 점은 긴 추론 작업이 더 큰 비율로 깎이는 것이 아니라, 모든 작업이 거의 같은 비율로 줄어든다는 것이다. 단독 추론이 긴 작업은 최소 필요 추론에 가까워서 같은 비율의 감소에도 오류가 나고, 짧은 작업은 단독 수행 때 여유 추론이 있어 버틴다. 논문은 이렇게 조합에서 무너지는 작업을 취약(fragile) 작업이라고 부른다.

무엇과 다른가

취약 작업 집합은 모델 안에서는 안정적이지만 모델 사이에서는 크게 다르다. 동일 조합 크기에서 서로 다른 모델 간 작업별 정확도 하락의 평균 상관은 0.24±0.03에 불과했다. 같은 훈련 레시피를 쓴 Qwen3 8B와 14B는 0.56±0.09로 조금 더 일치했다. 반면 한 모델 안에서 조합 크기와 구성·순서를 바꿔도 취약 작업의 정확도 하락 상관은 0.81±0.04에 달했다. 즉 취약성은 특정 모델에 대해 작업이 지니는 비교적 안정적인 속성이며, 어느 정도 예측 가능하다.

어떻게 쓰나

이를 활용한 방법이 취약도 기반 배칭이다. 각 작업에 조합 크기 k_i를 배정하되, 기대 정확도 하락과 토큰 비용의 절충을 라그랑주 완화로 최대화한다. 식은 k_i(λ)=argmax_k[E[Δ_i(k)]+λ(1-cost_k)]이며, λ는 데이터셋 평균 기대 하락이 예산 B=0.5% 안에 들도록 그리드 탐색으로 고른다. 사용 가능한 조합 크기는 1, 3, 6, 10, 20이고, 배정된 상한을 넘지 않게 작업을 최대한 적은 조합으로 묶는다. 처음에는 측정된 취약도를 쓰고, 배포 가능한 버전에서는 Qwen3 Embedding 8B로 작업 설명을 고정 임베딩한 뒤 모델별 선형 예측기를 학습한다. 예측기는 각 k에서 작업이 단독만큼 잘할 확률을 출력하며, 훈련 라벨은 k마다 10회씩 조합을 바꿔 평가해 만들고 5-fold 교차적합을 사용한다. 이 방법은 모델 내부 상태나 미세조정 없이 프롬프트 구성만 바꾸므로 블랙박스 모델에도 적용된다.

전제와 한계

실험은 자체 제작한 1,000개 부정적분과 OneWordQA, 그리고 GPQA-Diamond, GSM8K, MATH-500, MMLU-Redux, StrategyQA, AIME 등 8개 데이터셋에서 이뤄졌다. Qwen3 4B Thinking·8B·14B·Qwen3.8 27B, DeepSeek-R1 증류 Qwen 7B·Llama 8B·Qwen3 8B, Claude Opus 5를 평가했다. 작업을 무작위로 6개씩 묶는 일반적 배칭은 토큰을 가장 많이 아꼈지만 GPQA-Diamond처럼 추론 단계가 많은 과제에서 정확도가 크게 떨어졌다. 측정 취약도를 쓴 배칭은 AIME를 제외한 전 모델·데이터셋 평균에서 토큰을 43% 줄이면서 정확도는 +0.6pp 유지했다. OneWordQA와 StrategyQA에서는 무작위 배칭과 비슷하게 68%에서 74%의 출력 토큰을 절감했고, 나머지 다섯 데이터셋에서는 약 32%를 절감하면서 정확도를 지켰다. 선형 예측기 버전은 모든 데이터셋에서 정확도 손실을 0.5pp 이내로 제한하면서 평균 31.0%의 토큰을 절감했다. Claude Opus 5의 GPQA-Diamond에서는 단독 정확도 89.5%, 작업당 689 출력 토큰이었고, 무작위 k=6은 0.9pp 손실에 18% 절감, 취약도 기반 배칭은 0.4pp 손실에 24% 절감이었다. 다만 Opus용 선형 예측기는 전이가 약해 거의 토큰을 아끼지 못하고 2.0pp를 잃었다.

훈련 방식도 결과에 영향을 준다. OLMo 3 7B를 SFT, DPO, RLVR 단계별로 비교했을 때 세 단계 모두 조합에서 작업당 토큰이 비슷하게 줄었다. 그러나 같은 토큰 비율에서 RLVR 단계는 SFT·DPO보다 정확도 손실이 작았고, 취약 작업 집합의 겹침도 줄었다. 저자들은 RLVR이 암묵적 예산 배분의 오류 자체를 없애지는 못하지만 그로 인한 정확도 하락은 완화한다고 해석한다. 개발자 관점에서는 여러 작업을 한 번에 배칭할 때 정확도가 조용히 깎일 수 있으므로, 단독 성능만 믿지 말고 모델별 취약 작업을 측정해야 한다. 추론이 긴 작업은 작은 배치나 단독 호출로 분리하고, 짧고 견고한 작업은 큰 배치로 묶는 식이다. 에이전트에서는 문맥이 꽉 차기 전에도 고난도 단계의 예산이 줄어들 수 있으므로 문맥을 가볍게 유지하고 추론 집약 단계는 새 문맥의 서브에이전트에 넘기는 전략이 유효하다.

저자들이 밝힌 한계도 분명하다. 조합 시 작업당 추론이 왜 줄어드는지 그 원인 자체는 아직 규명하지 못했다. 실험은 독립적이고 같은 데이터셋에서 뽑은 작업 조합에 한정되며, 상세한 추론 길이 분석은 오픈웨이트 모델에 제한된다. 혼합 도메인, 작업 간 의존성이 있는 조합, 독점 모델 전반으로 일반화하는 일은 향후 과제로 남겨져 있다.