사전학습 말뭉치의 어휘 정렬이 제로샷 정확도를 예측한다

무엇인가

이 논문은 제로샷 벤치마크 점수가 모델 능력만 반영하는지, 아니면 사전학습 말뭉치와 벤치마크의 어휘 분포 정렬이 상당 부분을 설명하는지를 묻는다. 기존 분석은 이미 학습된 체크포인트를 사후에 보는 경우가 많아 말뭉치 정체성, 학습 레시피, 규모, 학습 이력이 얽힌다. 저자들은 말뭉치만 바꾸고 레시피를 고정한 밑바닥부터의 통제 사전학습으로 이 신호를 분리하려 한다.

어떻게 동작하나

핵심 지표는 단어 수준 유니그램 교차엔트로피(UCE)다. 사전학습 말뭉치의 단어빈도 분포를 P, 벤치마크의 단어빈도 분포를 Q라 할 때 UCE(Q,P)=−Σ Q(w)logP(w)=H(Q)+KL(Q‖P)로 계산한다. 즉 벤치마크 단어에 말뭉치가 얼마나 확률 질량을 배분하는지를 보는 모델-프리, 토크나이저 비의존 지표다. 단어를 쓰는 이유는 서브워드 토크나이저의 다대일 매핑이 진짜 분포 불일치와 분절 인공물을 섞기 때문이고, 유니그램을 쓰는 이유는 고차 n-gram이 말뭉치 규모에서 희소성과 스무딩 선택에 민감하기 때문이다.

무엇과 다른가

이 지표를 세 범위에 적용한다. 말뭉치 수준에서는 각 말뭉치와 벤치마크의 UCE를 계산해 정확도 순위와 비교한다. 문서 수준에서는 문서 r을 뺐을 때의 교차엔트로피 변화 ΔH_r을 계산해, 그 문서가 포함될 때 교차엔트로피를 가장 크게 올리는 행을 버리는 UCE-filter를 만든다. 20% 행을 남기는 방식으로 목표 벤치마크와의 정렬을 높인다. 프롬프트 수준에서는 각 프롬프트의 단어 분포 Q_x와 각 드래프터 말뭉치 분포 P_d의 UCE를 비교해 가장 낮은 드래프터로 라우팅한다.

어떻게 쓰나

말뭉치 실험은 FineWeb-Edu, DCLM, C4, OpenWebText 네 말뭉치와 400M, 1.33B, 3.36B 세 규모에서 진행됐다. 토큰 예산은 8.5B, 26B, 60B로 맞췄고, 12개 벤치마크 풀 중 이 절에서는 CommonsenseQA와 BoolQ를 뺀 10개를 쓴다. 논문은 UCE가 벤치마크 전반에서 정확도와 일관되게 같이 움직인다고 보고한다. 3.36B·60B 설정의 그림 2에서는 제시된 8개 벤치마크 모두에서 말뭉치별 정확도 순서를 UCE가 맞혔고, 무작위 부분집합 16개 실행에서도 ARC Easy R²=0.928, PIQA R²=0.805를 기록했다. 네 말뭉치 모두 벤치마크 어휘 커버리지는 거의 포화되어 있었고, 차이는 희귀 단어 꼬리에 얼마나 확률 질량을 두는지에서 났다.

전제와 한계

문서 선택 실험은 DCLM과 FineWeb-Edu, 1.34B와 3.33B 모델, 70B 토큰, 3개 학습 시드의 2×2 격자에서 이뤄졌다. UCE-filter는 7개 상식 과제 묶음 CSR7에 맞춰 20% 행을 남겼다. 목표 과제 평균에서 UCE-filter는 같은 말뭉치의 무작위 선택과 DSIR 베이스라인보다 높았고, 목표 밖 4개 과제 평균은 무작위 선택에 가까웠다. 오염 제거 후에도 UCE-filter의 CSR7 이점은 같은 시드 기준 4.13pp에서 3.40pp로 남았다. 30B 모델 2단계 사전학습 사례에서는 웹 구성만 UCE-filter로 바꿔 200B 토큰으로 학습했을 때 전체 2단계 이득의 상당 부분을 약 10배 적은 토큰으로 유지했고 MMLU-Pro는 맞췄으며 MMLU 격차도 대부분 메웠다. 다만 저자들은 이를 일반적 개선이 아니라 단일 사례의 분리 효과로 한정한다.

추론 라우팅 실험은 DeepSeek-R1-Distill-Llama-8B 검증 모델과 SAM 드래프터, OpenThoughts-114k로 만든 수학·코드·과학 전문 드래프터 3개를 쓴다. 각 프롬프트를 UCE가 가장 낮은 드래프터로 보냈더니 일반 드래프터 대비 평균 속도향상이 5.3pp 늘었고, AIME, LiveCodeBench, MMLU, MedQA 모두에서 수락 길이 τ와 속도향상이 올랐다. 전문 드래프터가 겨냥하지 않은 MMLU와 MedQA에서도 개선이 났다는 점이 이 신호가 프롬프트 범위에서도 작동함을 보여주는 근거다.

개발자에게 이 논문은 벤치마크 성능을 데이터 큐레이션 문제로 진단하는 도구를 제공한다. 사전학습 말뭉치를 고르거나, 특정 평가 세트에 맞춰 문서를 선별하거나, 추론 시 여러 도메인 드래프터를 라우팅할 때 UCE를 값싼 사전 지표로 쓸 수 있다. 다만 UCE는 말뭉치 품질 점수가 아니고, 문법·산술·비영어 벤치마크는 정렬하지 못한다. 또한 선택 실험의 이득은 목표 Q를 미리 아는 상황의 상한선이므로, 새로운 타깃으로의 제로샷 일반화로 읽으면 안 된다.

저자들이 밝힌 한계도 분명하다. UCE는 단어 분포만 보므로 통사, 다토큰 조합, 사실적 동시출현 같은 조건부 구조에 눈이 멀다. 실제로 BLiMP, MathQA, Global-PIQA 순서는 맞추지 못했고, 공백 분절 언어에 가장 직접 적용되며 중국어·일본어 같은 비분절 문자권과 교착어는 후속 과제로 남긴다. 모든 주장은 통제된 밑바닥부터 학습한 베이스 모델의 제로샷 행동에 관한 것이고, SFT와 RLHF 이후에도 이 흔적이 남는지는 별도 연구가 필요하다고 말한다. 13-gram 오염 감사에서 SciQ와 MMLU는 기여 가능성을 배제하지 못했고, 30B 사례는 단일 지점 사례라는 전제가 붙는다.