반복 데이터 사전학습에서는 작은 배치와 재포장이 유리하다

무엇인가

이 논문은 컴퓨트는 풍부하지만 고유 학습 데이터가 유한한 상황, 즉 같은 데이터를 반복해서 돌려야 하는 사전학습을 다룬다. 기존 언어모델 사전학습은 대규모 웹 코퍼스를 한 번만 도는 단일 패스를 가정하고 컴퓨트를 병목으로 봤지만, 고품질 사람 작성 데이터는 양이 유한하고 증가 속도도 물리적으로 제한적이다. 그래서 계속 스케일하려면 반복 학습이 불가피하다. 저자는 Kim 등(2026)의 무한 컴퓨트 프런티어를 다시 열어, 그동안 고정되어 있거나 개별적으로만 연구됐던 선택지들이 실제 프런티어를 좌우한다는 것을 보인다.

어떻게 동작하나

실험 설정은 153M·474M·1.5B 파라미터의 dense decoder-only Transformer를 olmo-core 코드베이스로 학습한다. 데이터는 DCLM-Baseline, 컨텍스트 4,096토큰, 문서 단위로 분리된 학습·검증·테스트 분할을 쓴다. 3장에서는 1B 토큰 고유 데이터 풀을 쓰고 4.2절에서 0.333B·1B·3B 풀로 확장한다. 옵티마이저는 AdamW, 학습률 스케줄은 워밍업 100M 토큰에 말단 10% 감쇠를 두는 WSD를 쓴다. 배치 스윕은 1.5B에서 16~512 시퀀스, 소형 모델에서 32~512다. 각 (모델 크기, 고유 토큰 수, 배치) 조합마다 학습률과 가중치 감쇠를 이전 에포크에서 고른 값과 인접 값(1/2배, 2배, 가중치 감쇠는 3배)을 포함하는 점진적 적응 좌표 탐색으로 튜닝하고, 에포크 수까지 함께 최적화한다. 평가 지표는 고정된 100M 토큰 DCLM-Baseline 검증 분할의 다음 토큰 교차엔트로피다. Kim 등(2026)은 단일 패스 소거 실험으로 배치를 하나 고른 뒤 반복 학습 실험 내내 고정했지만, 이 논문은 배치 자체를 반복 학습에 맞춰 각 후보의 학습 지평 위에서 비교한다.

무엇과 다른가

첫 번째 결과는 배치 크기의 내부 최적점이다. B=512 최선 대비 B=64 최선은 1.5B에서 검증 CE 3.124→2.977, 474M에서 3.136→3.093, 153M에서 3.416→3.332로 개선된다. 세 모델 모두 전체 스윕이 U자 곡선을 그리며 B=64 근처에서 최소가 된다. 이는 GPT-2, Cerebras-GPT, Pythia, OLMo가 쓴 512~2,048 시퀀스보다 훨씬 작다. 단일 패스 스케일링 법칙(Bi 등 2024, Shuai 등 2024)은 1.5B 모델이 1B 토큰 풀을 20번 도는 1.8×10^20 FLOPs 규모에서 각각 1.233M, 0.747M 토큰 배치를 예측하는데, 이는 저자가 고른 0.262M 토큰의 4.7배와 2.9배다. 원인은 최적화와 일반화의 균형이다. B=512는 초반에 옵티마이저 스텝이 적어 최적화가 덜 되지만 후반에는 학습 손실이 B=64보다 낮아지고, 그런데도 검증 손실은 더 나쁘고 결국 상승한다. 큰 배치의 확률적 정규화가 약하기 때문이다. 반대로 B=16은 B=64보다 학습 손실은 낮지만 검증 손실은 높아, 최적점 아래에서는 추가 스텝이 과적합으로 이어진다. 가중치 감쇠 튜닝은 B=512 같은 큰 배치와 데이터가 심하게 제약된 설정에서 중요하지만, B=64 근처에서는 효과가 작아 에포크 1에서 고른 0.3이 포화 시점까지 최적으로 남는다. 배치를 튜닝하면 이득이 되는 반복 횟수도 늘어 1.5B에서 8회→20회, 153M에서 40회→112회가 된다.

어떻게 쓰나

두 번째 결과는 학습 레시피다. 에포크마다 데이터를 어떻게 제시하는지를 Fixed(시퀀스·미니배치 구성·순서 고정), Shuffle(시퀀스 경계는 고정하고 미니배치만 재섞기), Repack(문서를 재섞어 매번 고정 길이 시퀀스로 동적 재포장)으로 비교했는데, Repack이 두 배치 크기 모두에서 Shuffle보다 좋고 B=512에서 이득이 더 뚜렷하며 최적 검증 손실에 더 늦게 도달한다. 입출력 임베딩을 묶는 가중치 타이만으로는 개선이 거의 없지만, 공유 임베딩에 양의 가중치 감쇠를 주면 일관되게 좋아진다. 둘을 합치면 B=64에서 2.971→2.946, B=512에서 3.064→3.030으로 개선되고 선택 에포크도 24→32, 28로 늦춰진다. 반복 인지 레시피(Repack + 타이 + 임베딩 감쇠)는 세 모델 크기 모두에서 검증 손실과 HellaSwag BPB를 개선하고 선택 에포크를 1.5B에서 20→32, 474M에서 32→80, 153M에서 112→240으로 늘리며, 474M과 153M에서는 최적 배치를 64→128로 옮긴다. 추가 정규화가 작은 배치 노이즈의 한계 이득을 줄이기 때문이다. 한편 batch warmdown, 구조적 그래디언트 노이즈, LocalSGD, DiLoCo 같은 시도는 명확하고 일관된 개선을 주지 못해 이후 실험에서 빠졌다. 고유 데이터 풀이 커질수록 더 큰 배치와 더 늦은 에포크 쪽으로 이동한다.

전제와 한계

세 번째 결과는 GPU와 시간을 분리한 자원 배분이다. 70B 모델을 10T 고유 토큰으로 학습하는 외삽에서 최적 정지점은 E*≈214.2, B*≈1,536, 약 3억 4,010만 옵티마이저 스텝이며, 이는 6,144장의 H100과 22.6년에 해당한다. 그래서 GPU 가용성과 순차 학습 시간을 별개 제약으로 모델링한다. 짧은 데드라인에서는 옵티마이저 스텝당 더 많은 데이터를 처리하는 큰 배치가 선호되고, 시간이 늘수록 점점 작은 배치가 유리해져 제약 없는 B*에 도달한다. 1.5B 모델에서 8K 스텝에 해당하는 짧은 데드라인에서는 64 GPU를 쓰는 큰 배치가 최선이지만, 32K 스텝으로 늘리면 16 GPU만 쓰는 작은 배치가 더 낮은 손실을 낸다. 데드라인 아래에서 GPU 활용률을 극대화하려 배치를 키우는 관행이 반복 데이터 학습에서는 최적이 아닐 수 있다는 뜻이다. 병렬화를 지연 단축에 쓰는 축도 별개로 존재한다. 마이크로배치를 처리량 최적인 8에서 1로 줄이면 8배 GPU를 쓰고 1.5B 학습을 2.7배 단축하면서 검증 CE는 그대로이며, 70B에서는 3.75배 단축이 투영된다. GPU와 시간이 둘 다 묶인 경우에는 반복 횟수, 배치, 병렬 구성, 레시피를 함께 골라야 하고, 반복 인지 레시피는 이 결합 프런티어를 일관되게 개선한다.

실무 관점에서 이 논문이 주는 지시는 분명하다. 고유 데이터가 부족하거나 고품질 데이터를 의도적으로 업샘플링해 여러 에포크를 도는 학습을 할 때는, 공개 스택의 기본값(큰 배치, 에포크 간 고정된 시퀀스 순서, 임베딩 타이 여부)을 그대로 물려받지 말고 명시적 설계 결정으로 다뤄야 한다. 특히 데드라인이 있다는 이유로 가용 GPU를 최대한 채우려 배치를 키우는 선택은 손실을 악화시킬 수 있으니, 남은 시간과 데이터 풀 크기를 함께 보고 배치와 GPU 수를 정해야 한다. 확인할 항목은 데이터 풀 크기(작을수록 작은 배치와 강한 정규화), 데드라인 길이, 그리고 재포장·임베딩 감쇠 같은 레시피가 자기 학습 스택에 들어 있는지다.

저자가 밝힌 한계는 두 가지다. 첫째, 관찰이 153M~1.5B 파라미터 모델과 0.333B~3B 토큰 데이터 풀에 국한되며, 70B/10T 예시는 목표 스케일에서 엄밀히 검증되지 않은 외삽이므로 예시적 투영으로 봐야 한다. 둘째, 결과가 dense 아키텍처, AdamW와 WSD 스케줄, 4,096 컨텍스트, 비교적 강하게 필터링된 DCLM-Baseline 코퍼스에 의존하므로, mixture-of-experts로 확장하면 결론이 달라질 가능성이 크고 이것이 데이터 제약 스케일링 연구의 가장 중요한 향후 방향이라고 밝힌다.