ELR은 반복 언어모델의 1회 루프 성능 손실을 없앤다

One Model to Loop Them All: Elastic Latent Recurrence for Language Models

HF Daily2610.12582

Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano2026-10-08

무엇인가

잠재 반복(latent recurrent, looped) 언어모델은 같은 층 블록을 여러 번 재사용해 하나의 체크포인트로 추론 연산량과 정확도를 맞바꿀 수 있다. 문제는 루프 1회에서 같은 크기의 비반복 모델에 크게 못 미치는 '1회 루프 세금(one-loop tax)'이다. 논문은 Huginn LM이 평균 재귀 32회로 학습됐는데도 800B 토큰 후 ARC-Easy에서 34.9로 고정 깊이 베이스라인 46.4에 뒤진 점, Parcae가 1회에서 Transformer 베이스라인 아래이고 8회에서 위라는 점을 근거로 든다. 지연에 민감한 계층에서는 별도 비반복 모델을 따로 학습하는 편이 낫다는 것이 문제의 핵심이며, 루프 범위를 1~5로 좁게 샘플링해도 1회 끝점은 여전히 베이스라인에 뒤진다고 밝힌다.

어떻게 동작하나

ELR은 백본을 입력 블록(14층), 공유 반복 블록(24층), 출력 블록(14층)으로 나눠 1회 루프에서 모든 고유 층이 정확히 한 번 실행되게 한다. 따라서 파라미터와 추론 연산이 동일 크기 비반복 모델과 같다. 첫째 선택은 상태 업데이트로, s_i = s_(i-1) + β_i ⊙ (r_i − s_(i-1)) 형태의 adaptive-delta 규칙을 쓴다. β_i = σ(W_β s̃_i + b_β) ⊙ softplus(γ)로 토큰·채널별 학습된 스텝 크기를 만들며, W_β와 b_β는 0, γ는 0으로 초기화해 초기 스텝이 약 0.35가 된다. 추가 파라미터는 d²+2d개로 루프 수 k와 무관하다. 둘째는 루프 수를 각 옵티마이저 업데이트 안에서 섞는 것이다. 데이터 병렬 랭크 중 회전하는 일부 f가 매 마이크로배치마다 k=1을 실행하는 '1회 루프 랭크 오버라이드'를 쓰며, p_1 = 1/K + (1−1/K)f, k̄ = f + (1−f)(K+1)/2이고 p_1이 약 1/3이 되도록 f를 고른다. 셋째는 루프 인덱스와 예산 조건화다. 진행도 τ_i = i/k와 예산 κ = k/K를 사인파 임베딩 후 MLP에 넣어 c_i를 만들고, AdaLN·FiLM 방식으로 각 반복·출력 층의 정규화 입력을 스케일·시프트하고 루프 의존 게이트가 달린 저랭크 보정을 더한 뒤 잔차 전 출력을 재스케일한다. 혼합 깊이로 전환하는 시점에 조건화 헤드를 0으로 초기화해 넣기 때문에 조건화 모델은 처음에 정확히 1회 체크포인트와 동일하게 동작한다.

무엇과 다른가

비용을 줄이는 장치도 있다. 지연된 혼합 깊이 학습은 처음 75%를 k=1로 학습하고 마지막 25%만 혼합 깊이로 돌려, 학습 연산을 베이스라인의 약 1.16배로 억제한다(전 구간 혼합 깊이는 약 1.62배). MoE용 cross-loop route replay는 첫 루프에서 라우터를 한 번만 평가하고 이후 루프에서 그 배정을 재사용해 혼합 깊이 업데이트 시간을 11.7% 줄이면서 정확도 변화를 측정 불가 수준으로 유지한다. 4회 루프 순전파에서 라우터 평가가 53회에서 23회로 줄지만 전문가 디스패치와 연산은 그대로라 8K 토큰 추론 순전파 시간은 1.2%만 줄고, 고정 k=4에서는 업데이트 시간이 19.6% 줄어든다. last-loop KV 캐싱은 루프마다 하나의 캐시를 덮어써 어텐션 KV 메모리를 모든 k에서 1회 수준으로 유지한다. Koi-4B는 6개 어텐션 층 중 3개가 반복 블록에 있어 루프별 캐싱이 128K 토큰 요청당 BF16 기준 3.0GiB를 7.5GiB(2.5배)로 늘리는 상황이었다.

어떻게 쓰나

실험은 GDP-Hybrid-4B(4B dense, 1T 토큰)와 GDP-Hybrid-30B-A3B(총 30B·활성 3B MoE, 300B 토큰)에서 이뤄졌다. 두 모델 모두 52층(Gated DeltaProduct 23 + self-attention 6 + FFN 23) 구성을 쓴다. 10개 과제 평균에서 4B ELR은 65.13으로 비반복 베이스라인 65.65보다 0.52점 낮았고, 30B-A3B ELR은 66.08, ELR+Route Replay는 65.95로 베이스라인 65.04보다 1.04점·0.91점 높았다. 같은 체크포인트로 4회 루프를 돌리면 각각 7.25점, 4.75점이 더해진다. 2회와 3회 루프가 1→4회 이득의 79%·96%(4B), 87%·91%(30B-A3B)를 회수해 수확 체감이 뚜렷하다. 과제별 최대 상승은 4B에서 GSM8K +11.8, MATH-500 +11.3, 30B-A3B에서 MMLU-Pro +7.5, GSM8K +6.5다. 추론 비용은 k=1이 베이스라인의 TTFT·디코드 지연과 같고, 4회에서 4B 기준 TTFT 2.33배, 디코드 지연 2.06배가 된다. 3회 루프가 1.87배 TTFT로 1→4회 이득의 96%를 가져간다.

전제와 한계

GPT-0.5B(300B 토큰, K=5, 15% 오버라이드, p_1=0.32) 절제 실험에서 adaptive delta는 k=1에서 베이스라인과 맞는 유일한 상태 업데이트 규칙이자 모든 루프 수에서 최저 손실이었다. 입력과 무관한 채널별 학습률 α(0.05 초기화)를 쓰는 delta가 매 깊이 2위지만 0.006~0.007 뒤졌고, 파라미터 없는 replace와 residual이 최악이었다(replace는 4→5회에서 손실이 오히려 상승, residual은 3회 이후 개선 정지). 동기화 샘플링에서 1회 루프 오버라이드가 없으면 1회 손실이 베이스라인보다 0.0225 높았고, f=0.15가 베이스라인 아래로 내려가는 가장 작은 테스트 비율이었다. 독립 랭크 샘플링은 손실이 가장 낮았지만(1.6774 대 1.6830 대 1.6871) 스텝 시간이 약 36% 늘었다. 지연 혼합 깊이는 25%·50%·75% 시작점에서 학습 연산 1.60배·1.40배·1.20배로 5회 루프 개선의 97%·90%·84%를 유지했다. 조건화는 1회 손실을 1.6748에서 1.6739로 거의 유지하면서 k=2에서 0.009, k=5에서 0.022만큼 손실을 낮췄고, 1→5회 손실 감소폭을 0.038에서 0.059로 키웠다. 조건화 모델은 5회에서 1.6147로, 처음부터 혼합 깊이로 학습한 무조건화 모델의 1.6273보다 낮았다.

전체 레시피를 끝까지 적용한 결과물이 Koi-4B다. 7T 토큰을 8K 시퀀스로 사전학습하되 전반부는 1회 루프, 후반부는 혼합 깊이로 돌리고, 256K 시퀀스 50B 토큰 미드트레이닝을 거친 뒤 Nemotron 3.5 Super의 텍스트 데이터로 SFT 4에폭과 RLVR 200스텝을 수행했다. 저자들 자체 평가 하네스 기준으로 Artificial Analysis Intelligence Index v4.1 추정 점수가 1회 루프에서 18(Qwen3.5-4B와 동급), 4회에서 29다. 공식 Artificial Analysis 결과가 아니라 자체 하네스 결과라는 점은 논문이 명시한다. last-loop KV는 4회에서 루프별 캐싱 대비 점수를 0~3%만 떨어뜨리고 10개 벤치마크 중 9개에서 출력 토큰을 줄였다.

개발자 입장에서 이 논문의 실용적 요점은 지연 민감 티어(k=1)와 품질 티어(k=4)를 하나의 체크포인트로 서빙할 수 있다는 것이다. 메모리 예산이 고정된 디바이스에 4B dense는 들어가지만 30B MoE는 들어가지 않는 상황에서, 들어가는 모델이 루프로 연산을 더 써서 격차를 좁히는 시나리오를 저자들이 직접 겨냥한다. 도입 전에 확인할 것은 네 가지다. 1회 정확도가 실제로 베이스라인과 동급인지(4B에서 −0.52점), 이득이 2회 루프에서 대부분 소진되는지, MoE에서 route replay가 감수할 만한 라우팅 드리프트인지(토큰별로는 4회 루프에서 1회 전문가의 53%만 유지되고, 라우팅 출력 코사인 유사도가 0.767로 위치를 섞은 대조군 0.227보다는 높다), last-loop KV가 전제하는 근사(이전 루프 쿼리가 최종 루프의 키·값을 읽는다)가 자신의 워크로드에 맞는지다.

저자들이 밝힌 한계는 분명하다. 이득은 2회 루프 이후 감소하며, 루프 수 분포를 재가중하면 회복되는지는 테스트하지 않았다. 조건화가 중간 깊이에서 고정 깊이 전문가와의 격차를 대부분 닫지만 양 끝점에서는 닫지 못하고, 그 이유도 분리하지 못했다. 서빙은 요청당 루프 수를 고정하는 설정이며, 요청별·토큰별 적응 깊이는 예산 조건화와 얽혀 다음 과제로 남긴다. MoE 변형의 포스트트레이닝도 미뤄뒀다. 또한 반복 깊이 모델이 비반복 모델이 견디는 학습률에서 발산한다는 보고가 있지만, 이 논문의 모든 ELR 모델은 베이스라인 옵티마이저 설정을 그대로 써서 학습했다. route replay는 첫 루프 경로가 이후 루프에서도 유용하다는 가정에, last-loop KV는 최종 루프의 키·값이 이전 루프 쿼리에 유용하다는 가정에 각각 기댄다.

초록 (원문)

A latent recurrent language model applies a shared block of layers repeatedly, so one checkpoint can trade inference compute for accuracy by changing the loop count. At one loop, however, such models typically fall well short of a non-recurrent model of the same size, a one-loop tax that makes a separate non-recurrent model the better choice whenever latency matters. We present Elastic Latent Recurrence (ELR), a recipe for training looped language models without this tax. At one loop, an ELR model costs the same to serve as a non-recurrent model of the same size and, trained on the same data, reaches similar accuracy. Each additional loop then buys more accuracy for more inference compute. Three choices make this work: a gated state update with a learned step size, loop counts mixed within each optimizer update, and conditioning each pass on its loop index and budget. The first two preserve one-loop accuracy, and the third lowers loss at every additional loop. Mixed depths can be introduced late in pretraining to limit the added training cost, and with zero-initialized conditioning added at the switch, this late schedule reaches lower loss than mixed-depth training from scratch. In MoE models, reusing first-loop expert routes on later loops cuts mixed-depth update time by 11.7% with no measurable change in accuracy. At inference, keeping only the last loop's attention KV cache holds attention KV memory at its one-loop level while retaining most of the gain from additional loops. On 4B dense and 30B-A3B MoE hybrid models, ELR at one loop is 0.52 points below and 1.04 points above its matched baseline on a ten-task average, and four loops add 7.25 and 4.75 points. Carried through post-training, the recipe yields Koi-4B, a single checkpoint that scores an estimated 18 on the Artificial Analysis Intelligence Index at one loop, matching Qwen3.5-4B, and 29 at four loops.