Huginn형 루프 언어모델이 반복 위치와 입력 주입 설계의 중요성을 보여준다

무엇인가

이 논문은 루프 언어모델이 같은 물리적 Transformer 블록을 논리적 깊이만큼 반복 재사용하는 구조에서, 기존 Ouro와 Huginn 계열이 반복 위치, 입력 주입, 순환 상태 구성을 한꺼번에 바꿔 비교해 왔다는 문제를 다룬다. 연산 처리량은 빨리 늘지만 메모리 용량과 대역폭은 느리게 개선되는 하드웨어 추세에서, 메모리를 덜 쓰고 연산을 더 쓰는 이 패러다임의 설계 원칙을 분리해 알아내는 것이 중요하다. 저자들은 Ouro에서 Huginn으로 가는 통제된 변환을 통해 세 축을 하나씩 분리하고, 동일 파라미터 규모, 논리적 깊이, 토큰 예산에서 처음부터 학습한 뒤 MoE로 전이되는지도 확인한다.

어떻게 동작하나

방법은 일반적인 tied iterative model을 prelude P, tied recurrent body R, coda C, 상태 초기화 φ, 매 스텝 입력 쓰기 W로 형식화한다. Ouro형은 P, W, C를 항등으로 두고 z0=x0에서 전체 스택을 T번 반복한다. Huginn형은 비항등 prelude와 coda 사이에 반복 코어를 두고, prelude 출력 e를 매 반복마다 순환 스트림에 쓴다. 실험은 730M 저장 파라미터, 2.9B 언롤 적용 규모로 맞췄다. Ouro형 R28^4는 28개 블록 스택을 4번 실행해 112회 논리 블록 실행을 만들고, Huginn형 P8R12^8C8은 8층 prelude, 12층 반복 코어 8회, 8층 coda로 역시 112회를 만든다. 비교 기준은 730M D28과 2.9B D112다. 모든 모델은 같은 PreNorm decoder-only 백본을 쓰고, 24개 query head, 6개 KV head, head dim 64, RoPE base 10^6, hidden 1536, SwiGLU intermediate 4352를 사용한다. 학습은 TxT360, 시퀀스 길이 8192, 전역 배치 512 시퀀스(스텝당 4,194,304 토큰), AdamW, 학습률 4e-4·6e-4·8e-4 스윕, 200 warmup, cosine decay, weight decay 0.1로 진행했다.

무엇과 다른가

첫 번째 축인 반복 위치를 바꾼 Q1에서 prelude, 반복 코어, coda로 이어지는 샌드위치 구조는 58·115·230·460 TPP, 즉 42B·84B·168B·336B 토큰 예산에서 MATH500을 12.00점, DROP을 2.61점 끌어올렸다. MATH500과 BBH-CoT의 이득은 네 예산 모두에서 유지됐다. 반면 지식 중심 과제와 출력 형식·인터페이스 요구가 강한 과제에서는 일관된 이득이 없었고 일부 점수는 하락했다. 저자들은 반복을 중간에 국한하면 반복 코어는 상태 정교화에, 비공유 prelude와 coda는 입력 인코딩과 출력 디코딩에 특화될 수 있다고 해석한다. 이는 인스턴스로 주어진 정보에 대한 다단계 추론은 돕지만, 저장된 지식 검색이나 엄격한 출력 계약 준수를 보장하지는 않는다는 경계를 보여준다.

어떻게 쓰나

두 번째 축인 입력 주입은 대각 연산 D(z_t,v)=α⊙z_t+δ⊙W_in v, δ=softplus(bδ), α=exp{−δ⊙exp(a)}로 구현된다. 중간 루프 모델은 매 반복 전에 prelude 출력 e를 쓰고, full-stack Ouro는 원시 토큰 임베딩 x0를 쓴다. 중간 루프의 prelude 상태 주입은 MMLU +2.53, BBH-CoT +6.63, DROP +1.39, HumanEval+ +5.49, MBPP+ +4.23을 냈지만 MATH500 −3.60, GSM8K −2.51이었다. Ouro의 원시 토큰 주입은 MMLU +1.79, BBH-CoT +1.80, DROP +0.91, HumanEval+ +2.44, MBPP+ +4.50, MATH500 −1.60, GSM8K +0.53이었다. 주입을 켠 중간 루프 모델은 주입을 켠 full-stack Ouro를 10개 중 8개에서 앞섰고 ARC-Challenge와 HellaSwag에서만 뒤졌지만, MATH500과 GSM8K에서는 여전히 더 강했다. 세 번째 축인 순환 상태 구성에서 무작위 초기화는 ARC-Challenge +3.34, GSM8K +1.22를 냈으나 MMLU, MATH500, HumanEval+, MBPP+에서 1점 넘는 하락을 냈고, 직접 초기화 z0=e가 10개 중 6개에서 더 좋았다. H=2, L=3로 8회 적용하는 공유 H/L 상태는 1점 넘는 이득 3개와 손실 3개를 냈고 MATH500을 크게 떨어뜨려 일관된 이득이 없었다. 이 결론은 H/L이 하나의 반복 모듈을 공유하는 설정에 한정되며, 별도 모듈을 쓰는 HRM-Text형 변형은 아직 평가 중이라고 밝힌다. 이 세 축을 결합한 최종 Huginn 구성은 730M·336B 토큰 규모에서 Ouro를 10개 벤치마크 모두에서 앞선다고 보고된다.

전제와 한계

MoE 전이 실험은 두 완성 구조의 FFN을 top-2 라우팅 MoE로 바꿔 진행했다. 각 모델은 28개 라우팅 물리층, 25개 전문가, expert width 2432를 쓰고, 8.0B 저장 파라미터와 물리 패스당 793.9M 활성 파라미터를 가지며, 언롤 시 토큰당 약 3.2B 활성 파라미터 적용이 된다. 500B 토큰으로 학습한 8BA0.8B(언롤 시 32BA3B) 규모에서 Huginn형 MoE는 Ouro를 10개 중 8개에서 앞섰고, 5개는 1점 넘는 차이였다. 가장 큰 차이는 GSM8K +4.70, MATH500 +3.60이었고 MMLU +2.78, DROP +1.95, HumanEval+ +1.22, MBPP+ +0.53이었다. HellaSwag +0.28, TriviaQA +0.07은 작았고 Ouro가 ARC-Challenge +0.86, BBH-CoT +0.20에서 앞섰다. 라우팅 진단에서 정규화 load-balancing loss는 낮을수록 고른 전문가 활용인데, 500B 토큰에서 Huginn MoE가 1.571로 feedforward 1.652, Ouro 1.899보다 낮았다. 또한 2~8번 반복이 1번 반복에서 선택한 전문가를 재사용하도록 강제하면 평가한 6개 과제 모두 정확도가 떨어져, 반복별 전문가 선택이 성능에 기여한다는 인과적 증거를 제시한다.

같은 논리적 깊이와 활성 연산 예산에서 32.0B 저장 파라미터의 112층 feedforward MoE와 비교하면 feedforward가 10개 중 7개에서 앞서고, Huginn은 DROP과 GSM8K에서 앞서며 MATH500에서 동률을 냈다. MATH500, GSM8K, HumanEval+, MBPP+ 평균은 Huginn 61.48, feedforward 62.79였다. 그러나 MoE에서는 Huginn과 feedforward의 격차가 직접 비교 가능한 9개 중 8개에서 줄어 평균 격차가 4.96점에서 1.71점으로 감소했고, 같은 7개 과제로 본 네 체크포인트 모두에서 이 패턴이 유지됐다. 학습과 추론 FLOPs를 맞춘 조건에서 Huginn형 모델은 112층 feedforward MoE 기준보다 저장 파라미터를 75% 덜 쓰면서도 DROP과 GSM8K에서 앞서고 MATH500에서 동률, 나머지에서 경쟁력 있는 성능을 냈다. 이는 루프 구조가 MoE와 결합할 때 메모리 효율과 성능의 균형을 개선할 수 있음을 보여준다.

개발자 관점에서 이 논문은 루프 모델을 만들 때 반복을 전체 스택에 그대로 걸기보다 prelude, 반복 코어, coda로 분리하고, 매 반복마다 문맥화된 입력을 주입하는 설계를 우선 검토하라고 말한다. 다만 입력 주입은 문맥·명세 의존 과제와 코드 생성에는 도움이 되지만 수학적 추론에는 해가 될 수 있으므로, 대상 과제에 맞춰 쓰기 강도와 위치를 조정해야 한다. 무작위 초기화와 공유 H/L 상태는 보편적 이득으로 가정하지 말고, MoE에서는 반복별 전문가 선택을 고정하지 말아야 한다. 저자들이 밝힌 한계는 분명하다. 실험은 한 실용 규모의 유한 예산 행동을 보여줄 뿐 모델 크기와 학습 예산을 가로지르는 스케일링 법칙을 세우지 못했고, 수천억 파라미터 규모는 연산 예산 밖이다. 시드 간 불확실성도 정량화하지 않았고, MoE 연구는 완성된 Ouro와 Huginn을 비교해 세 축을 동시에 바꾸므로 MoE에서의 성분별 절제가 필요하다. H/L 결론도 공유 모듈 설정에 한정되며, 주입이 수학 추론을 해치는 메커니즘은 분리하지 못했다.