LoL은 추론 중 레이어 순서를 바꿔 입력별 계산 경로를 구성한다
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
무엇인가
이 논문은 언어 모델이 모든 입력에 대해 같은 순서로 레이어를 실행하는 고정 구조를 문제로 삼는다. 프로그래머가 조건문·반복문 같은 재사용 가능한 기본 연산을 서로 다른 순서로 조합해 알고리즘을 만드는 것과 달리, 기존 트랜스포머는 깊이마다 정해진 레이어를 순서대로 통과한다. 선행 연구인 루프형 트랜스포머, 레이어 스킵, MoE도 파라미터 재사용이나 희소성은 다루지만 실행 순서 자체는 고정한다. LoL은 레이어 선택·순서·재사용 횟수를 입력에 조건부로 만들고, 라이브러리 크기 L 하나로 파라미터 재사용이 큰 영역부터 희소 MoE에 가까운 영역까지 연속적으로 이동하려 한다.
어떻게 동작하나
구조는 decoder-only 트랜스포머 블록을 고정 순서의 prelude, 라우팅되는 core, 고정 순서의 coda로 나눈다. core는 전역 라이브러리 {E1,...,EL}에서 블록을 골라 적용하며, L은 저장된 서로 다른 블록 수이고 D는 실제 적용 횟수인 routed depth다. 예를 들어 L=3, D=3에서 E1→E3→E1은 한 전문가를 반복하고 다른 전문가는 쓰지 않는 라우팅 경로다. 라우터는 선형 계층으로 창 단위에서 top-1 전문가를 고르고, 선택된 전문가의 residual update를 라우터 확률로 스케일해 그래디언트가 라우터로 흐르게 한다. 라우터는 명시적 라우팅 라벨 없이 end-to-end로 훈련되며, loss-free load balancing, 라우터 로짓에 가우시안 노이즈, 각 정규화 뒤 깊이별 scale·bias를 주는 FiLM을 사용한다.
무엇과 다른가
핵심 난점은 토큰마다 다른 레이어를 고르면 서로 다른 attention 투영에서 나온 Q·K가 섞여 학습이 불안정해지는 것이다. LoL은 시퀀스를 창으로 나누고, 같은 창의 모든 토큰이 같은 전문가를 쓰며 창 내부에서만 causal attention을 적용한다. routed depth ℓ에서 창 크기 W, stride S, 경계 이동 δℓ=(ℓ−1)S mod W로 창 경계를 매 깊이 이동시켜 인접 창이 겹치게 하고, 정보가 이웃 창으로 흐르면서 인과성이 유지된다. 라우터는 현재 창 이전 창들의 각 창 평균 hidden state를 다시 평균한 값만 입력으로 받고, 첫 창은 학습된 깊이별 벡터 e(ℓ)와 첫 토큰 hidden state의 평균을 사용한다. 훈련 비용을 줄이기 위해 얕은 core에서 시작해 D를 점진적으로 늘리는 growing을 쓰고, 1B 실험에서는 1−sqrt 스케줄을 75% 구간에 적용했다.
어떻게 쓰나
360M 모델(4 prelude, 4 coda, core depth 16)로 라우팅 경로가 무엇을 담는지 분석한다. 10개 언어를 FineWeb-2에서 10B 토큰으로 균등 혼합해 훈련한 뒤, 창별 전문가 선택을 one-hot으로 이어 PCA에 투영하면 언어별 경로가 상당히 구분되고 라틴 문자 언어끼리 비슷한 경로를 보였다. 안전 데이터에서는 harmfulness score 0을 안전, 4·5를 불안전으로 두고 10B 토큰을 라벨 없이 훈련했으며, 라우터 확률에 ridge regression을 붙인 probe가 창 단위 AUROC 0.92, 시퀀스 단위 AUROC 0.95를 냈다. 스도쿠는 전략 설명 토큰을 라우터에만 보이게 훈련하고 추론 때 중립 filler로 바꾼 뒤 5개 전략의 mode 경로를 강제했을 때 요청 전략을 거의 100% 따랐고, 전략 토큰 [Sx]를 주면 거의 100% 정확도로 풀었다. 미로는 8×8에서 BFS, DFS, A*, 양방향 탐색, dead-end filling을 같은 출력 문법으로 훈련했는데, 경로를 강제하면 요청 알고리즘의 방문 순서를 거의 100% 재현했다.
전제와 한계
1B 파라미터, 16레이어 모델에서는 4 prelude, 4 coda, core depth 8로 Nemotron과 OpenMath 혼합 데이터를 약 90 ExaFLOPs(가장 효율적인 모델 기준 약 20B 토큰) 훈련했다. 학습 손실은 파라미터 동등 dense baseline과 경쟁적이었고, ARC-Easy, ARC-Challenge, HellaSwag, PIQA, GSM8K 평가는 대부분 2 표준오차 안에서 경쟁적이었으며 예외적으로 vanilla 모델이 ARC-Easy에서 낮았다. 라이브러리 크기 실험에서는 360M 모델로 FineWeb 10B 토큰을 훈련해 Huginn 루프형 모델과 손실이 경쟁적이었지만 LoL이 3개 시드에서 최종 손실 분산이 조금 더 컸고, 저자들은 라우터 초기화에 따른 경로 탐색 차이로 추정한다. 3:2 희소성 MoE 비교에서는 MoE가 레이어당 3개 전문가 중 2개를 쓰고 LoL이 16 routed depth에 24개 전문가를 쓰도록 맞췄으며, 약 17 ExaFLOPs(약 10B 토큰)에서 MoE 손실이 약 0.05 더 낮았다(2.75 vs. 2.8).
개발자 관점에서 LoL의 의미는 추론 시 계산 그래프를 입력별로 바꾸는 연구용 설계를 제공하고, 그 경로를 읽고 강제할 수 있게 한다는 데 있다. 라이브러리 크기 L을 조절해 같은 아키텍처 계열에서 레이어 재사용이 많은 dense에 가까운 동작과 많은 블록이 비활성인 MoE에 가까운 동작을 비교할 수 있고, 라우팅 경로를 해석해 언어·전략·안전성 같은 latent computation을 분석할 수 있다. 실무에 바로 적용하려면 창 단위 라우팅의 지연·처리량, 라우터 학습 안정성, 경로 강제가 일반 성능을 해치지 않는지, 창 크기와 stride가 긴 문맥에서 어떤 비용을 만드는지 검증해야 한다. 또한 이 논문은 주로 360M·1B 규모와 연구용 데이터에서 평가했으므로 대규모 프로덕션 모델의 대체재로 단정할 수 없다.
저자들은 LoL을 동적 레이어 순서에 대한 초기 탐구로 규정하며, 설계가 앞으로 크게 개선될 수 있다고 말한다. 라우팅 경로가 언어·알고리즘·안전 라벨과 상관있고 개입 가능하다는 결과는 제시했지만, 채팅에서 거짓말·계략·안전 행동을 라우팅 개입으로 제어할 수 있는지는 열린 질문으로 남긴다. 추론 시 훈련 때보다 큰 계산 깊이를 쓰는 test-time scaling, 테스트 시점 학습 가능한 어댑터 라이브러리와 top-1 라우팅 결합도 미래 과제다. 수학 데이터는 합성이라 손실 값이 다른 실험보다 낮고, MoE 비교에서는 LoL 손실이 약간 높았으며, 루프형 비교에서는 시드 분산이 더 컸다는 점도 해석할 때 함께 봐야 한다.