ECHO는 마지막 층 재사용으로 다중 토큰 예측을 자기회귀 목표로 바꾼다
ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
무엇인가
이 논문은 대규모 언어모델의 다음 토큰 예측(NTP)이 즉각적인 한 토큰만 감독하고 자기회귀 디코딩이 순차적이라 처리량이 제한되는 문제를 다룬다. 기존 다중 토큰 예측(MTP)은 미래 토큰을 보조 목표로 추가해 감독을 촘촘하게 하고 추측 디코딩용 드래프트를 얻지만, 미래 예측을 백본에 붙은 별도 모듈이 맡아 다중 지평 손실이 백본에 간접적으로만 전달되고, 지평을 하나 늘릴 때마다 모듈과 추가 패스가 드는 두 비용이 있다. DeepSeek-V3식 인과 MTP도 이전 은닉 상태와 이동된 토큰 임베딩을 전용 모듈에 넣어 인과 의존성을 보존하지만 구조적으로 보조적이다. 사후 드래프터는 동결된 타깃에서 작은 데이터로 파인튜닝되어 타깃과의 정렬이 좁고, 사전훈련 코퍼스 규모로 확장하기에는 계산 부담이 크다.
어떻게 동작하나
ECHO는 백본의 마지막 디코더 층 T^L과 출력 헤드를 모든 지평에서 재귀적으로 재사용한다. 첫 지평은 h_1^L을 쓰고, t>1인 지평은 h_t^L = T^L(F(h_{t-1}^L, e(x_t)))로 계산한다. 여기서 F는 이전 단계의 마지막 은닉 상태와 직전에 예측한 토큰의 임베딩을 연결하는 경량 융합 층이다. 미래 예측에 쓰이는 파라미터 대부분이 다음 토큰 생성에도 쓰이므로 모든 지평의 감독이 백본의 다음 토큰 생성 파라미터에 직접 작용하고, 같은 층을 반복 적용해 훈련 깊이를 넘는 드래프팅도 가능하다. 보조 모듈을 쓰면 신호가 모듈에 흡수되어 백본 은닉층은 다음 토큰에 특화되는데, 공유는 이 병목을 구조적으로 없앤다. 같은 층을 반복한다는 점은 루프 트랜스포머와 닮았지만, ECHO는 같은 토큰 위치를 정제하는 것이 아니라 다음 미래 토큰을 조건으로 한 칸 더 앞을 예측하며 지평을 따라 재귀한다.
무엇과 다른가
훈련 비용을 줄이기 위해 Dynamic Depth Sampling(DDS)을 쓴다. 각 옵티마이저 스텝에서 예측 깊이 D를 1부터 K까지의 분포 π(k)에서 뽑고 1부터 D까지 재귀를 펼친다. 기대 깊이는 E[D]=Σ kπ(k)이며, 실제로는 K=3, π=(0.6,0.3,0.1)로 E[D]=1.5를 써서 세 깊이를 모두 훈련할 때의 절반 오버헤드로 줄인다. 이 오버헤드는 백본 위에 추가되는 깊이-1 모듈 기준 언롤 횟수이지 전체 훈련 스텝 비용이 아니다. DDS는 어떤 깊이를 훈련하는지를 바꾸지 않고 얼마나 자주 훈련하는지를 바꾸며, 깊은 지평의 잡음을 줄이려고 얕은 깊이에 더 자주 집중한다.
어떻게 쓰나
DDS는 추측 디코딩의 수용 동역학과도 맞닿아 있다. 드래프트는 첫 거절 이후 버려지므로 위치 d에 도달할 확률은 앞선 수용률의 곱이고, 기대 수용 길이는 E[τ]=1+Σ_{d=1}^K Π_{i=1}^d a_i로 표현된다. 깊이 k가 훈련될 빈도는 f_k=P(D≥k)=Σ_{j=k}^K π(j)가 되어 π=(0.6,0.3,0.1)이면 f=(1,0.4,0.1)이 된다. 논문은 균등 깊이 감독보다 깊이에 따라 감소하는 스케줄이 MTP 손실과 수용 길이의 경계를 더 조이게 만들어, 얕은 깊이의 정렬을 유지하면서 긴 지평 감독 비용을 줄인다고 주장한다.
전제와 한계
실험은 24층 10B-A1B Latent MoE 백본(MLA, 256 라우티드 전문가 중 토큰당 8개 활성)을 같은 레시피로 훈련해 MTP 설계만 비교한다. 600B 토큰, 시퀀스 길이 4096, 배치 1920, bfloat16, Muon, H800 192개로 약 3일 사전훈련하고, 32768 문맥의 사내 채팅 코퍼스 1패스로 5000스텝 SFT한다. 14개 few-shot 벤치마크를 그리디 디코딩하고 수학·추론·다중선택·코드·폐쇄형 QA로 묶어 평가하며 MATH, GSM8K, BBH에는 CoT를 쓴다. DeepSeek MTP와 같은 깊이에서 비교하면 깊이 1에서 수학 +0.79, 추론 +0.57, 코드 +1.35이고, 깊이 3에서는 추론 +2.63, 코드 +2.23이다. 깊이 1에서 3으로 늘릴 때 14개 벤치마크 평균 개선은 ECHO 0.63점, DeepSeek MTP 0.16점이다. ECHO-1.5(3)는 ECHO-3와 벤치마크 평균 36.34 대 36.36으로 맞먹으면서 MTP 오버헤드는 절반이고, MTP-1 대비 수학 +1.00, 추론 +1.31, 코드 +2.37, 두 배 예산의 MTP-3 대비 +0.55, +2.31, +1.67을 낸다.
데이터를 78k에서 156k 스텝으로 두 배 늘려도 ECHO-1의 MTP-1 대비 우위는 +0.52에서 +0.50으로 유지되고, 추론·코드에서는 +0.88과 +0.89로 유지된다. 깊이를 늘린 ECHO-2(7)는 1~7 깊이를 E[D]=2로 샘플링해 ECHO-1.5(3)의 4/3 오버헤드를 쓰며, 사전훈련에서는 뒤지지만 SFT 후 0.49 앞서고 DeepSeek MTP-Instruct 대비 +2.10으로 가장 큰 격차를 보인다. 같은 레시피로 사전훈련을 한 번 더 반복한 실험에서 ECHO는 MTP-1을 +0.52와 +0.78 앞섰고 추론·코드 격차는 0.11만 움직였다. 추측 디코딩은 T=1 리젝션 샘플링, SGLang 단일 노드 8 H800, 검증당 7개 제안과 1개 보너스 토큰으로 예산을 맞췄다. 훈련 깊이 K>3를 넘겨도 ECHO가 거의 일정한 비율로 수용 길이를 늘리는 반면 MTP-3는 이득이 줄고 포화되며, ECHO-1.5(3)가 절반 오버헤드로 이를 유지한다.
실서빙 조건에서 ECHO는 사후 드래프터 파인튜닝을 없애고도 개방형·고엔트로피 생성에서 사후 드래프터를 앞선다. 고엔트로피에서는 인과 드래프터가 병렬 드래프터보다 유리하고, HumanEval·MBPP·GSM8K처럼 긴 구간이 문법이나 유도로 결정되는 단순 코드·수학에서는 블록 병렬 드래프팅이 유리할 수 있지만 SWE-bench 같은 실제 소프트웨어 엔지니어링 과제는 여전히 고엔트로피라 인과 드래프팅이 낫다고 보고한다. 논문은 이런 단순 과제가 소비자 ChatGPT 메시지의 8% 미만이고 개방형 실용 안내·정보 탐색·글쓰기가 약 80%라고 인용한다. 웜스타트 EAGLE-3도 콜드스타트보다 낫지만 개방형 과제에서는 ECHO보다 뒤지고 SWE-bench에서 격차가 가장 크다. 개발자 관점에서는 MTP를 별도 헤드로 붙이는 대신 백본 마지막 층 재사용과 확률적 깊이 샘플링을 결합하는 선택지, 그리고 사후 드래프터 없이 추측 디코딩을 운영할 가능성을 검토할 만하다. 다만 자체 모델 규모와 서빙 스택에서 수용률, 엔트로피 구간, SFT 후 효과를 재현해 확인해야 한다.
저자들은 계산 제약으로 사전훈련을 한 번만 반복했고 파인튜닝은 단일 시드로 돌렸다고 밝힌다. 추가 깊이와 깊이 외삽의 이득이 어디까지 확장되는지, DDS가 더 큰 깊이에서 어떻게 작동하는지, 깊은 샘플링이 SFT 후에만 이득을 내는 이유는 향후 과제로 남긴다. 또한 실험은 10B-A1B 백본과 600B 토큰, 14개 벤치마크, T=1 추측 디코딩 설정에 한정되므로 다른 규모나 디코딩 온도에서의 일반화는 원문에서 검증되지 않았다.