CopyLoop가 반복 컨텍스트 복사로 루프 트랜스포머 디코딩을 가속한다

무엇인가

루프 트랜스포머는 같은 블록을 여러 번 재적용해 파라미터를 늘리지 않고도 계산 용량을 키운다. 문제는 이 '반복 깊이'가 그대로 디코딩 비용이 된다는 점이다. 토큰 하나를 뽑을 때마다 전체 깊이만큼 블록을 돌려야 하므로, 생성이 길어질수록 비용이 선형 이상으로 누적된다. 기존의 투기적(speculative) 파이프라인은 연속된 토큰 위치를 서로 다른 깊이에서 처리해 이 비용을 줄이려 했지만, 디코딩 자체가 순차적으로 진행되는 구조적 오버헤드에 발목을 잡혔다.

어떻게 동작하나

CopyLoop는 이 지점을 학습 없이(training-free) 공략하는 디코딩 알고리즘이다. 구성 요소는 세 가지다. 첫째, 문맥 복사(context copying) 기반 제안. 둘째, 얕은 깊이에서의 스크리닝. 셋째, 연속적 반복 스케줄링(continuous recurrent scheduling). 세 요소를 조합해 '한 토큰씩 차례로 생성'하는 방식을 바꾸는 것이 핵심이다.

무엇과 다른가

절차는 이렇다. 모델은 우선 반복적으로 등장하는 문맥에서 여러 토큰으로 이루어진 접미사(suffix) 후보를 통째로 제안한다. 그다음 이 후보들을 얕은 반복 깊이에서 조기에 평가해, 틀린 가지만 빠르게 걸러낸다. 이때 앞선 블록들이 아직 전체 깊이 검증을 향해 진행 중인 상태에서도 뒤에 새로 들어온 블록들을 동시에 처리한다. 깊은 계산을 기다렸다가 다음 토큰으로 넘어가는 대신, 얕은 계산과 깊은 계산을 겹쳐 놓는 구조다.

어떻게 쓰나

실험은 Ouro, Raven, Huginn 계열의 6개 모델 체크포인트를 대상으로, 코드 생성과 여러 단계를 요구하는 수학적 추론 과제에서 이뤄졌다. 보고된 디코딩 속도 향상은 Base 모델에서 전체 깊이 자기회귀 디코딩 대비 2.98배에서 10.70배, Thinking 모델에서 2.74배에서 3.52배다. 저자들은 평가 과제 전반에서 경쟁 베이스라인들을 일관되게 앞서거나 근접했다고 밝힌다.

전제와 한계

소거 연구(ablation)에서는 얕은 스크리닝과 연속 스케줄링 사이의 강한 시너지가 확인됐다. 또한 분석에 따르면 CopyLoop는 가벼운 모델 캘리브레이션만 요구하며, 재사용 가능한 문맥이 있는 긴 생성에서 더 큰 속도 향상을 낸다. 즉 이득의 크기가 생성 길이와 문맥의 반복성에 의존한다는 뜻이다.

개발자 입장에서 이 논문이 흥미로운 이유는 재학습 없이 디코딩 계층에 얹는 방식이라는 점이다. 코드 생성이나 단계별 추론처럼 출력이 길고, 프롬프트·템플릿·기존 코드 같은 재사용 문맥이 많은 워크로드에서 특히 노려볼 만하다. 다만 도입 전에 확인할 것이 있다. 얕은 깊이에서 후보를 걸러내는 과정이 최종 출력 품질에 어떤 영향을 주는지, 그리고 '가벼운 캘리브레이션'이 실제로 어느 정도의 데이터와 비용을 요구하는지는 초록만으로는 판단할 수 없다.

한계도 분명하다. 평가 대상이 Ouro·Raven·Huginn으로 대표되는 루프 트랜스포머 계열 6개 체크포인트에 한정돼 있어, 일반 트랜스포머 스택에 그대로 적용된다고 보기는 어렵다. 속도 향상 역시 재사용 가능한 문맥이 있는 긴 생성이라는 조건에 기대고 있으며, 캘리브레이션이라는 사전 단계를 전제로 한다. 문맥 반복이 적은 짧은 생성에서는 이득이 줄어들 수 있다는 점을 감안해야 한다.