NCM은 텍스트를 계층 코드로 압축해 확산 모델보다 21배 빠르게 생성한다
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
무엇인가
확산 언어모델(DLM)은 한 번에 여러 토큰을 병렬로 만들어 자기회귀 모델보다 빠르다는 점이 최대 매력이지만, 실제로는 세 가지 문제를 안고 있다. 첫째, 병렬 예측을 하더라도 디노이징 패스를 여러 번 반복해야 하고 패스를 줄이면 품질이 급격히 떨어진다. 둘째, 매 스텝마다 전체 시퀀스를 처리하며 양방향 어텐션이라 자기회귀식 KV 캐시를 재사용할 수 없다. 셋째, DUO나 MDLM 같은 강한 베이스라인은 OpenWebText를 100만 스텝, 500B 토큰 이상으로 학습한다. 증류나 few-step 샘플러 같은 기존 해법은 추가 학습 단계를 요구하고 샘플 다양성을 떨어뜨리며, 스텝당 비용은 그대로 둔다. 블록 자기회귀 확산은 KV 캐시를 되살리는 대신 블록을 순차 생성해야 해 병렬성을 잃는다.
어떻게 동작하나
이 논문이 제안하는 Next-Concept Modeling(NCM)은 표현 자체와 생성 순서를 동시에 바꾸는 2단계 프레임워크다. 1단계에서는 multiscale residual VQ-VAE 토크나이저를 학습한다. 인코더가 텍스트를 L개의 잠재 벡터로 만들면, 레벨 k가 이전 레벨들이 남긴 잔차를 ℓ_k개 벡터로 다운샘플하고 각 벡터를 해당 레벨 코드북의 최근접 항목으로 양자화한다. 선택된 코드북 벡터는 재구성 연산자 R_k를 거쳐 길이 L 기여로 매핑된 뒤 누적 재구성에 더해지고, 잔차는 다시 갱신된다. 레벨 길이는 ℓ_1 < ℓ_2 < … < ℓ_K = L로, 앞쪽 레벨은 짧고 굵게 뒤쪽 레벨은 길고 세밀하게 표현한다. 학습에는 nested dropout을 써서 임의의 컷오프 k까지만 남긴 재구성으로 손실을 계산함으로써, 초기 레벨이 세밀한 레벨에 의존하지 않고 의미 있는 정보를 담도록 강제한다. 손실은 재구성 크로스엔트로피에 VQ commitment 항과 잠재 양자화 항을 더한 형태이고, 이산 양자화 구간은 straight-through estimator로 통과시킨다.
무엇과 다른가
2단계에서는 토크나이저를 동결하고 트랜스포머를 학습한다. 생성 확률은 레벨별 조건부 확률의 곱 p(r_1:K) = ∏ p(r_k | z^(k-1))로 분해되며, 이전 레벨들의 누적 재구성을 조건으로 받은 트랜스포머가 해당 레벨의 모든 코드를 단 한 번의 forward pass로 병렬 예측한다. 즉 전체 시퀀스 길이 L이 아니라 레벨 수 K번의 순차 스텝만 필요하고, 초기 굵은 레벨에서는 처리하는 위치 수 자체가 적어 스텝당 비용도 낮다. 학습 시에는 조건 코드의 일부를 같은 레벨 코드북의 다른 코드로 교체하는 conditioning corruption을 적용해 생성 중 VQ 코드 오류가 누적되는 상황에 강건하게 만든다. 레벨별 손실 가중치는 w_k = ℓ_k^(-α) / Σ ℓ_j^(1-α)로, α=0이면 모든 코드 위치가 균등하고 α=1이면 레벨마다 균등해진다. 프롬프트 조건부 생성은 prefix-LM 어텐션 패턴으로 지원하며, 프롬프트 위치는 서로만 참조하고 타깃 블록은 프롬프트와 자기 자신을 참조한다.
어떻게 쓰나
실험은 약 100M 파라미터 규모에서 이뤄졌다. 토크나이저 품질부터 보면, 정확한 복원이 필수인 스도쿠에서 재구성 정확도 100%를 기록했고 요약·번역에서는 토큰 단위 정확도가 거의 100%에 근접했다. 코드북 평균 활용률은 데이터셋에 따라 62~90%다. 무조건 생성에서는 TinyStories, LM1B, OpenWebText에서 GPT-2-large를 기준 모델로 한 생성 퍼플렉시티를 샘플 엔트로피와 함께 보고했는데, LM1B에서 최강 DLM 베이스라인인 DUO보다 좋은 생성 퍼플렉시티를 내면서 함수 평가 횟수(NFE)는 11배 적고 wall-clock은 21배 빨랐다. OpenWebText에서는 최강 DLM과 경쟁력 있는 수준을 10배 빠르게 달성했다. 조건부 생성에서는 XSum 요약에서 AURORA-LM보다 NFE를 16배 줄이고 31배 빠르면서 ROUGE-L이 동등했고, MBR 디코딩으로 후보를 여러 개 뽑으면 ROUGE-1/2/L 세 지표 모두에서 AURORA-LM을 앞섰다. WMT14 독일어-영어 번역에서는 E2D2에만 뒤졌고 NFE는 5.8배 적게 썼다. 추론 과제인 스도쿠에서는 단서 수 40/35/30으로 나눈 세 난이도 모두에서 자기회귀 베이스라인과 최강 확산 베이스라인 FMLM+를 더 적은 NFE로 능가했다.
전제와 한계
학습 효율과 스케일링도 함께 보고한다. LM1B에서 토크나이저와 제너레이터를 합쳐 13.36B 길이의 토큰 위치를 처리했는데, 이는 베이스라인들의 66B보다 약 4.9배 적은 양이다(데이터 반복 패스까지 포함한 계산). 저자들은 NCM의 고정된 coarse-to-fine 순서가 확산 베이스라인이 학습해야 하는 여러 생성 순서보다 학습을 단순하게 만든다는 해석을 제시한다. 제너레이터를 97M, 317M, 725M으로 키우면 동일한 학습 토큰 예산에서 생성 퍼플렉시티와 샘플 다양성이 함께 개선됐지만, 저자들은 이를 예비적(preliminary) 스케일링 결과로 표현한다. 같은 샘플링 시간 예산 안에서 후보를 더 많이 생성하고 MBR로 선택하면 최강 요약 베이스라인보다 ROUGE-L이 약 7% 높아진다는 결과도 제시한다.
개발자 관점에서 이 논문이 유용한 지점은 추론 지연 시간이 서비스 비용을 지배하는 상황이다. 토큰을 하나씩 확정하는 자기회귀 방식과 달리 전체 시퀀스의 굵은 표현을 먼저 세우고 점차 세밀화하므로, 스도쿠처럼 출력 전체에 걸친 제약을 동시에 만족해야 하는 생성이나 구조화 출력, 코드 생성에서 좌에서 우로 확정해버리는 방식보다 유리할 수 있다. 다만 도입 전에 확인할 것은 데이터셋마다 토크나이저와 제너레이터를 별도로 학습해야 한다는 점, 토크나이저 복원 오류가 정확성이 중요한 태스크에서는 치명적일 수 있다는 점, 그리고 공개된 결과가 약 100M 파라미터 규모라는 점이다. 코드는 GitHub에 공개돼 있다.
저자들이 본문에서 밝힌 전제와 한계는 다음과 같다. 토크나이저의 재구성 오류는 관련 단어나 개체를 다른 것으로 치환하는 형태로 나타나며, 그 영향은 문맥에 따라 달라진다. 이미지에서는 눈에 띄지 않는 오류도 텍스트에서는 의미를 바꾸거나 코드를 실행 불가능하게 만들거나 스도쿠 해를 무효화할 수 있다. 스케일링 실험은 예비적 결과이며, 각 데이터셋에 별도의 토크나이저와 제너레이터를 학습해야 한다는 점도 전제로 깔려 있다. 제공된 원문 범위에는 별도의 한계 절이 없어, 위 내용이 본문에 명시된 전제에 해당한다.