연속 확산 언어모델용 트랜스포머 LangDiT가 생성 품질을 끌어올린다

무엇인가

연속 확산 언어모델(CDLM)은 토큰을 순차적으로 예측하는 대신, 토큰 시퀀스의 연속 표현을 반복적 디노이징으로 병렬 갱신하는 대안이다. 문제는 지금까지 대부분의 연구가 인과적 대규모 언어모델(LLM)이나 이미지 생성용 Diffusion Transformer(DiT)의 트랜스포머 구조를 그대로 가져다 썼다는 점이다. 인과적 LLM은 다음 토큰 예측에, 이미지 DiT는 연속 시각 표현에 맞춰진 구조라 CDLM이 요구하는 조건—노이즈 낀 연속 상태에서 이산 토큰을 복원하고, 노이즈 의존 계산과 어휘 예측, 자기조건화를 함께 조율하는 것—에 최적화되어 있지 않다. 이 논문은 "CDLM에 가장 적합한 트랜스포머 구조는 무엇인가"를 체계적으로 실험한다.

어떻게 동작하나

저자들은 LangFlow 공식화를 기준선으로 두고, 표현·학습 목적·노이즈 스케줄·추론 샘플러를 고정한 채 백본만 바꿔가며 세 축을 연구한다. 첫째는 백본 내부다. LayerNorm이 특징 평균을 빼는 재중심화를 제거한 RMSNorm을 각 블록의 사전 정규화 2곳과 어휘 헤드에 적용하고(파라미터 수는 유지), 어텐션의 쿼리·키 64차원 벡터에 별도 RMSNorm을 걸어 로짓 스케일을 입력 노름과 분리한다. 노이즈 조건화 벡터 폭은 128에서 256으로 늘려 타임스텝 MLP를 256→256→256으로 키우는데, 이는 7.36M 파라미터(기준선의 2.25%)를 추가하는 변경이다.

무엇과 다른가

둘째는 어휘 인터페이스다. 가우시안 손상 하에서 노이즈 상태와 신호 스케일된 코드북 임베딩 사이의 거리는 해당 토큰에 대한 국소 증거를 주고, 이는 c_skip(γ)=α_γ/σ_γ²로 스케일된 내적으로 환원된다. LangDiT는 이 우도 숏컷의 코드북 인자에 stop-gradient를 걸어 직접 그래디언트 경로를 끊고, 노이즈 임베딩에서 계산한 유계 게이트 a_ψ(γ)=exp(clip(f_ψ(c_γ), −log2, log2))로 순전파 기여를 [0.5, 2] 범위에서 보정한다(초기값 1). 셋째는 자기조건화다. 학습 예제의 25%에서 자기조건화를 켜되, 그래디언트 없이 부트스트랩 예측을 먼저 만들고 토큰 엔트로피 기반 가중치 w_i=clip(1−H_i/log|V|, 0, 1)를 곱해 확신이 낮은 보조 입력의 영향을 줄인다. 추론 샘플러와 추론 시 자기조건화는 가중치 없는 사후평균 추정을 그대로 쓴다.

어떻게 쓰나

실험은 OpenWebText 1024토큰 무조건 생성, Qwen3 토크나이저(출력 151,936개), GPT-2 Large 평가, 1024개 샘플 기준이다. 동일한 250k 업데이트 스케줄에서 128 NFE일 때 생성 퍼플렉시티(GenPPL)가 64.26에서 53.66으로 16.5% 상대 감소했고, 평균 샘플별 유니그램 엔트로피는 5.416에서 5.391로 거의 유지됐다. 50k 업데이트 시점의 누적 ablation은 87.48(기준선) → 84.41(백본 RMSNorm) → 84.37(Q/K RMSNorm) → 80.74(조건화 확대) → 79.35(숏컷 detach) → 74.03(보정 게이트) → 61.73(신뢰도 게이트 자기조건화)으로, 전체 29.4% 감소했다. 인접 단계 중 가장 큰 감소는 신뢰도 게이트 학습 자기조건화에서 나왔다.

전제와 한계

확장 학습 결과도 보고된다. 660k 업데이트 LangFlow 체크포인트는 128 NFE에서 44.72, 1024 NFE에서 21.72 GenPPL을 기록했고, Plaid 스타일 공식화에 이식한 520k 체크포인트는 129회 호출에서 27.51, 1025회 호출에서 11.33을 냈다. 참고로 논문이 인용한 공개 모델 GenPPL은 MDLM 104.9, SEDD Uniform 103.6, Duo 77.6, FLM 62.2, LangFlow 36.5, 자기회귀 트랜스포머 35.9인데, 이 수치들은 각 출처의 학습·평가 프로토콜을 그대로 유지한 것이라 직접 비교 대상은 아니다. 파라미터는 전체 334.45M 대 기준선 327.09M이고, 코드북과 untied 어휘 투영을 제외하면 101.07M 대 93.71M이다.

개발자 관점에서 이 논문의 실용적 요점은 LangDiT가 플러그앤플레이 백본이라는 것이다. 기존 CDLM의 연속 표현, 학습 목적, 추론 샘플러를 건드리지 않고 디노이저 트랜스포머만 교체해 GenPPL을 낮출 수 있고, Plaid처럼 연속 상태 폭이 16차원이고 자체 입력 인터페이스를 가진 공식화에도 호환되는 구성요소만 골라 이식할 수 있다. 다만 GenPPL 하락이 항상 좋은 생성이라는 뜻은 아니라는 점을 논문 스스로 강조한다. 저자들은 GenPPL과 함께 평균 유니그램 엔트로피를, 그리고 NFE(디노이저 호출 수) 예산을 명시해 보고하라고 사실상 권고한다. 확장 학습 체크포인트에서는 GenPPL이 낮아질수록 엔트로피 변화도 커졌는데, 이는 어휘 다양성 변화를 함께 봐야 한다는 신호다.

한계는 저자들이 명시적으로 밝힌다. 연구 범위가 OpenWebText 1024토큰, 단일 백본 스케일, 단일 학습 시드에 국한된다. 누적 ablation은 고정된 설계 순서를 따라가며 각 단계의 증분을 재는 방식이라 개별 구성요소의 독립적 기여나 통계적 유의성을 주장하지 않는다. 노이즈 조건화 확대는 파라미터 증가를 포함하므로 조건화 자체만의 효과를 분리하지 못한다. 파라미터·연산 매칭 비교, 구성요소 제거 ablation, 추가 시드 실험이 필요하고, 제안한 최적화 설명을 검증할 어텐션 진단과 코드북 그래디언트 정렬 측정도 아직 없다. Plaid 비교는 학습 진행도가 서로 다른 체크포인트를 쓴 것이고, 확장 학습 결과 역시 아키텍처 효과를 학습 예산에서 분리하지 못한다. 마지막으로 GenPPL과 유니그램 엔트로피는 생성 품질의 일부 측면만 잡으므로 일관성, 의미 다양성, 분포 커버리지 평가가 별도로 필요하다.