Cola2가 연속 잠재 압축과 이산 디코더를 공동 적응시켜 계층적 언어 생성을 완성한다
Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
무엇인가
계층적 언어 생성은 연속적인 의미 모델링과 이산 텍스트 실현을 분리한다. 이 분리는 매력적이지만 성립 조건이 까다롭다. 잠재 공간이 무엇을 압축하는지, 그리고 이산 생성기가 그 잠재를 실제로 어떻게 활용하는지에 성능이 좌우되기 때문이다. Cola2는 이 두 질문을 하나의 프레임워크에서 함께 다룬다. 구체적으로 연속 의미 압축의 형태, 재구성과 생성 사이의 균형, 연속 표현과 이산 생성기 사이의 공동 적응(co-adaptation)을 동시에 학습 대상으로 놓는다.
어떻게 동작하나
압축 쪽 설계의 핵심은 텍스트를 고정 길이가 아닌 의미 단위(span)로 동적으로 분절하는 것이다. 분절된 span들이 잠재 표현으로 압축되는데, 압축률은 보조 손실(auxiliary loss)에 의존하지 않는 음의 피드백(negative feedback) 방식으로 제어한다. 보조 손실 가중치를 튜닝하지 않고도 압축 강도를 조절하겠다는 의도다. 여기에 재구성 손실과 생성 손실을 함께 걸어, 잠재가 원문을 복원할 수 있을 만큼 정보를 담으면서 동시에 다음 의미를 예측할 수 있는 조밀한 표현이 되도록 학습한다.
무엇과 다른가
이산 생성기는 블록 인과(block-causal) 마스크드 디퓨전 디코더다. 학습 시 잠재 조건을 세 가지로 흔들어 준다. 깨끗한 잠재, 노이즈가 섞인 잠재, 잠재를 아예 제거한 조건이다. 이렇게 하면 디코더가 불완전한 잠재에서도 텍스트를 복원하고, 잠재 없이도 그럴듯한 토큰을 생성하는 능력을 함께 갖추게 된다. 추론 시에는 classifier-free guidance로 재구성 쪽과 자율 생성 쪽의 균형을 조정한다. 즉 같은 디코더로 '원문에 충실한 복원'과 '스스로 이어 쓰는 생성' 사이의 강도를 조절할 수 있다.
어떻게 쓰나
학습 신호의 흐름도 분리해 설계했다. 토큰 예측에서 나온 그래디언트는 잠재를 거쳐 인코더까지 역전파되어, 인코더가 디코더가 실제로 쓰는 표현을 만들도록 공동 적응한다. 반면 Flow Matching 기반의 사전(prior) 학습은 stop-gradient로 표현 학습과 분리한다. 사전 학습이 표현 자체를 왜곡하지 않게 하려는 장치다. 추론 단계에서는 생성된 텍스트를 고정된 span 레이아웃 아래 다시 인코딩한다. 잠재 히스토리가 실제 생성된 텍스트 문맥과 어긋나지 않도록 매 단계 잠재를 현재 문맥에 맞춰 갱신하는 절차다.
전제와 한계
실험은 약 2,100억 학습 토큰 규모에서 다섯 개 다운스트림 과제로 핵심 설계를 검증했고, 스케일링이 포화되지 않고 경쟁력 있게 이어진다고 보고한다. 더 큰 규모로는 3,460.3억 소스 토큰을 사용한 미수렴(unconverged) 체크포인트가 여덟 개 과제에서 평균 60.10을 기록했다. 이 체크포인트는 HellaSwag와 StoryCloze에서 Llama-3-8B를 앞섰는데, 논문에 따르면 Llama-3-8B의 사전학습 예산은 Cola2 쪽보다 43배 이상 크다. 다만 여덟 개 과제의 개별 점수, 비교 베이스라인 목록, 과제별 향상 폭은 공개된 요약 범위에서는 수치가 제시되지 않았다.
개발자 관점에서 이 논문의 쓸모는 '토큰을 하나씩 예측하는 대신 의미를 압축한 잠재를 먼저 만들고, 그 잠재를 조건으로 텍스트를 푸는' 파이프라인을 대규모로 굴려본 레시피에 있다. 압축률을 보조 손실 없이 피드백으로 제어하는 방식, 잠재를 노이즈·드롭으로 흔들어 디코더를 견고하게 만드는 커리큘럼, stop-gradient로 사전 학습과 표현 학습을 분리하는 선택은 latent 기반 생성이나 긴 문맥 압축을 다루는 시스템에서 그대로 참고할 만한 설계 결정이다. 도입을 검토한다면 잠재 재인코딩 비용, guidance 강도에 따른 복원-생성 트레이드오프, 압축률 제어가 실제 지연시간에 주는 영향을 먼저 확인해야 한다.
저자들이 밝힌 전제도 분명하다. 60.10이라는 평균은 미수렴 체크포인트에서 나온 값이며, Llama-3-8B와의 비교는 상대의 '보고된' 사전학습 예산에 기반한 것이다. 즉 학습 토큰·데이터·레시피가 다른 조건 간 비교이므로 동일 예산에서의 우열을 뜻하지는 않는다. 또한 이 방법의 효과 자체가 잠재 공간이 무엇을 압축하는지와 디코더가 그 잠재를 어떻게 쓰는지에 달려 있다는 것이 논문이 처음부터 인정하는 구조적 전제다.