RangeSWA는 학습 없이 확산 언어모델의 장문 생성 열화를 완화한다

무엇인가

연속 확산 언어모델은 토큰을 하나씩 생성하는 자기회귀 모델과 달리 전체 시퀀스를 반복적 디노이징으로 갱신하며 양방향 문맥을 사용한다. 문제는 학습 길이 T=1024를 넘는 L>T 생성에서 전체 어텐션이 학습 중 보지 못한 위치 거리를 만나 반복, 의미 표류, 품질 저하를 일으킨다는 점이다. 논문은 이런 열화가 낮은 생성 퍼플렉시티에 가려질 수 있다고 지적한다. 기존 학습 없는 길이 외삽법은 주로 자기회귀 모델용이었고, 슬라이딩 윈도 어텐션은 긴 위치 거리를 피하지만 원거리 문맥을 잃고 조건 정보에 대한 어텐션 배분까지 바꾼다. 저자들은 위치 불일치, 불안정한 조건 어텐션, 제한된 원거리 문맥 접근을 세 가지 핵심 난제로 든다.

어떻게 동작하나

RangeSWA는 사전학습 파라미터를 갱신하지 않고 자기어텐션을 대체하는 학습 없는 방법이다. 몸통 토큰 쿼리 i에 대해 후보 집합을 제어 토큰 C, 중심 지역 윈도 N_i, 검색된 정확 토큰 R_i, 원격 블록 요약 B_i의 합집합으로 두고 하나의 소프트맥스로 읽는다. 원격 블록 요약은 몸통 토큰을 G=16 크기 블록으로 나눈 뒤 위치 회전된 키의 평균과 값의 평균으로 각 블록을 표현한다. 블록 점수는 q_i^T kbar_B / sqrt(d) + log|B|로 계산하며, 그룹 위치를 쓰는 요약에는 -log g 보정을 추가하고 지역·검색 토큰과 겹치는 블록은 제외한다. 이 구조로 지역 세부 정보를 보존하면서 긴 범위 문맥 접근을 시도한다.

무엇과 다른가

동적 콘텐츠 검색은 쿼리를 128토큰 블록, 키를 64토큰 블록으로 묶고 각 어텐션 헤드가 RoPE 적용 전 평균 쿼리와 평균 키의 내적으로 원격 블록 점수를 매긴다. 쿼리 블록마다 최대 K=8개의 유효 블록을 골라 원래 토큰을 R_i에 넣고, 선택은 매 레이어와 모델 호출마다 다시 계산해 진화하는 표현을 따른다. 위치 재매핑은 H=512 이내 상호작용에는 원래 RoPE 위치를 유지하고, 더 먼 상호작용에는 Self-Extend식 그룹 좌표를 써서 유효 쿼리-키 거리가 최대 T-1=1023이 되게 한다. L≤T에서는 위치를 바꾸지 않는다. 조건 어텐션 보정은 시간, 자기조건화 안내, 생성 모드를 담은 12개의 비회전 제어 토큰을 다룬다. L>T일 때 제어-몸통 양방향에는 보간 좌표 i(T-1)/(L-1)를 쓰고, 제어 쿼리가 몸통 키를 볼 때 점수에서 log(L/T)를 빼 키 수 증가를 보상한다. 디노이징 단계 적응 윈도는 디코딩 호출 2047, t<0.182에서 1023, t≥0.182에서 256을 사용하며 t=0은 순수 노이즈다. RangeSWA-Lite는 먼 필드, 검색, 고노이즈 넓은 윈도를 제거하고 H=1024 이내 요약, 조건 보정, 제한된 디코더 윈도만 남겨 쿼리당 후보 수를 고정해 비용을 L에 선형으로 만든다.

어떻게 쓰나

실험은 공식 ELF-B/M/L 체크포인트에서 1k, 2k, 4k, 8k 토큰 길이로 구성당 1000개 샘플을 생성했고, 같은 모델·길이 안의 방법들은 초기 노이즈를 공유했다. 베이스라인은 전체 어텐션, 위치 보간 PI, NTK 스케일링, ELF에 맞춘 Self-Extend*, 슬라이딩 윈도 어텐션이며 모두 추가 학습 없이 동결 추론한다. 지표는 GPT-2 Large 생성 퍼플렉시티, 문서 평균 유니그램 엔트로피 H, 단어 4-그램 반복률 R4이고 H<5.0인 ELF 설정은 낮은 퍼플렉시티가 반복 출력을 가리는 것을 피하려 표시했다. 결과적으로 학습 길이를 넘으면 전체 어텐션과 위치 적응법은 품질이 떨어졌고, RangeSWA는 ELF-M/L에서 슬라이딩 윈도보다 생성 퍼플렉시티와 반복을 줄였으며 긴 길이에서 차이가 더 컸다. 반면 ELF-B에서는 퍼플렉시티를 낮추지만 반복은 늘었다. 세 랜덤 시드 반복에서도 ELF-M/L에서 슬라이딩 윈도보다 일관되게 우세했다. CoLa에서는 반복률을 전체 어텐션에 가깝게 낮췄고, LangFlow에서는 학습 길이에서 전체 어텐션에 근접했으며 2k에서 반복률을 49.5%에서 5.3%로 줄였다.

전제와 한계

메커니즘 분석에 따르면 슬라이딩 윈도는 원거리 토큰 가중치를 버리고 남은 가중치를 재정규화해 제어 토큰의 상대 가중치를 높인다. 앞부분 토큰을 일부 남겨도 이 효과는 완전히 사라지지 않았고, 제어 토큰이 없는 LangFlow에서는 프리픽스만 남겨도 심한 반복이 계속되어 원거리 문맥 손실 자체가 중요함을 보였다. 원격 블록 요약만 추가하면 퍼플렉시티는 전체 어텐션에 가까워지지만 먼 구간 간 어휘 유사도는 낮게 남았다. 절제 실험에서 조건 어텐션 보정과 적응 윈도 스케줄이 품질에 크게 기여했고, ELF-B 8k에서 조건 위치 보간을 제거하면 퍼플렉시티가 18.37에서 76.68로, 마지막 디코딩 단계에서 전체 어텐션으로 되돌리면 80.43으로 올랐다. 원격 요약과 동적 검색도 도움이 되며, 동적 검색을 제거하면 장거리 어휘 연속성이 낮아지고 반복이 늘었다. 먼 토큰의 원래 위치를 복원하면 퍼플렉시티는 낮아지지만 반복은 늘어 퍼플렉시티와 반복 사이의 트레이드오프가 드러났다. 단순화 변형에서는 조건 보정과 적응 윈도만으로도 퍼플렉시티가 크게 줄었고, 윈도만 키우는 것은 충분하지 않았다. 효율은 단일 H100에서 ELF-B 8k 기준 전체 어텐션 대비 1.21배 빨랐고, RangeSWA-Lite는 1.62배 빨랐지만 퍼플렉시티와 반복이 나빠졌다. 전체 방법은 여전히 이차 항을 포함하고 Lite는 선형 비용을 얻는 대신 품질을 맞바꾼다.

개발자 관점에서 이 논문은 연속 확산 언어모델로 긴 글을 생성할 때 추론 시 어텐션 후보 집합과 위치 처리만 바꿔 품질 붕괴를 늦추는 접근을 보여준다. 특히 제어 토큰이 있는 모델에서는 조건 어텐션 보정이, 긴 글의 반복 문제에서는 원거리 요약과 동적 검색이 핵심이므로 구현 시 모델의 제어 토큰 구조와 디노이징 단계별 윈도 스케줄을 먼저 확인해야 한다. 평가도 생성 퍼플렉시티만 보지 말고 엔트로피와 4-그램 반복률을 함께 봐야 하며, ELF-B처럼 모델별로 퍼플렉시티와 반복의 방향이 달라질 수 있다. 지연 시간이 중요하면 Lite가 선택지지만 품질 저하를 감수해야 한다.

저자들이 밝힌 한계는 대규모 연속 확산 언어모델에서 충분히 평가하지 못했다는 점이다. 실험 결과는 유망하지만 더 큰 사전학습 모델에서의 효과와 효율은 불명확하며, 향후 확장성과 일반성을 연구하겠다고 한다. 또한 이 방법은 기존 모델의 편향, 사실 오류, 유해 콘텐츠 생성 위험을 물려받을 수 있고 생성 길이를 늘리면 그 영향이 커질 수 있어 민감하거나 고위험 시나리오에서는 추가 안전 평가와 인간 감독이 필요하다고 명시한다.