디퓨전 언어모델 편향은 샘플러의 커밋 규칙에서 증폭된다

무엇인가

이 논문은 디퓨전 언어모델(dLLM)의 생성 편향을 모델 자체의 신념과 샘플러가 더하는 증폭으로 나눠 본다. LLaDA와 Dream 같은 dLLM은 마스크된 캔버스를 여러 단계에 걸쳐 언마스킹하며 생성하는데, 각 단계에서 샘플러는 어떤 위치를 커밋할지와 그 위치에 어떤 토큰을 쓸지를 결정한다. 기존 공정성 평가는 생성된 이야기의 편향을 모델 탓으로 돌리기 쉽지만, 논문은 두 번째 결정인 커밋 규칙이 누가 등장하는지를 바꾼다고 주장한다. 특히 LLaDA 기본값처럼 각 마스크 위치에서 토큰을 샘플한 뒤 샘플된 토큰의 확률이 높은 위치를 먼저 커밋하는 규칙은 소수 선택지를 덜 살리므로 다수 선택지를 선호한다. 저자들은 이를 피킹(peeking)이라 부르고, T=1에서도 출력이 모델의 정확한 샘플이 아니게 만든다고 지적한다. AR 모델은 T=1에서 정확히 모델에서 샘플링하지만 dLLM은 이 연결이 깨진다는 점이 문제의 출발점이다.

어떻게 동작하나

방법의 핵심은 한 번의 순전파로 모델의 포크 신념을 읽는 것이다. 완전히 마스크된 캔버스에 한 번 순전파하면 각 위치의 조건부 분포가 나오고, 성별 어휘집의 기대 토큰 수를 선형성으로 합산해 여성과 남성 비율을 얻는다. 첫 번째 성별 지시어가 나올 블록에서 가장 큰 대명사 질량을 가진 위치 i*의 비율을 포크 신념 b로 정의하고, 이를 샘플링된 텍스트의 여성 주인공 비율과 비교한다. 이 감사는 120개 이야기와 96단계 샘플링 감사에 드는 11,520회 비용 대비 순전파 1회로 끝난다. 논문은 이 신념이 정확한 샘플링과 잘 맞는다고 보고한다. LLaDA의 Spearman ρ=0.97, Dream은 0.95였고, 오차는 샘플링 잡음 수준이며 작은 여성 편향은 ±5포인트 동등성 마진 안에 있었다.

무엇과 다른가

이론적으로 저자들은 증폭을 두 채널로 나눈다. 토큰 채널에서는 피킹 커밋 규칙이 더 확률 높은 선택지의 오즈를 최소 1배 이상 곱한다(Lemma 1의 Γ). 측정된 Γ는 LLaDA 약 2.3, Dream 약 50이었고, 정체성 무관(identity-blind) 규칙에서는 Γ=1이다. 순서 채널에서는 확신도가 높은 위치를 먼저 커밋할수록 첫 대명사가 쓰이기 전에 남성 쪽 문맥이 먼저 깔리고, 한 단계에 더 많은 토큰을 커밋하는 빠른 병렬 디코딩에서 이 경향이 강해진다. LLaDA 기본 low-confidence 규칙은 피킹이지만 Dream의 entropy ordering 예시 코드는 피킹이 아니며, 같은 dLLM이라도 구현 선택에 따라 T>0에서 다수 증폭 여부가 달라진다는 점을 지적한다.

어떻게 쓰나

제안 방법인 Fork-First Sampling(FFS)은 무엇이든 쓰기 전에 포크를 먼저 결정한다. i*에서 신념을 읽고 목표 분포 τ에서 그룹 g를 뽑는다. 충실 모드에서는 τ=b이고, 공정 모드에서는 they의 비율을 유지한 채 she와 he가 나머지를 나눈다. 그다음 첫 블록에서 주격 대명사 질량이 가장 큰 위치 j*에 해당 그룹의 가장 확률 높은 주격형(she, he, they)을 모델이 선호하는 대소문자와 간격으로 심고, 수정되지 않은 샘플러를 그 캔버스에 실행한다. 캔버스에 성별 토큰이 기대값 0.5개 미만이면 개입하지 않는다. Proposition 2에 따르면 FFS가 개입할 때 Pr[x_j* ∈ G_g]=τ_g가 어떤 샘플러와 온도에서도 성립한다. 비용은 순전파 1회(48단계 기준 2%)이고, 입력을 바꾸지 않으며, greedy decoding에서도 분포를 통제한다. 로짓 바이어스처럼 매 단계 그룹 토큰을 밀지 않고 지정된 변수의 위치에 한 번만 커밋한다는 점이 다르다.

전제와 한계

실험은 LLaDA-8B-Instruct, Dream-v0-Instruct-7B, 재현용 LLaDA-1.5, AR 참조 Qwen2.5-7B-Instruct에서 했다. 직업 이야기는 Winogender 60개 직업과 BLS 여성 비율, 3개 템플릿(180 프롬프트), 프롬프트당 샘플러별 20개 이야기로 구성했다. 의견은 GlobalOpinionQA 250문항에 답 20개씩, 미스젠더링은 TANGO 600프롬프트(선언 가족 she, he, they, xe, ey, fae 각 100개, 연속 4개)로 평가했다. 이야기는 96토큰을 48단계(단계당 2토큰)로, T=0.5 top-p=0.9에서 디코딩했고 LLaDA는 32블록, Dream은 블록 없이 생성했다. 비교한 샘플러는 LLaDA low-confidence 피킹, Dream MaskGIT+ 피킹, 정체성 무관 패치, 무작위 순서, greedy, FFS-faithful과 FFS-fair 등이다. 핵심 지표는 logit s = α + β logit b이고 β=1이 신념에 충실, β>1이 다수 증폭, α<0이 남성 쪽 이동이다. 피킹은 정체성 무관 규칙보다 기울기가 컸다. Δβ=0.28 [0.08,0.51](LLaDA), 0.64 [0.26,1.29](Dream)였고 LLaDA-1.5도 Δβ=0.23 [0.08,0.44]로 재현했다.

신념 균형 프롬프트(0.4≤b≤0.6)에서 LLaDA의 피킹과 정체성 무관 규칙은 균형보다 약 14포인트 적은 여성 주인공을 썼고 무작위 순서는 그렇지 않았다. Dream은 FFS를 제외한 모든 샘플러가 남성 쪽으로 이동했고 무작위 순서도 마찬가지였으며, 두 FFS 모드는 두 모델 모두 |α|≤0.07로 이동이 없었다. 온도를 0.3에서 1.3으로 올려도 피킹 기울기는 1.4 이상에 머물렀고, 정체성 무관 규칙은 대략 1/T로 내려가 1을 통과했다. 즉 온도로 신념에 도달하려면 유창성이 떨어졌다. 순서 채널에서는 LLaDA 피킹의 남성 비율이 단계당 1토큰에서 0.55, 4토큰에서 0.80으로 올랐고 Dream은 2토큰 0.67에서 4토큰 0.80으로 올랐다. 문맥 이식 실험에서 확신도 순서로 쓴 캔버스는 신념 균형 프롬프트에서 69% 남성 주인공, 무작위 순서는 49%로 +19포인트 [7,29] 차이가 났다. FFS는 4토큰/단계에서도 남성 비율 0.51–0.52(피킹 0.80)를 유지했다.

FFS-fair는 50-50 목표를 1.4포인트 이내로 맞추고, 심은 주인공 성별을 99%와 98% 이야기에서 유지했으며 기본 샘플러보다 유창성을 높였다. greedy decoding에서 목표 오차는 0.12와 0.14에서 0.004와 0.024로 줄었다. 프롬프트에 성별을 지정하는 방법도 목표를 맞추지만 유창성을 낮추고, 주인공 성별을 특별하다고 언급하는 표시된 서사 비율을 0.5% 미만에서 약 3%로 올리며 이야기 내용 자체를 바꿨다. 분류기는 같은 주인공 성별의 프롬프트 지정 이야기를 FFS 이야기보다 더 쉽게 구분했다. 한 줄짜리 정체성 무관 패치는 토큰 채널만 없애 기울기가 1.53과 2.33에 머물렀고 유창성도 낮았다. 직업에서 성별을 추론하지 말라는 지시는 약 절반의 이야기에서 성별을 말하지 않게 해 β를 낮췄고, 일회성 로짓 바이어스는 부분적이었으며, 높은 온도·무작위 순서·TLC는 β를 1보다 훨씬 높게 남겼다. 의견에서는 T=1 비절단 피킹이 답 분포 엔트로피를 신념의 절반 이하로 압축하고 14–16% 문항을 단일 답으로 붕괴시켰다. 미스젠더링은 TANGO에서 피킹이 악화시키지 않았지만, neopronoun은 모든 샘플러에서 미스젠더링되었고 한 번의 신념 읽기가 가족별로 이를 예측했다. LLaDA는 xe를 신념 수준 96%, 샘플링 95%로 미스젠더링했다. FFS처럼 첫 지시어에 선언 대명사를 심으면 LLaDA xe가 0.95에서 0.58, Dream ey가 0.72에서 0.38로 낮아졌고 he와 they에는 악화가 없었다.

개발자 관점에서 이 논문은 dLLM의 공정성과 생성 품질을 볼 때 모델 가중치만 보면 부족하다는 것을 보여준다. 저자들은 공정성 평가에 커밋 규칙이 피킹인지, 어떤 순서인지, 단계당 몇 토큰을 커밋하는지, 온도가 얼마인지를 함께 보고하고, 한 번의 순전파로 모델 신념을 읽어 모델 편향과 샘플러 증폭을 분리해 보고하라고 권고한다. LLaDA 기본 low-confidence 규칙은 피킹이며, 점수를 샘플된 토큰 확률이 아니라 위치의 최대 확률로 바꾸는 한 줄 패치로 토큰 채널을 없앨 수 있지만 순서 채널은 남는다. 민감한 포크를 통제해야 한다면 프롬프트를 고치거나 온도를 올리는 것보다 FFS처럼 먼저 결정하는 편이 낫다고 주장한다. 다만 FFS는 어떤 목표 분포든 강제할 수 있어 편향된 목표도 심을 수 있고, 중간 상태에 토큰을 심는 방식이 안전 정렬을 우회하는 데 쓰일 수 있으므로 배포 시 목표 분포를 공개해야 한다고 저자들은 덧붙인다. 한계로는 주 분석이 성별을 이진으로 다루고 they와 neopronoun은 TANGO에서만 평가한 점, 모든 과제가 영어이고 직업과 BLS 통계가 미국 중심인 점, 포크를 단일 토큰 어휘집(대명사와 답 문자)으로 정의해 이름처럼 여러 토큰에 걸친 포크는 다루지 못한 점, LLaDA와 Dream 두 계열만 연구한 점, 주인공 라벨을 LLM 판정에 의존한 점, 순서 채널의 문맥 이식 실험이 LLaDA에서만 수행된 점, 의견 신념에서 선택지 순서와 라벨을 통제하지 못한 점, FFS가 첫 지시어만 통제하고 이후 지시어는 모델을 따르며 최소 98% 이야기에서 심은 성별이 유지된 점, 공정 목표가 규범적 선택이라는 점이 제시된다.