확산 언어모델 에이전트가 디코딩 전 숨은 벡터로 협업한다
Hidden Messages Between Diffusion Language Model Agents: Causal Evidence for Latent Communication
무엇인가
이 논문은 확산 언어모델이 마스킹된 시퀀스를 반복 수정하며 답을 만드는 동안 생기는 연속 상태를 버리지 않고, 독립적인 에이전트 사이의 통신 면으로 쓸 수 있는지 묻는다. 기존 다중 에이전트 시스템은 보통 디코딩된 텍스트가 나온 뒤에야 정보를 주고받아, 한 에이전트의 중간 계산이 다른 에이전트의 다음 계산을 바꾸는 경로를 잃는다. 저자들은 공유 캔버스·문맥·토큰 예측·궤적 없이도 한 확산 궤적의 압축된 숨은 메시지가 다른 궤적에 들어가고, 수신자가 그 메시지의 내용을 실제로 사용하는지를 인과적으로 확인하려 한다.
어떻게 동작하나
방법의 핵심은 송신자 인코더 Eθ가 디노이징 시점 t의 과제 관련 은닉 상태 h_i^t를 읽어 K=4, d=128인 서명된 BF16 텐서 z_i^t로 압축하는 것이다. 이는 토큰 ID, 클래스 확률, 로짓, 부분 디코딩 시퀀스가 아니다. 수신자는 다른 에이전트들의 메시지를 평균한 뒤 디코더 Dφ로 수신자 조건 상태 r_i^t를 만들고, 자기 문맥과 캔버스, 궤적은 그대로 유지한다. Tiny-A2D에서는 인코더가 송신자 토큰 상태들에 어텐션하고 디코더가 게이트 잔차로 수신자 답 상태에 메시지를 융합한다. Dream-7B에서는 인코더가 답 위치 상태를 읽고 디코더가 K개의 가상 접두 임베딩을 만들어 백본 입력 임베딩과 RMS를 맞춘 뒤 수신자의 다음 패스 앞에 붙인다. 반복 교환에서는 이 접두가 교체될 때까지 유지된다.
무엇과 다른가
통신 채널은 백본과 언어모델 헤드를 동결한 채 학습하는 가벼운 과제별 어댑터다. Tiny-A2D에서는 압축기와 잔차 융합기를 함께 학습하며, 합집합 문맥의 은닉 상태를 교사로 쓰고 matched 대 deranged 쌍 감독으로 메시지가 반사실적 송신자 사실을 구분하게 만든다. Dream-7B에서는 보조 분류기가 요청된 슬롯, 반환 코드, QASC 답 레이블을 메시지가 보존하도록 먼저 유도하고 분산 항으로 붕괴를 막는다. 그다음 인코더를 동결하고 수신자 투영기를 짧은 답 지향 접두 임베딩에 코사인과 상대 MSE로 정렬한다. 추론 시 수신자에게 레이블, 교사 문맥, 텍스트 메시지는 주어지지 않는다. 인과 검증은 수신자 정답 여부 Y(x,z)로 Δpresence를 matched 메시지와 무메시지의 차이로, Δcontent를 matched 메시지와 다른 대상 예제의 메시지 π(x)의 차이로 정의한다. 여기에 zero, moment-matched random, self 메시지 교체를 더해 채널 존재와 내용 정체성을 분리한다.
어떻게 쓰나
Tiny-A2D의 HM-Synth는 2~4개 조회 사실을 두 개의 사적 문맥에 나눠 넣고, 수신자 문맥은 고정한 채 송신자 사실만 바꾸는 반사실 쌍을 만든다. 동결된 Tiny-A2D 백본은 10,000개 학습 예제를 보지만 추론 시 합집합 문맥은 없고, 6.1 MiB 통신 모듈만 학습한다. 1,000개 반사실 쌍, 2,000개 예제에서 matched 메시지는 정확도를 8.6%에서 72.9%로 올렸고, 다른 대상 예제의 메시지는 9.3%로 되돌렸다. matched에서 deranged를 뺀 효과는 +63.6점, 95% paired bootstrap 구간 [61.5, 65.8]이었고 random, zero, self 메시지는 모두 우연 수준에 머물렀다. 송신자 사실을 바꾸면 수신자 답이 89.4%에서 바뀌고 72.9%에서 대체된 대상을 선택했다. 이는 벡터가 학습된 게이트를 여는 정도가 아니라 결정에 관련된 사실을 운반한다는 증거다.
전제와 한계
Dream-7B 의존성 연결 과제는 10개 슬롯 중 무엇이 요청됐는지는 알지만 코드 표가 없는 에이전트 0과, 표는 있지만 요청 슬롯을 모르는 에이전트 1을 둔다. 요청 슬롯이 먼저 전달되고, 에이전트 1이 그 메시지로 코드를 고른 뒤 코드를 다시 보내야 에이전트 0이 답할 수 있는 왕복 구조다. 512개 반사실 쌍, 1,024개 예제에서 matched 2단계 통신은 100.0%, 무메시지는 9.8%, derangement는 0.0%였다. 에이전트 0 문맥은 유지한 채 표 항목을 바꾸는 wrong-fact 개입에서는 수신자가 100.0%에서 대체 항목을 따라갔다. 같은 과제에서 반복 교환은 100.0%였지만 한 번의 늦은 메시지는 10.8%로 무통신 수준에 가까웠다. 첫 메시지는 최종 답을 담아서가 아니라 다른 에이전트가 다음에 무엇을 계산할지를 바꾸기 때문에 필요하다.
QASC는 두 개의 황금 사실을 두 에이전트에 하나씩 나누고 각자 네 개의 누출 필터링된 방해 사실을 더한 뒤, 공통 질문과 선택지로 8지선다 답을 맞히는 설정이다. 7,134개 파생 학습 예제로만 채널을 학습하고 1,000개 파생 개발 예제 전부로 평가하며, 에이전트 0을 항상 수신자로 고정하고 투표나 로짓 평균은 쓰지 않는다. 반복 일정은 네 번의 동기 교환 뒤 수신자 결정을 하고, 늦은 일정은 각자 한 번 독립 패스 후 한 번 교환하고 같은 수신자 결정을 한다. 무통신 72.6%에서 matched 반복 메시지는 80.8%로 올라 +8.2점, 구간 [5.7, 10.7]이었다. 다른 대상 질문의 메시지로 바꾸면 46.8%로 떨어져 matched에서 deranged를 뺀 내용 효과는 +34.0점, 구간 [30.7, 37.2]였다. 잘못된 내용은 침묵보다도 나쁘다. 한 번의 늦은 전달은 87.8%로 네 번 반복 교환보다 +7.0점, 구간 [4.4, 9.6] 높았고, 전송 1회와 에이전트 forward pass 3회를 쓰는 반면 반복 일정은 전송 4회와 forward pass 9회를 썼다. Tiny-A2D와 QASC의 정확도 대비는 각각 5,000회와 10,000회 paired bootstrap의 95% percentile 구간으로 보고됐다.
저자들이 뽑는 설계 원칙은 통신 횟수가 아니라 전달 시점이다. 한 에이전트의 다음 계산이 다른 에이전트의 부분 결과에 조건화되면 메시지는 그 계산을 바꿀 수 있을 만큼 일찍 도착해야 한다. 반대로 사적 증거를 독립적으로 성숙시킬 수 있으면 이른 반복 융합이 오히려 방해가 되고, 결정 직전의 한 번의 늦은 융합이 더 간단하고 정확할 수 있다. 두 설정 모두 같은 Dream-7B 백본을 쓰므로 이 역전은 모델 크기 차이의 부산물이 아니며, 과제의 잠재 의존 그래프와 메시지가 실행 가능해지는 시점에 맞춰 해석된다. 저자들은 고정된 시계가 아니라 잠재 의존성이 준비될 때 교환하는 적응형 프로토콜을 제안한다. 다만 이 채널은 사람이 읽을 수 있는 언어나 창발적 프로토콜이 아니라, 교체 실험으로 내용 민감성이 확인된 학습된 숨은 통신이다.
개발자 관점에서 이 논문은 다중 에이전트 협업을 텍스트 메시지와 고정 라운드로만 설계하던 습관을 바꾸는 근거가 된다. 정확도 상승만으로 채널을 믿지 말고, 무메시지, 다른 예제 메시지, zero, random, self 메시지를 같은 수신자 입력에서 비교해 존재 효과와 내용 효과를 분리해야 한다. 또한 질의·응답처럼 한쪽 계산이 다른 쪽의 중간 결과에 의존하는 과제는 이른 교환을, 각자 증거를 독립적으로 계산할 수 있는 과제는 결정 직전의 늦은 교환을 우선 검토할 만하다. 다만 통제된 증거는 Tiny-A2D와 Dream-7B에 걸쳐 있지만 자연어 질문 증거는 현재 Dream-7B의 QASC에 국한되며, 더 큰 팀, 다른 확산 백본, 장문 생성에서는 채널 기하가 달라질 수 있다. 채널은 과제별 지도학습 어댑터이고, 저자들은 이질적 과제 간 초기 zero-shot 재사용에서 감지 가능한 이득을 얻지 못했다고 밝힌다. 새 과제에는 새 감독과 어댑터 재학습 또는 명시적 교차 도메인 정렬이 필요할 수 있고, 성공적인 zero-shot 전이는 확립되지 않았다. 텍스트 채널과 wall-clock 비교도 아직 future work다. 잠재 채널은 프라이버시 수단이 아니며, 사람이 읽을 수 없어도 민감 정보를 담을 수 있다. 저자들은 명세, 소스 파일, 테스트, 실행 피드백이 분할된 다중 에이전트 코드 생성에서 숨은 통신이 중간 상태를 운반하고, matched 대 deranged 개입으로 성공적인 코드 변경이 전달 내용에 인과적으로 의존하는지 시험하는 것을 다음 확장 방향으로 든다. 이 설정은 메시지가 모든 디코딩 라운드가 아니라 교차 에이전트 의존성이 실행 가능해질 때 도착해야 한다는 시점 문제를 더 선명하게 만든다.