J-Comm은 LLM 에이전트 간 잠재 추론을 야코비안 좌표로 전달한다

무엇인가

이 논문은 LLM 에이전트가 텍스트 대신 잠재 상태를 주고받는 문제를 다룬다. 잠재 통신은 토큰 생성 비용과 정보 손실을 줄일 수 있지만, 송신 모델이 연속 추론을 어떻게 만들고 수신 모델이 그 중간 계산을 어떤 인터페이스로 받을지가 함께 설계되어야 한다. J-Comm은 이 두 문제를 분리하지 않고, 송신자가 소비하는 피드백 분포와 그로 인해 만들어진 중간 상태를 짝지어 전달하는 방식으로 해결하려 한다. 특히 KV 캐시를 공유하지 않고 두 모델의 은닉 폭이 달라도 동작하는 것을 목표로 한다.

어떻게 동작하나

첫 구성 요소인 GEAR는 학습 없이 동작하는 연속 추론 규칙이다. 각 단계에서 모델의 로짓으로 후보 토큰 집합과 확률 p를 만들고, 후보 임베딩 사이의 코사인 유사도로 커널 K_ij=exp(cos(E_i,E_j)-1)를 계산한다. 각 후보의 지지도는 s_i=Σ_j K_ij p_j로 구하고, 새 가중치 q는 p ⊙ Kp를 정규화해 얻는다. 다음 입력은 q로 가중합한 토큰 임베딩이다. 즉 확률이 높은 후보와 임베딩 방향이 잘 맞는 후보에 더 큰 가중치를 주는 재가중이다. 저자들은 이 규칙이 후보 집합의 기하학적 합의 C(p)=p^T Kp를 단조 증가시키는 Baum–Eagon 성장 변환이자 대칭 복제자 업데이트라고 설명한다. 학습 모듈 없이 고정된 임베딩 테이블만 쓰며, 후보 수는 최대 10개로 O(k^2 d) 비용이 든다. 송신자는 최소 40개의 잠재 단계를 소비하고, 조건에 따라 조기 종료하며 최대 32,768단계까지 허용된다. 이후 마지막 M개 소비 단계의 q_t와 그 입력이 만든 중간 잔차를 보관한다.

무엇과 다른가

두 번째 구성 요소는 H+J 통신 인터페이스다. H 채널은 송신자가 소비한 q_t를 수신 모델의 토큰 임베딩에 같은 가중치로 적용해 수신 입력을 만든다. 이때 수신 임베딩의 평균 노름으로 크기를 보정한다. J 채널은 송신자의 야코비안 렌즈 사전을 사용한다. 각 토큰 ID v에 대해 야코비안 전치와 언임베딩을 곱해 정규화한 앵커 b_{l,v}를 만들고, 중간 잔차 r에 대한 부호 있는 정규화 판독값 c_t(v)=b^T r/||r||를 계산한다. 이 중 판독값이 큰 공유 비특수 토큰 ID 32개를 골라 ID와 값을 전송한다. 수신자는 같은 ID로 자기 사전의 앵커 행을 가져와 정규화된 이중 사전으로 벡터를 재구성한다. 앵커들이 직교하지 않기 때문에 단순 합이 아니라 λ=10^-3의 정규화 최소제곱을 쓴다. 크기는 수신자의 29층 참조 렌즈로 보정하고, 실제 주입은 프리필 중 26층의 메시지 위치 잔차에 α=1로 더한다. 답 생성 중에는 추가 J 쓰기가 없다. H는 수신자가 추론할 입력을 제공하고, J는 수신자 계산 내부에 추가 지침을 주는 역할이다.

어떻게 쓰나

주 실험은 Qwen3-8B에서 Qwen3-4B로의 통신이며, 7개 벤치마크에서 GAF+H+J 26이 가장 높은 평균 점수를 냈다고 보고한다. GSM8K 94.54%, MATH500 94.80%, GPQA-Diamond 54.55%, MedQA 80.52%, MBPP+ 76.72%, AIME2024+2025 73.33%, ALFWorld 62.93%다. TextMAS와 비교하면 각각 1.29, 1.60, 8.59, 1.97, 5.56%p 높고, AIME에서는 5.00%p, ALFWorld에서는 1.54%p 높다. 같은 조건에서 생성 텍스트 토큰은 19.2~74.8% 줄었고, AIME를 제외한 5개 정적 과제에서는 44.2~58.3% 줄었다. Identity40+H+J 26과 단계 수를 맞춘 Identity(T_GAF)+H+J 26도 7개 과제 모두에서 앞섰다. 예를 들어 MATH500에서 두 통제는 89.40%와 89.00%인데 J-Comm은 94.80%다. ALFWorld에서는 TextMAS 61.39%, GAF+H 59.70%, 수신자 단독 49.25%, Identity40+H+J 53.73%보다 높은 62.93%를 기록했다.

전제와 한계

구성 요소별 절제도 제시된다. GAF는 Soft Thinking과 자기 확률만 제곱해 강조하는 방식보다 MATH500에서 각각 3.40%p, 3.20%p, GPQA-Diamond에서 5.56%p, 4.55%p 높았다. 수신 주입 층은 26층이 평균 73.33%로 가장 좋았고, 20층과 J 없는 조건은 72.78%, 29층은 71.67%였다. 통신 길이는 400 위치가 73.33%로 가장 높았고, 40 위치는 70.56%, 500 위치는 72.78%였다. 외부 두 에이전트 베이스라인과 비교하면 Qwen3-4B 두 개에서는 MATH500 92.00%로 LatentMAS 83.20%, StateBridge 89.40%, CIPHER 80.40%를 앞섰고, AIME 68.33%로 61.67%, 61.67%, 58.33%를 앞섰다. 다만 GPQA에서는 41.92%로 StateBridge 45.45%보다 낮았다. Qwen3-8B 두 개에서는 MATH500 95.20%, AIME 75.00%로 세 베이스라인을 앞섰지만 GPQA는 49.49%로 StateBridge 52.50%에 뒤졌다.

모델 계열 간 전이도 확인한다. Qwen3-8B 메시지를 Llama-3.2-3B-Instruct로 보낼 때 토큰 문자열 대응과 수신자의 고유 임베딩·야코비안 앵커를 사용했다. GPQA-Diamond에서 H+J는 198문항 중 평균 75개 정답으로 H 71개, TextMAS 73개, 뒤섞은 J 69개, 수신자 단독 40개보다 많았다. 이는 공유 토큰 ID가 없는 어휘 간에도 문자열 대응으로 인터페이스를 확장할 수 있음을 보여주는 결과다.

개발자 관점에서 J-Comm은 텍스트 교환이 병목인 다중 에이전트 시스템, 특히 모델을 고정한 채 서로 다른 크기의 모델을 연결하려는 경우에 참고할 만하다. 다만 바로 꽂는 범용 모듈은 아니다. 모델 쌍마다 토큰 대응과 보정된 야코비안 사전이 필요하고, 주입 층·참조 렌즈·메시지 길이를 정해야 한다. 또한 송신자가 최대 32,768개의 잠재 단계를 소비할 수 있어 통신 접미사가 짧아도 전체 추론 비용에서 송신 계산이 큰 부분을 차지한다. 저자들도 이 점과 어휘 간 통신 시 토큰 문자열 매칭·서브토큰 분해가 추가되는 점을 한계로 밝힌다. 도입 전에는 대상 모델 쌍에서의 정확도 이득과 지연·메모리 비용을 함께 측정해야 한다.