HybridAgent가 잠재 추론과 텍스트 도구 호출을 한 생성 흐름에서 오간다

무엇인가

LLM 에이전트는 추론도 환경 상호작용도 모두 텍스트로 한다. 어려운 문제를 풀려면 도구를 호출하고 관찰을 받아 다음 행동을 고쳐야 하는데, 그 중간 추론 궤적이 전부 토큰 단위로 디코딩된다. 반대로 잠재 추론(latent reasoning) 계열은 연속 은닉 공간에서 계산을 전개해 내부 추론을 효율화하지만, 모델 경계 밖으로 나가지 못한다. 연속 잠재 벡터는 도구 호출을 위한 네이티브 경로가 없고, 사람이 읽을 수 있는 의미를 노출하지 않아 학습 중 감독도 추론 시 감사·디버깅도 어렵다. 이 논문은 이 두 갈래를 하나의 생성 과정 안에서 오가게 만드는 HybridAgent를 제안한다.

어떻게 동작하나

핵심 구성 요소는 HybridLink다. 기존 잠재 추론 모델은 마지막 레이어 은닉 상태 h_t를 다음 스텝 입력 e_{t+1}로 그대로 재사용하는데, 이러면 사전학습된 입력 임베딩 공간과 표현 불일치가 생겨 텍스트↔잠재 전환이 어렵다. HybridLink는 e_{t+1} = R(h_t) = h_t + W2·σ(W1·h_t) 형태의 잔차 어댑터로, 잔차 연결이 h_t의 원래 의미를 보존하기 때문에 분포 차이만 정렬하면 된다. 파라미터는 약 2d_h²개로 4B 모델 기준 약 10M 수준의 경량 모듈이다. 텍스트 모드에서 표준 LLM처럼 토큰을 샘플링하다가 <latent> 특수 토큰을 내면 잠재 모드로 진입하고, 잠재 스텝에서 argmax_v cos(R(h_t), Emb(v)) = </latent> 조건이 성립하면 텍스트 모드로 복귀한다. 모드 전환 시점과 잠재 구간 길이는 사전 설정이 아니라 생성 중 동적으로 결정된다. 잠재 모드는 디코딩 없이도 각 잠재 스텝을 가장 가까운 토큰 임베딩에 매핑해 의사 텍스트로 읽어낼 수 있어, 저자들은 이를 두고 잠재 사고가 불투명하지 않고 직접 검사 가능하다고 주장한다.

무엇과 다른가

멀티턴 생성은 별도 토크나이제이션으로 복원할 수 없다. 텍스트 토큰과 잠재 벡터가 뒤섞인 궤적은 토큰 공간으로 재구성되지 않기 때문이다. 대신 HybridAgent는 생성 과정에서 누적된 KV 엔트리를 연속 워킹 메모리로 삼는다. 입력 컨텍스트로 초기화한 뒤 각 턴의 텍스트·잠재 사고·도구 관찰 KV를 위치 순서대로 이어 붙이고, 다음 턴은 그 메모리에서 바로 생성을 재개한다. 중간에 토큰 공간 재구성 없이 하이브리드 컨텍스트가 손실 없이 보존된다는 것이 저자들의 아키텍처 수준 논증이다.

어떻게 쓰나

학습은 기존 에이전트 후학습 파이프라인을 하이브리드 설정에 맞게 바꾼 두 단계다. HybridSFT는 먼저 텍스트 SFT로 백본이 두 앵커 토큰을 내도록 형식을 활성화하고, 백본을 동결한 채 HybridLink를 코사인 손실과 MSE 손실로 정렬한다. 이어서 자기조건부(self-conditioned) 2-pass 훈련으로, 1패스에서 정답 하이브리드 시퀀스를 교사 강제하고 HybridLink가 만든 잠재 입력을 2패스에서 정답 임베딩 대신 투입해 텍스트 위치와 잠재 위치를 각각 CE 손실과 회귀 손실로 감독한다. 이는 자기 HybridLink가 만든 잠재 사고 위에서 추론하도록 백본을 적응시켜 학습-추론 불일치를 닫는 절차다. HybridRL은 PPO·GRPO가 모든 위치에 토큰 확률을 가정한다는 점이 문제인데, 잠재 위치에는 샘플링된 토큰이 없어 중요도 비율이 정의되지 않는다. 저자들은 하이브리드 정책이 샘플링된 텍스트 위치들에 대해서만 분해된다는 명제(Prop 4.1)를 제시하고, 롤아웃 때 기록한 잠재 사고를 그대로 고정한 채 임베딩 공간에서 전체 궤적을 단일 미분 가능 전방 패스로 재생하는 exact rollout replay로 이를 처리한다. 보상은 정답성·형식·도구 사용 세 항의 합이며, 모드 사용 자체에는 보상을 주지 않아 텍스트/잠재 배분을 RL이 스스로 찾게 한다.

전제와 한계

실험은 Qwen3-Base 4B·8B·14B 세 스케일, 수학(AIME 25, AIME 26, MATH500), 지식 집약 추론(GPQA-Diamond, MedQA, MuSiQue), 에이전트 추론(GAIA, HLE, WebWalker, SealQA, DeepSearchQA) 총 11개 벤치마크에서 이뤄졌다. SFT에는 자동 주석 파이프라인으로 만든 54K 하이브리드 궤적, RL에는 심층 추론 12K와 에이전트 검색 1K 예시를 썼고, 롤아웃 배치는 512개(64×8), 미니배치 8개다. 도구는 샌드박스 파이썬 인터프리터와 라이브 검색 엔진(Tavily)이며 궤적당 도구 호출 10회, 검색 쿼리당 상위 10개 스니펫으로 제한했다. 텍스트 기반·잠재 추론 기반 프런티어 LLM 에이전트와 에이전트 프레임워크를 합친 베이스라인 대비 평균 10.4% 성능 향상, 토큰 35.5~54.7% 절감, 추론 속도 1.8~2.6배, 비용 2.7~3.7배 절감을 보고한다. 어려운 에이전트 벤치마크에서 14B 모델은 최강 에이전트 베이스라인 대비 평균 17.4% 향상이며, 동일 모델 크기·학습 예산 조건에서 SFT 단계 18.5%, RL 단계 10.4% 개선이다. 효율 항목을 따로 보면 텍스트 토큰을 2.7배 적게 쓰고 총 생성 스텝을 최대 54% 줄이며 텍스트 베이스라인보다 2.1배 빠르다.

분석도 구체적이다. MATH500에서 잠재 벡터를 조작하는 인과 개입을 했을 때, 교차 문제 치환과 랜덤 토큰 치환은 정확도를 44.9~47.0%, 49.4~51.3% 떨어뜨렸고 순서 교란·잠재 구간 1스텝 제한은 13.4~15.0% 하락을 유발했다. 교차 문제 치환이 더 강한 가우시안 노이즈보다 큰 타격을 준다는 점에서, 성능이 교란 크기가 아니라 잠재 사고의 의미 내용에 의존한다고 저자들은 해석한다. HybridLink 설계 비교에서는 2층 잔차 구조가 4가지 대안(은닉 상태 직접 재사용, 1층 투영, 잔차 있는 1층 투영, 잔차 없는 2층 투영)보다 일관되게 우수했고, 잔차 연결만으로 평균 4.3% 향상을 냈다. 보상 항 제거 실험에서는 r_correct 제거가 6.4~17.8%로 가장 큰 하락, r_format 제거가 4.7~6.9% 하락, r_tool 제거는 MATH500에는 거의 영향이 없지만 GAIA 11.2%, WebWalker 3.5%를 깎았다. 감사 가능성 평가에서는 텍스트 토큰을 43~49% 적게 노출하면서도 100토큰당 핵심 추론 스텝은 26~28% 더 많았고, 모니터 AUROC는 텍스트 에이전트와 0.022 이내 차이, 실패 롤아웃의 첫 오류 위치 식별 98~99%, 정답 대조 일치 진단 97~98%, 정답 누출 1% 미만을 기록했다.

개발자 관점에서 이 논문이 주는 실무적 신호는 세 가지다. 첫째, 추론 비용을 줄이는 수단이 "더 짧은 CoT"가 아니라 "텍스트로 디코딩하지 않는 추론 구간"이라는 선택지가 실측 수치와 함께 제시된다. 둘째, 잠재 모드를 도입해도 도구 호출과 사람 감사 창구는 텍스트로 남겨둘 수 있다는 설계 분리(내부 추론은 잠재, 외부 상호작용·검증은 텍스트)는 에이전트 파이프라인을 운영하는 팀에 바로 참고할 만한 패턴이다. 셋째, 도입을 검토한다면 확인할 것은 세 가지다. 서빙 스택이 텍스트·잠재·도구 호출 전환과 KV 워킹 메모리 이전을 지원하는지, HybridLink 가중치를 누가 소유·보관하는지, 그리고 RL 보상에서 모드 사용을 직접 보상하지 않았을 때 실제 트래픽에서 모드 배분이 어떻게 수렴하는지다.

저자들이 밝힌 전제와 한계도 분명하다. 현재 서빙 엔진이 멀티턴 하이브리드 생성을 지원하지 않아 학습·추론 인프라를 직접 확장해야 했다는 점이 명시돼 있다. HybridRL에서는 잠재 전환이 결정적이도록 HybridLink를 고정한 채 학습한다. 보안 측면에서는 잠재 사고가 백본 은닉 상태로만 존재하고 제공자 소유의 HybridLink를 통해서만 읽히므로 유출될 텍스트가 없다는 점을 장점으로 내세우는 동시에, 그 읽기 권한이 제공자에게 집중된다는 구조적 전제를 깔고 있다. 또한 잠재 추론의 해석 가능성은 가장 가까운 토큰 임베딩으로의 매핑에 의존하는데, 저자들 스스로 충실도와 특이성이 낮은 방법은 임베딩 기하의 읽을 수 없는 산출물을 낸다고 인정하며 자기조건부 훈련이 그 투명성을 확보하는 필수 조건이라고 주장한다.