HybridAgents가 잠재 공간 추론과 텍스트 도구 호출을 한 흐름으로 묶는다

텍스트로만 사고하고 텍스트로만 행동하던 LLM 에이전트에 '말 없는 사고' 구간을 넣은 연구가 나왔다. Hybrid Reasoning Agents(이하 HybridAgents)는 하나의 생성 과정 안에서 잠재 공간 추론과 텍스트 기반 상호작용을 상황에 따라 오간다. 계산은 연속 벡터에서 처리해 빠르게 가져가고, 바깥 세계와 주고받아야 하는 부분만 자연어로 꺼내 쓰는 이중 구조다.

이 전환을 담당하는 것이 HybridLink다. 가벼운 모듈 하나가 텍스트 모드와 잠재 모드 사이의 경계를 넘겨주고, 에이전트가 여러 턴에 걸쳐 유지하는 연속 작업 기억이 두 모드의 문맥을 손실 없이 붙들어 둔다. 덕분에 도구를 호출하는 능력은 그대로 남으면서, 잠재 공간에서 이뤄진 사고도 사람이 직접 들여다볼 수 있는 형태로 남는다는 것이 이 설계의 요점이다.

학습은 두 단계로 나뉜다. HybridSFT는 백본 모델이 HybridLink와 호흡을 맞추도록 길들여 도구가 끼어드는 혼합 생성 자체를 안정화한다. 이어서 HybridRL은 언제 잠재 공간에서 생각하고 언제 텍스트로 행동할지를 보상으로 학습시켜 추론 규모를 키운다. 모드 전환 규칙을 사람이 하드코딩하는 대신 정책이 스스로 터득하게 만드는 셈이다.

평가는 3개 모델 스케일, 11개 벤치마크에서 이뤄졌다. 수학·과학·의학·검색·에이전트 추론을 아우르는 범위다. 텍스트 기반과 잠재 기반을 모두 포함한 프런티어 LLM 에이전트 및 에이전트 프레임워크와 비교해 성능은 10.4% 일관되게 높았고, 토큰 사용량은 35.5%에서 54.7% 줄었다. 추론 속도는 1.8배에서 2.6배 빨라졌고 비용은 2.7배에서 3.7배 절감됐다. 저자들은 코드와 데이터를 공개했다고 밝혔다.

배경에는 기존 에이전트 구조의 뚜렷한 트레이드오프가 있다. 자연어 추론은 읽고 검증할 수 있고 도구 접근도 자연스럽지만, 매 단계마다 토큰을 쏟아내야 해서 느리고 비싸다. 반대로 잠재 공간 추론은 내부 매체로서 효율이 좋지만 도구를 기본적으로 붙잡지 못하고 사고 과정이 불투명하다. 이 연구는 둘 중 하나를 고르는 대신 한 생성 과정 안에서 오가게 만드는 쪽을 택했다.

실무 관점에서 눈에 띄는 것은 지연과 비용 곡선이 동시에 내려간다는 점이다. 도구 호출이 잦은 워크플로는 대개 중간 사고 토큰이 병목이 되는데, 그 구간을 잠재 모드로 흘려보내면 같은 정확도에 더 적은 호출 비용으로 도달할 여지가 생긴다. 잠재 사고를 검사 가능한 형태로 남긴다는 설명도 디버깅 측면에서 의미가 있다. 다만 모드 전환 판단을 강화학습에 맡기는 구조인 만큼, 정책이 학습 분포를 벗어난 상황에서 어떤 모드를 고르는지는 별도로 확인해야 할 부분이다.

논문 초록이 제시한 수치는 자체 벤치마크 11종과 3개 모델 스케일 안에서의 결과다. 다른 과제군이나 더 큰 모델, 실제 프로덕션 트래픽에서 같은 절감률이 유지되는지는 이 수치만으로 단정할 수 없다. HybridSFT와 HybridRL 두 단계 학습 파이프라인을 갖춰야 한다는 점도 도입 비용으로 남는다.