JevGPT가 빠른 판단과 느린 계획을 분리해 자율 연구 비용을 줄인다

무엇인가

자율 연구 에이전트는 한정된 예산 안에서 근거를 수집하고 추론해야 한다. 그런데 검색 커버리지가 곧 근거 활용을 보장하지는 않는다. 논문은 검색 깊이를 늘리면 후보 재현율은 계속 오르지만, 정작 관련 소스가 검토되지 않거나 이후 판단에 쓰이지 않는 간극이 남는다고 지적한다. 핵심 과제는 빠른 국소 판단을 변화하는 근거 수요에 맞춰 정렬하고, 그 결과를 다음 연구 결정으로 되먹이는 것이다.

어떻게 동작하나

저자들의 핵심 관찰은 연구 계획과 국소 근거 판단이 요구하는 정보 범위가 다르다는 점이다. 계획은 누적된 조사 이력을 사용하지만, 개별 소스 판단은 명시적인 '근거 목표(evidence objective)'로 경계를 정할 수 있다. 목표가 고정되면 그 아래의 독립적 판단들은 병렬로 돌릴 수 있고, 그 결과가 다시 연구 과정으로 돌아가 다음 목표를 정한다.

무엇과 다른가

구조는 이중 시스템이다. System Two는 생성 정책 G로, 시점 t의 이력 h_t를 받아 행동 a_t = G(q, h_t)를 정한다. 이 행동은 검색 질의, 근거 요청, 또는 최종 답·랭킹 중 하나다. System One은 Jev(Almeida, 2026)로, 세 가지 출력 유형을 쓴다. Noul 판단은 영역 r이 주어진 속성(예: 관련 근거 포함)을 만족할 확률을, Choice 판단은 소스 블록이나 읽기 행동 같은 유한 선택지 위의 분포를, Score 판단은 서수 수준 위의 분포를 반환한다. 검색이 후보 C_t를 만들면 각 영역에 대한 국소 판단 Z_t가 생성되고, Gather가 선택된 원문 구절을 응답 o_t로 병합해 연구 이력에 넣는다.

어떻게 쓰나

세부 절차도 구체적이다. 후보 검색은 Hybrid BM25로, 문서 점수와 최대 구절 점수를 각각 min-max 정규화한 뒤 S(d|s) = 1/2·x̂_D(d) + 1/2·x̂_P(d)로 동일 가중 융합한다. 근거 위치화(Evidence Localization)에서는 국소 질문 u에 대해 Noul 판단이 확률 e_{u,r}을, Choice 판단이 블록 분포 π_{u,r}(b)를 내고, e_{u,r}이 임계값 τ_loc 이상일 때 가장 확률 높은 블록(분포가 정당화하면 두 번째 블록)을 선택한다. 랭킹에서는 Score 판단이 무관·주변적·관련·매우 관련의 4단계 분포를 주고, 기대 수준이 가장 높은 분포 P_d에 대해 유지 확률 p_d = P_d(2) + P_d(3)을 계산해 관대한 임계값 θ로 후보를 반환하며, 불완전하게 평가된 후보 집합 ℐ도 함께 넘긴다. 근거 발견(Evidence Discovery)은 System Two가 연구를 계속하는 동안 별도 분기로 추가 후보를 평가하는데, QA에서는 문장·절 경계로 나눈 단서에 대해 s_q(d) = Σ 1/n_j(단서를 포함한 문서가 적을수록 가중), 랭킹에서는 p_d를 우선순위로 삼아 임계값 τ_lead를 넘는 상위 m개를 비동기로 연구 이력에 투입한다.

전제와 한계

실험은 고정 코퍼스 QA와 문서 랭킹을 다룬다. BrowseComp-Plus 830문항 전체와 NeuCLIRBench 105개 토픽 전체를 사용했고, BrowseComp-Plus에서는 BCP/ReAct, Reason-ColBERT, Pi-Serini, Agentica, AtlasNav, RISE와 비교했다. GPT 기반 비교는 GPT-5.5를 medium reasoning effort로 System Two에 두고 Jev를 System One으로 붙였으며, Pi-Serini의 시간 예산 프로토콜을 따라 300초 예산을 적용했다. 지표는 답 정확도, nDCG@20, F1@20이고 효율은 경과 시간, System Two 토큰 사용량, 검색 횟수, 총 API 비용으로 측정했다. 논문은 JevGPT가 관측된 최고 정확도를 내면서 더 빨리 끝나고 검색 횟수도 적으며, Reason-ColBERT·RISE·AtlasNav 같은 비슷한 정확도의 방법보다 API 비용이 낮다고 주장한다. Pi-Serini는 더 저렴하지만 정확도가 떨어지고, NeuCLIRBench에서도 두 지표 모두 최고 랭킹 품질을 냈다고 보고한다. 다만 제공된 본문에는 표의 구체적 수치가 실려 있지 않아 개선폭 숫자는 제시되지 않았다.

절제 실험은 Pi-Serini에 Hybrid BM25, 적응적 읽기와 근거 메모리를 포함한 Evidence Localization, Evidence Discovery를 순차로 얹어 비교했다. BrowseComp-Plus에서는 Hybrid BM25와 Evidence Discovery가 정확도 향상에 더 크게 기여했고, Evidence Localization은 품질 향상은 작지만 검색 횟수를 줄이는 대신 모델 사용량과 API 비용을 늘렸다. 즉 국소 근거 모듈은 더 많은 API 지출을 더 나은 답과 더 적은 검색 행동으로 바꾸는 거래다. System Two 모델을 바꾼 비교에서는 GPT-5.5가 최고 정확도, GPT-6.1 Sol이 훨씬 낮은 비용으로 강한 정확도, GPT-5.4 mini가 최소 지출, GPT-5.6 Terra가 가장 빠른 완료를 보였다. 저자들은 비용과 경과 시간을 따로 봐야 한다고 강조한다.

개발자 관점에서 이 논문의 실용적 시사점은 검색 계층을 늘리는 대신 '검토와 전달' 단계를 최적화하라는 것이다. 후보 풀 재현율이 이미 포화된 상황에서 병목은 관련 문서를 원문 근거로 꺼내 쓰는 일이며, 명시적 근거 목표를 프롬프트로 고정하면 판단을 병렬화해 지연과 비용을 줄일 수 있다는 설계를 참고할 만하다. 다만 근거 위치화가 검색을 줄이는 대신 토큰·비용을 늘리는 트레이드오프가 있으므로, 자신의 파이프라인에서는 검색 호출 단가와 판단 호출 단가를 함께 재야 한다. 또한 원문 구절과 출처 좌표를 함께 반환하는 인터페이스는 검증 가능성을 높이는 대신, 출처 신뢰성은 별도로 평가해야 한다.

저자들이 밝힌 한계는 명확하다. 이 연구는 에이전트 아키텍처 수준에서 빠른 사고와 느린 사고의 협력을 다루며, 국소 근거 판단과 연구 계획을 서로 다른 컴포넌트에 배정했다. 다음 단계로 언제 빠른 국소 판단을 하고 언제 긴 추론에 들어갈지를 스스로 학습하는 통합 모델, 즉 공동 학습을 제안한다. 평가도 고정 코퍼스 위의 QA와 문서 랭킹에 국한되며, 오픈 웹 연구와 장문 합성으로 확장하는 것이 향후 과제라고 적었다. 윤리 고려에서도 검색된 소스의 오류와 편향이 재현될 수 있고, JevGPT가 출처 위치와 함께 원문을 반환하더라도 신뢰성 판단은 독립적으로 필요하다고 명시한다.