AlphaBet은 여러 예측 시점에서 검색과 확률 보고를 함께 강화학습한다

무엇인가

이 논문은 아직 결과가 나오지 않은 사건을 LLM 에이전트가 예측할 때, 관련 근거를 찾는 일과 각 결과에 얼마나 확률을 줄지 보고하는 일을 하나의 학습 루프 안에서 다룬다. 기존의 결과 기반 학습은 보통 하나의 예측 시점에 미리 모아 둔 근거를 주고 확률만 출력하도록 훈련했다. 그래서 검색과 근거 수집은 정책 밖에 남고, 정보가 늘어날수록 예측이 어떻게 달라져야 하는지에 대한 학습 신호도 없었다. AlphaBet은 여러 해결 전 시점에서 같은 사건을 다시 방문해 검색하고 추론하고 확률을 보고하는 단일 정책을 학습하는 문제를 제기한다.

어떻게 동작하나

방법의 중심에는 날짜 제약이 있는 도구 사용 에이전트가 있다. 각 예측 단계에서 질문, 예측 날짜, 선택적으로 이전 단계의 신념 노트북을 받는다. 에이전트는 추론과 함께 Search로 해당 날짜까지 공개된 코퍼스에서 상위 k개 기사 스냅샷을 찾고, Read로 기사 전문을 읽고, Compute로 모델이 생성한 Python 코드를 실행해 수치 분석·집계·기저율 추정·시뮬레이션을 한다. 단계는 K개 결과에 대한 확률 분포 p_t를 제출하며 끝나고, 메모리를 켜면 다음 단계로 넘길 신념 노트북 M_t도 만든다. 메모리 없는 변형은 매 날짜의 예측을 새로 시작하고, 메모리 켜진 변형은 이전 날짜의 노트북을 이어받는다.

무엇과 다른가

보상은 각 날짜의 예측 점수와 형식 보상의 합이다. 주 실험은 음의 Brier 점수를 쓰고, 형식 보상은 답변 형식과 도구 호출 이름이 환경에서 인식되는지 확인한다. 하나의 해결된 사건이 서로 다른 정보 상태에서 나온 여러 날짜의 예측을 감독할 수 있다는 점이 핵심이다. 논문의 Proposition 1은 예측 후회를 날짜별 코퍼스 목표와 획득 문맥 목표 사이의 정보 획득 격차, 그리고 획득 문맥 목표와 실제 보고 확률 사이의 확률 보고 격차로 분해한다. 형식 보상은 유효한 출력에서 사라지고 상한이 0이므로, 형식 조건을 만족하는 최적 정책이 존재한다는 전제 아래 예측 최적해를 바꾸지 않는다고 설명한다.

어떻게 쓰나

정책 최적화에는 GRPO를 쓰되 그룹 내 표준편차 정규화를 제거한다. 평균 중심화만 남긴 이점은, 획득 문맥을 고정한 국소 분석에서 점수만 사용하는 보고 그래디언트의 기댓값을 양의 계수 (1-1/G)배로 보존한다는 것이다. 반면 표준편차 정규화는 큰 그룹 극한에서 결과 클래스별 보상 스케일에 따라 목표 확률을 다시 가중한다. 논문은 정규화된 업데이트가 q~_t(k) = (q_t(k)/(σ_k+ε)) / Σ_j(q_t(j)/(σ_j+ε))에 해당하는 기울어진 보고 목표를 유도하며, 모든 클래스의 표준편차가 같을 때만 원래 목표와 같아진다고 주장한다. 이 왜곡은 항상 과신으로 나타나는 것이 아니라 분포를 날카롭게 하거나 평평하게 하거나 클래스 간 확률을 이동시킬 수 있다.

전제와 한계

실험은 GLM-4.5-Air(106B-A12B)로 수행했고, 공개 체크포인트는 2025년 7월 28일 공개되었다. Forecast-Dojo 학습 분할의 1,028개 이진·다중 선택 이벤트, 3,965개 이벤트-날짜 과제를 Polymarket 데이터로 학습하며, 예측 날짜는 2025년 8월 1일부터 2026년 2월 28일까지다. 검증에는 2026년 1월 1일부터 2월 28일 사이에 종료되는 별도 이벤트를 썼고, 2025년 3월부터 2026년 2월까지의 CC-News 코퍼스를 날짜별로 제한해 검색했다. 모든 학습 이벤트가 체크포인트 공개 이후라 결과를 사전학습에서 직접 외울 수 없다는 점도 전제로 든다. 단일 날짜, 메모리 없는 다중 날짜, 메모리 켜진 다중 날짜 변형을 비교한다.

결과는 Forecast-Dojo 평가 세트에서 정확도 41.6%에서 50.5%, Brier 점수 0.731에서 0.626으로 개선됐다. FutureX에서는 정확도 51.3%에서 57.9%, Brier 점수 0.612에서 0.528로 좋아졌다. 논문은 이 결과가 기존 예측 하네스와 이전 RL 기반 학습 방법을 앞서면서, 훨씬 큰 기성 모델과도 경쟁력이 있다고 주장한다. 다중 날짜 학습은 단일 날짜 학습보다 일관되게 나았고, 통제된 evidence-reader 교체 실험은 이득이 정보 획득과 확률 보고 양쪽에서 나온다고 설명한다. GRPO 절제 실험에서는 그룹 내 표준편차 정규화가 proper scoring rule 성능을 떨어뜨리는 반면 최빈 결과 정확도는 크게 바뀌지 않았다고 보고한다.

개발자 관점에서 이 논문은 이벤트 예측 에이전트를 만들 때 검색 시점의 정보 컷오프를 데이터 파이프라인과 프롬프트에 강제하고, 최종 정확도만이 아니라 Brier 점수 같은 proper scoring rule로 확률 보정을 평가해야 한다는 신호를 준다. 또한 검색 결과 H_t와 최종 확률 p_t를 분리해 로그로 남기면 정보 획득 격차와 보고 격차를 진단할 수 있다. GRPO를 확률 출력에 적용할 때는 표준편차 정규화를 그대로 쓰기 전에 제거 변형을 비교해 볼 필요가 있다는 것이 이 논문의 실무적 시사점이다.

한계도 명시된다. 논문은 허용된 날짜 정보 밖의 결과 누출이 없다는 가정과 유한한 기대값을 갖는 strictly proper score를 전제한다. 로그 점수는 확률 하한을 둔 구현이 전체 심플렉스에서 엄밀히 proper하지 않을 수 있어 주 실험은 Brier 점수를 쓴다. 메모리 켜진 학습은 날짜별 대리 목적함수를 쓰며, 이전 노트북 행동이 이후 예측에 주는 보상을 명시적으로 배분하지 않는다. 날짜 간 크레딧 할당은 향후 과제로 남겨져 있다. Proposition 2의 분석도 획득 문맥을 고정한 국소적·점수만 사용하는 보고 업데이트에 대한 것이지, 전체 학습된 에이전트의 보정을 보장하는 것은 아니다.