LLM이 스무고개에서 정보 수집 추론을 학습하도록 베이지안 실험 설계를 압축한다

무엇인가

이 논문은 LLM이 사전학습 지식과 추론 능력은 크지만 여러 턴에 걸쳐 실험을 설계하고 정보를 적응적으로 모으는 일은 잘 못한다는 문제를 다룬다. 논문은 Gupta 등이 LLM이 실험 피드백에 둔감하다고 보인 점을 인용하며, 성능이 새로운 증거에 맞춰 추론을 바꾸는 능력보다 부정확할 수 있는 사전 지식에 의존하는 경향을 지적한다. 그래서 순차 베이지안 실험 설계(BED)를 형식화하고, 정보이득 보상으로 행동 선택을 이끄는 추론 과정 자체를 명시적으로 학습해 LLM에 amortize하는 방법을 연구한다. 의사가 증상을 묻고 검사를 고르는 진단 장면처럼, 예산과 상호작용 제약 아래에서 무엇을 물을지 스스로 정해야 하는 에이전트에 중요한 문제다.

어떻게 동작하나

BED에서는 숨어 있는 대상 θ에 대해 설계 x를 고르고 관측 y를 얻는다. 기대 정보이득(EIG)은 사전에서 사후로의 불확실성 감소, 또는 θ를 알 때 y의 불확실성이 줄어드는 양으로 정의된다. 순차 BED는 매 단계 이전 상호작용 이력 h를 조건으로 EIG를 최대화하는 설계를 고르지만, 매 단계 사후분포를 추정해야 하고 EIG 계산 자체가 이중으로 다루기 어려우며, 한 단계만 보는 근시안적 선택이 될 수 있다. 논문은 Deep Adaptive Design의 대조적 하한 sPCE와 이를 단계별 보상으로 분해한 Blau 등의 MDP 정식화를 바탕으로, 비용을 추론 시점에서 학습 시점으로 옮기는 amortization을 LLM 추론 정책에 적용한다.

무엇과 다른가

제안 방법 AR-BED의 정책은 이력 h에서 먼저 추론 흔적 z를 생성하고, 그다음 질문 x를 낸다. 학습은 세 단계다. 정책이 추론을 거쳐 설계를 생성하고, 정책과 독립적으로 지정한 생성모형이 그 설계의 정보 가치를 평가하며, K단계 롤아웃에서 누적한 정보이득 보상으로 GRPO를 사용해 추론 정책을 최적화한다. 핵심 설계는 실험 생성모형을 정책 LLM의 믿음과 분리하는 것이다. 유한한 대조 가설 집합에 균등 사전을 두고, 별도의 더 큰 LLM을 의미적 우도 평가기 p_oracle로 써서 p(y|θ,x)를 평가한다. 스무고개에서는 관측 공간이 예/아니오/모르겠다로 유한하므로 가능한 결과를 주변화할 수 있고, 우도 평가는 캐시해 재사용한다.

어떻게 쓰나

보상은 한 번 샘플링한 가설과 관측으로 얻는 실현 정보이득이 아니라, 가설과 결과에 대해 기대값을 취한 기대 정보이득으로 계산한다. 논문은 이를 Rao-Blackwell화된 형태라고 설명하며, 분산을 줄이고 지정한 유한 가설 공간 위의 정확한 한 단계 EIG가 된다고 말한다. 다만 전체 관심 가설 공간 위의 EIG와 같지는 않을 수 있고, 큰 대조 집합으로 보상을 계산하되 더 작은 가설 집합으로 롤아웃을 생성하면 기대 보상과 실현 보상의 차이가 분산 감소 이상으로 커질 수 있다고 덧붙인다. 반환값은 K단계 기대 정보이득의 할인 합이며, K=1이면 근시안적 목표, K>1이고 γ>0이면 이후 단계에서 얻을 정보까지 초기 결정에 보상한다. 스무고개 구현에서는 낮은 가중치 가설을 가지치기하고 오라클의 가장 가능한 답으로 롤아웃을 진행하는 근사를 쓴다.

전제와 한계

실험은 스무고개를 중심으로 한다. 훈련은 Animals 영역에서 200마리 동물의 고정 대조 집합을 쓰고, 그중 100마리를 실제 목표로 삼아 GPT-5로 250개 게임을 생성해 최대 5개 중간 지점씩 총 1,200개 부분 궤적을 만든다. 평가는 모델마다 세 시드에 걸쳐 50게임씩, 20질문 예산 내 해결률과 턴당 평균 EIG로 측정한다. Gemma-4-E4B-it 추론 정책을 배치 128, 상태당 8롤아웃, 250스텝으로 학습하고 K>1일 때 γ=0.5를 쓴다. 결과적으로 AR-BED_1은 모든 범주에서 최종 해결률이 가장 좋았고 Animals, Plants, Countries에서 턴당 평균 EIG가 가장 높았다. 반면 Base 모델에 추론을 붙이는 것만으로는 모든 범주에서 최종 해결률이 떨어졌고 Countries에서만 EIG가 올랐다. 추론 없이 직접 질문을 샘플링하도록 학습한 변형은 분포 내 행동은 좋아졌지만 Plants에서는 Base보다 나빠지는 등 전이성이 일관되지 않았다.

비교 실험에서 추론 시점 BED를 수행하는 BED-LLM은 게임당 AR-BED_1보다 약 61배 느렸고, 훈련 시점 amortization 베이스라인 ASIG는 LLM 생성 BED 모형을 쓰는 추가 비용 때문에 스텝당 약 2.9배 느렸다. AR-BED_1은 대부분 영역에서 이들보다 좋았고, ASIG는 추론을 붙이면 크게 개선되지만 Animals, Plants, Countries에서는 여전히 AR-BED_1 아래였고 Celebrities에서는 비슷했다. 논문은 이득이 정보이득 목적을 추론 과정에 amortize하고, 정책과 분리된 외부 생성모형으로 더 신뢰할 수 있는 훈련 신호를 얻는 데서 온다고 주장한다. 추가 분석에서는 기대 보상이 실현 보상보다 Animals, Plants, Countries에서 EIG와 해결률을 개선했고, 200개 대조 집합이 100개보다 분포 밖 전이를 개선했다. 포유류만으로 대조 집합을 구성한 경우 “포유류인가”라는 질문의 EIG가 거의 0으로 계산되는 잘못된 신호가 생겼고, 비포유류뿐 아니라 포유류 목표에서도 동물 전체로 학습한 모델보다 나빴다. 비근시안 보상은 짧은 지평에서 K=2, K=3이 K=1보다 일부 이득을 주는 것으로 확인됐다.

의료 대화 벤치마크 Medi-Q로의 전이도 보고된다. 피부과, 신경과, 소화기과의 세 합성 의료 스무고개 환경을 만들고 각각 Medi-Q 답변 목록에서 뽑은 50개 질병 대조 집합을 둔다. 1,200개 시작 상태로 별도 의료 정책을 AR-BED_1 목적으로 학습하고, GPT-5를 고정 환자로 두고 다섯 질문을 하게 한 뒤 별도 GPT-5 결정자가 초기 정보와 상호작용 이력으로 진단을 예측하게 평가한다. 훈련 대조 집합에 없는 정답을 가진 피부과 95케이스에서 정확도가 90.5%에서 94.7%로, 소아과·정신과·심장내과 등 다른 전문과 92케이스에서 84.8%에서 90.2%로 올랐고, 정답 확률은 높아지고 Brier 점수는 낮아졌다. 저자들은 이것이 합성 스무고개에서 배운 추론 능력이 실제 임상 대화 설정으로 전이된 증거라고 해석한다.

저자들이 밝힌 한계는 비교적 짧은 롤아웃 지평과 대조 가설 집합의 품질 민감도다. 더 긴 지평에서도 신뢰할 수 있는 훈련 신호를 유지하는 일이 중요하고, 대조 집합이 실제 가설 공간에 대해 잘못 지정됐을 때 성능이 흔들리므로 크기, 구성, 사전 가중치가 학습과 전이에 미치는 영향을 더 연구해야 한다고 말한다. 개발자 관점에서는 질문을 통해 정보를 모으는 에이전트를 만들 때, 정책과 분리된 보상용 생성모형을 두고 기대 정보이득을 여러 단계로 누적해 추론 정책을 학습하는 패턴을 참고할 수 있다. 다만 오라클 우도 모형의 비용과 가설 공간 커버리지를 먼저 검증해야 한다.