CURIO는 호기심 보상으로 테스트 시점 강화학습의 조기 수렴을 완화한다

무엇인가

개방형 발견(open-ended discovery)은 정해진 정답 하나를 맞히는 문제가 아니라, 반복 시도에서 배우면서도 아직 가치가 드러나지 않은 방향을 계속 탐색해야 하는 문제다. 논문이 지적하는 핵심 긴장은 이렇다. 고정된 LLM으로 후보를 샘플링하는 검색 기반 방법은 이전 시도를 프롬프트·아카이브·개체군으로 재활용할 수 있지만, 테스트 문제에서의 성공과 실패로 모델 파라미터 자체를 갱신하지는 못한다. 반대로 강화학습(RL)은 테스트 시점에 정책을 갱신해 경험을 내재화하지만, 보상이 높은 궤적을 강하게 선호하면 현재 보상이 낮을 뿐 잠재력이 있는 방향이 너무 일찍 억제된다. 저자들의 질문은 "과제 피드백으로 학습하면서도 탐색 인센티브를 유지하려면 어떻게 해야 하는가"이다.

어떻게 동작하나

CURIO는 이 문제를 과제 보상에 내재적 호기심 신호를 더하는 방식으로 푼다. 핵심 구성 요소는 Intrinsic Curiosity World Model(ICWM)로, 외부 환경이나 평가자가 아니라 정책 자신의 은닉 상태 표현 공간에서 토큰 단위 전이를 학습한다. 구체적으로 완성 토큰 t에 대해 상태 s_t는 위치 P+t-2의 마지막 층 은닉 상태, 행동 a_t는 동결된 백본 토큰 임베딩, 다음 상태 s_{t+1}은 위치 P+t-1의 은닉 상태로 정의된다. 인코더 φ와 예측기 f가 [φ(s_t); a_t]로부터 φ(s_{t+1})을 예측하고, 그 잔차 e_t = ½‖φ(s_{t+1}) − f([φ(s_t); a_t])‖₂를 미니배치 단위로 평균한 손실로 ICWM을 학습한다. 잔차는 옵티마이저 스텝 전에 stop-gradient로 캐시되므로, 에포크 전체를 하나의 최종 예측기로 다시 채점하는 방식이 아니다. ICWM의 그래디언트는 액터로 전파되지 않는다.

무엇과 다른가

보너스는 두 단계로 정제된다. 먼저 에포크 내 완성 위치 전체(프롬프트·패딩 제외, 삽입된 강제 접미사는 0 잔차로 포함)에 대해 평균 μ와 분산 σ²를 구해 잔차를 표준화한다. 다음으로 정책의 top-k 밖에서 샘플된 토큰에만 이 값을 남긴다. 즉 u_t = m_t·1[y_t ∉ TopK_k(π_θold)]이고 보너스는 b_t = u_t·ê_t다. k=1이면 최고 확률 토큰에서 벗어난 위치만 선택된다. 이 마스크는 생성 시점에 기록되어 학습 중 고정된다. 최종 정책 갱신은 과제 계수 A_t에 어닐링된 가중치를 곱한 보너스를 더한 Ã_t = sg[A_t + η_τ·b_t]를 토큰별 중요도 가중 대리 목적함수에 넣는다. η_τ = η_0·max(α, ½[1+cos(πτ/E)])로 학습이 진행될수록 호기심 가중치는 바닥값으로 줄어든다. 과제 계수 자체는 그룹 내 보상의 지수 가중 비율 추정량으로, β는 소프트맥스와 균등분포 사이 KL이 log 2가 되도록 그룹별로 보정되며, 여기에 참조 정책 대비 토큰 국소 로그비를 중심화한 보정항이 더해진다.

어떻게 쓰나

실험은 두 과제군에서 이뤄졌다. 수학 발견으로 에르되시 최소 중복 문제, 자기상관 부등식 AC1–AC3, 단위 정사각형에 n=26개 원을 배치하는 Circle Packing(최고 알려진 값 ≈2.635983), HadamardMatrix를 쓰고, 단일세포 노이즈 제거는 PBMC와 Tabula 두 scRNA-seq 코퍼스에서 Score(높을수록 좋음), 재구성 MSE(낮을수록 좋음), 포아송 NLL로 평가한다. 백본은 Qwen3 8B·14B·235B이고, 비교 대상은 고정 LLM 검색 계열(OpenEvolve 경유 AlphaEvolve, ShinkaEvolve, Best-of-25600, SimpleTES)과 학습형 테스트 시점 RL 계열(ThetaEvolve, TTT-Discover)이다. TTT-Discover가 η_0=0으로 호기심을 제거한 동일 조건 대조군이다.

전제와 한계

결과는 세 번 실행 평균 기준으로, CURIO는 모든 테스트 스케일에서 에르되시, AC1–AC3, Hadamard에서 TTT-Discover를 앞서고 Circle Packing에서는 보고된 최고 성능과 동일한 수준을 보인다. 두 홀드아웃 코퍼스 모두에서 노이즈 제거 Score와 MSE가 개선되며, 상대 개선폭은 235B Hadamard에서 18.3%, 8B Tabula Score에서 10.8%다. Hadamard 상대 개선은 8B 4.11%, 14B 3.36%, 235B 18.33%로 스케일에 단조 비례하지 않는다. 에르되시 절대 목표값은 0.380932 → 0.380919 → 0.380880으로 모델이 커질수록 좋아지지만, 이것이 대조군 대비 상대 우위가 커진다는 뜻은 아니라고 저자들은 못박는다. 모든 베이스라인을 이긴 것도 아니다. 8B Tabula에서 ThetaEvolve가 Score 0.7207 대 0.7165, MSE 0.1441 대 0.1485로 더 좋다. 코드 수준 구조 다양성은 OpenEvolve의 아일랜드 코드 다양성 지표로 측정했고, CURIO가 표시된 에포크에서 대체로 TTT-Discover보다 높지만 일부 구간에서는 곡선이 교차하거나 근접한다.

절제 실험은 Qwen3-14B에서 이뤄졌다. 초기 호기심 가중치 η_0 ∈ {0, 0.3, 0.5, 0.8} 중 자기상관 과제에서는 0.3이, 에르되시·Hadamard·단일세포 통합에서는 0.5가 가장 좋았고, 0.8은 일부 과제에서 과제 전용 대조군보다도 나빴다. ICWM 예측기를 MLP에서 GRU·Transformer로 바꿔도 MLP가 경쟁력 있었고 최적 구조는 과제에 따라 달랐다. 표현 결합 방식은 정책과 결합된 표현이 대부분 과제에서 앞섰지만 일부 과제에서는 동결 표현이 우세했다.

실무 관점에서 이 논문의 쓸모는 "탐색 신호를 어디에, 얼마나 세게 걸 것인가"에 대한 구체적 레시피다. 보상만으로 테스트 시점 RL을 돌릴 때 정책이 소수 성공 패턴으로 붕괴한다면, 정책 은닉 상태 전이의 예측 오차를 보너스로 쓰되 최고 확률 토큰 밖에서만, 에포크 단위로 표준화하고, 학습 후반에는 가중치를 줄이는 조합을 참고할 수 있다. 다만 호기심 가중치가 과제별로 다르게 튜닝되어야 하고 0.8처럼 큰 값은 해가 된다는 점, 그리고 이득이 모든 베이스라인에 대해 균일하지 않다는 점을 전제로 삼아야 한다.

저자들이 명시한 한계는 분명하다. ICWM 예측 오차와 코드 다양성은 모두 대리 지표이며 의미적 참신성이나 향후 과제 개선을 입증하지 않는다. 인코더와 예측기를 이 손실만으로 함께 학습하면 상수 특징 해가 허용되어 붕괴 방지 보장이 없다. top-k 마스터 선택 규칙의 기여는 독립적으로 검증되지 않았고, 무작위 시드에 걸친 안정성도 확립되지 않았다. 에포크 정규화는 신호의 크기를 과제 계수와 맞춰준다는 보장이 없고, 마스킹 후에도 중심이 유지된다는 보장도 없다. b_t는 기댓값이 0이 아닐 수 있어 불편향 내재적 어드밴티지가 아니라 토큰 국소 보너스라고 부른다. 보고된 수치는 세 번 실행 평균이며, 평균 차이만으로 통계적 유의성을 주장하지 않는다.