AGI 스케일링의 다음 축은 실행 전에 가치를 판단하는 System-1과의 공동 설계다

무엇인가

이 논문은 AGI로 가는 투자가 지금까지 값비싼 집행자, 즉 System-2(추론·계획·의사결정·함수 호출·컴퓨터 사용)를 더 큰 모델, 더 많은 데이터와 컴퓨트, 더 긴 추론, 더 많은 에이전트로 확장하는 데 집중해 왔다고 진단하고, 다음 단계는 그 확장이 아니라 값싼 System-1과의 공동 설계에서 올 수 있는지 묻는다. 저자들이 드는 병목은 상호작용의 총량이 아니라 비용이다. 사람이 만든 텍스트는 유한하고, 합성 데이터는 양이 아니라 커버리지 문제로 바뀌며, 로보틱스·과학 실험·임상·산업 현장의 상호작용은 계산 파워로 가속할 수 없는 속도로 하나씩 생성된다. RLVR에서는 한 프롬프트에 G개의 응답을 샘플링해도 보상이 모두 같으면 그룹 상대 advantage가 전부 0이 되어 정책 경사를 전혀 주지 않는 degenerate 프롬프트가 상당 비율을 차지하고, 물리적 환경에서는 일반화에 필요한 롤아웃 수가 파라미터 공간의 유효 차원과 함께 커진다. 저자들은 무조건적 상호작용 하나를 더 실행할 때의 한계 이득이 스케일링 법칙 아래에서 α𝒞^{-α-1}에 비례해 사라진다는 점을 지적하며, 결국 "System-2가 실행 전에 그 상호작용의 가치를 어떻게 알 수 있는가"를 핵심 연구 질문으로 세운다.

어떻게 동작하나

제안하는 방법은 conditional interaction, 즉 예측-게이트-실행-갱신(predict-gate-execute-update) 루프다. System-1은 모델 계열이 아니라 실행 역할로 정의되는 경량의 의미 인식 예측기로, 프롬프트·과업 설정·쿼리·도구 호출 같은 후보 상호작용과 그 문맥을 입력받아 해답 대신 점수를 반환하며, 비용은 c_pred ≪ c_exec다. System-2는 실제로 상호작용을 수행하는 자원 집약적 모델·에이전트이고, System-1이 인증한 후보에만 호출된다. 선택 규칙은 정의 1의 조건부 상호작용 정책으로, 후보 i의 예측 효용 û에 대해 exp(β·û)로 가중하고 예측 효용이 임계 κ_t 이상인 후보만 남긴 뒤 Z_t로 정규화한다(식 3a, 3b). β는 선택의 날카로움을, κ_t는 최소 예측 효용을 강제하는 문턱을 담당하며, 허용 집합이 비면 명시적 기권(∅)을 선택해 아무것도 실행하지 않는다. β를 무한대로 보내면 동점을 균등 분해하는 그리디 argmax로 퇴화하고(명제 2), κ_t가 최대 예측 효용보다 크면 즉시 기권이 발동한다. 실행 비용이 후보마다 다르면 정책은 비용 조정 점수 ũ = u − λC에 적용된다. 효용 u는 하나로 고정되지 않는다. 정의 3은 기대 베이지안 surprise(사후-사전 KL 발산의 기대값, 조건부 상호정보량)를 표준 예로 들고, 탐험·실험 설계의 정보이득, 커리큘럼 학습의 기대 개선, 의사결정의 정보 가치(VoI), 견고한 도메인 랜덤화의 적응 위험 등 문맥별 효용을 함께 제시한다. 중요한 구분은 정적 캐스케이드와의 차이다. 정적 캐스케이드는 한 번 학습되어 추론 계층에서만 라우팅하고 System-2의 결과를 받지 않지만, 공동 설계에서 System-1은 학습 시점에도 개입해 롤아웃 예산·리플레이 버퍼·배치·KV 캐시·컨텍스트 윈도 같은 컴퓨트와 저장량을 스케줄하고, System-2의 실현 보상과 그래디언트가 System-1을 온라인으로 재보정한다.

무엇과 다른가

이론의 중심 좌표는 ρ_u, 즉 후보 상호작용 중 효용이 선언된 하한 u_min을 넘는 비율이다. 저자들은 이상적 스크리닝과 동일한 실행 비용을 가정하면 실행 컴퓨트가 1/ρ_u에 가깝게 감소한다고 주장한다. 명제 24는 이를 재조정 항등식으로 못박는다. 기본 손실 곡선 ℒ_base와 상수 ρ_u에 대해 조건부 상호작용의 손실은 ℒ_CI(𝒞) = ℒ_base(𝒞/ρ_u)이고, 로그-컴퓨트 축에서 곡선이 ln(1/ρ_u)만큼 왼쪽으로 이동한다는 것이다. 다만 예측 오차, 탐험, 분포 이동이 절감을 깎아먹고, 선택 후회(regret)는 예측기 오차와 효용 마진으로 상한이 잡힌다. 이로부터 저자들은 ρ_u가 스케일링 효율의 측정 가능한 좌표이며 총 컴퓨트보다 informative compute(식 54의 적분)가 스케일링을 더 잘 기술한다는 가설을 세운다. 여기에 더해 ρ_u가 시스템이 향상될수록 비증가한다는 가설 25, 그리고 게이팅이 단순한 상수 배 이득을 넘어 스케일링 지수 자체를 바꿀 수 있다는 더 강한 가설을 구분해 제시한다.

어떻게 쓰나

실험과 결과에 관해 이 원문 발췌는 정량 표나 데이터셋·베이스라인 수치를 제시하지 않는다. 저자 스스로 이 글을 관점(perspective) 논문으로 규정하고, 주장의 계층을 증명된 것(ⅡE 회계, 스크리닝·메모리 결과, 후회 상한, 테스트타임·에이전틱 비용 상한, 고정 오차 곡선 하의 공동 스케일링, 수평 재조정), 응용별 근거로 지지되는 것(5.1절의 예측적 프롬프트·과업 샘플링 절감), 제안된 가설(비용·QoS·성능에서 동시에 우세한 공동 설계 프런티어, ρ_u의 감쇠, 스케일링 지수 변화)로 나눈다. 이 중 5.1절의 절감은 수평 재조정이라는 귀무가설과 일치하는 수준이며, ρ_u 감쇠와 지수 변화는 아직 측정되지 않았다고 명시한다. 따라서 본문 발췌만으로는 구체적 개선폭을 인용할 수 없고, 저자들이 제시한 유일한 정량적 관계는 1/ρ_u 배율과 ln(1/ρ_u) 이동이라는 해석적 결과다.

전제와 한계

개발자 관점에서 이 프레임은 RLVR 프롬프트 선택, 구현 환경의 과업 선택, 모델 라우팅, 적응적 추론, 에이전트 도구 호출 게이팅에 바로 대응한다. 실무에서 확인할 것은 세 가지다. 첫째, 예측 비용이 실행 비용보다 확실히 작아야 게이트가 이득이 된다. 둘째, 게이트는 자기가 실행한 상호작용으로만 학습되므로 p_train(i) ∝ p_cand(i)·e(i) ≠ p_cand(i)인 선택적 라벨 문제가 생긴다(식 57). 점수가 낮아 억제된 후보는 결과를 관찰할 수 없어 점수가 영원히 교정되지 않을 수 있으므로, 온도 조절만으로는 positivity가 보장되지 않고(유한한 β에서 û < κ_t인 후보는 확률 0), 전체 풀에 양의 확률을 주는 탐험 혼합 π_ε = (1−ε)π_CI + ε·π_0 또는 고정 비율 a의 감사 샘플링으로 e(i) ≥ e_min > 0을 설계해야 하며, 게이트가 부여한 성향 점수를 알기에 1/e(i) 역성향 가중이나 이중 견고 추정으로 편향을 보정할 수 있다. 셋째, 게이트가 공격적이면 유용한 상호작용을 버리고 느슨하면 죽은 상호작용이 다시 들어오므로 효율은 내부의 최적 허용률 ρ*에서 극대화되며, 이는 비정상적 밴딧 문제로 다뤄야 한다.

저자들이 밝힌 한계는 분명하다. 예측기가 신뢰할 수 있는 상황으로 범위를 의도적으로 한정하며, 예측기가 불확실할 때 탐험을 대체하지 못한다고 말한다. ρ_u는 정책 상태에 의존하는 값이지 자유롭게 조절하는 축이 아니고, 아직 실제로 측정된 적이 없어 가장 시급한 검증 과제로 남는다. 파워로우와의 정합성은 '단위 유용 컴퓨트가 손실을 같은 양만큼 줄인다'는 상수 조건부 진전 가정 위에서만 성립하는 일관성일 뿐 유도가 아니며, 그래디언트 노이즈·내재 차원·손실 곡률도 유사한 곡선을 만들 수 있다. 또한 이 프레임은 단일 학습자에 한정되어 있어, 에이전트 사회나 자기 대화·토론에서는 유용성이 공동 신념의 속성이 되므로 상호작용 그래프 위에서 관계적 효용을 정의해야 한다는 점을 가장 중대한 경계로 꼽는다.