RLVR이 가르친 추론 전략은 분포 밖에서 무너지고 양방향 함수 공동학습이 이를 되살린다

무엇인가

강화학습과 검증 가능한 보상(RLVR)이 LLM 추론을 일반화시킨다는 긍정 사례는 계속 쌓이고 있지만, 이 논문은 반대 방향의 질문을 던진다. 언제, 왜 RLVR의 일반화는 실패하는가. 저자들은 실패를 관찰 가능하게 만들기 위해 통제 가능한 역문제 프레임워크를 세운다. 함수 f의 소스 코드와 목표 출력 y가 주어졌을 때 f(x)=y를 만족하는 여러 개의 문자열 입력 x를 찾는 과제로, 수학 방정식을 거꾸로 푸는 일이나 코드에서 관측된 출력으로부터 버그의 원인을 추적하는 일을 흉내 낸다. 핵심은 f를 전단사가 아닌 함수로 구성해 하나의 y에 여러 해가 존재하게 만든 점이다. 이렇게 하면 모델이 어떤 전략을 쓰는지가 추론 트레이스에 그대로 드러나고, 난이도 축을 통제한 분포 밖(OOD) 이동을 정의할 수 있다.

어떻게 동작하나

실험 설계는 구체적이다. 전단사가 아닌 함수 24개를 만들어 18개는 학습에, 6개는 평가에 쓴다. 함수 자체를 분리했기 때문에 평가는 함수를 외워서 풀 수 없다. 학습셋은 5만 개 과제, 각 평가셋은 1,024개 과제다. 분포 내 설정은 출력 y의 길이가 4~6이고 해를 2개 요구한다. 여기서 네 가지 난이도 축으로 OOD를 만든다. 요구 해 개수를 3~6개로 늘리는 More Answers, 출력 길이를 6~10으로 늘리는 Longer Outputs, 둘을 합친 축, 그리고 y와 x의 길이가 같다는 분포 내 가정을 깨는 Length Change다. 정확도는 정답이면서 서로 다른 해의 개수를 요구 개수 k로 자른 값을, k와 제출 개수 m 중 큰 값으로 나눠 계산한다. 많이 찍어내는 보상 해킹을 벌점으로 막는 구조다. 기반 모델은 Qwen2.5-7B-Instruct이고 GRPO에 DAPO의 개선점, 특히 보상 분산이 0인 그룹을 걸러내는 필터링을 적용해 학습한다.

무엇과 다른가

결과의 핵심은 Mono라 부르는 모델에서 나타나는 '추론 전략 붕괴'다. Mono는 분포 내 과제에서 구조적으로 f를 역으로 되짚는 유도(derivation) 전략을 대부분 학습해 90% 안팎의 정확도를 낸다. 그런데 OOD로 가면 같은 모델이 유도를 버리고 모든 자릿수를 한꺼번에 찍는 무차별 열거(enumeration)로 퇴화한다. 유도 비율은 분포 내 85%에서 더 어려운 세 OOD 셋에서 50% 아래로 떨어진다. 정확도는 이동 폭에 비례해 무너져, 가장 완만한 More Answers에서는 80% 위를 유지하지만 Length Change에서는 6%까지 추락한다. 저자들이 강조하는 점은 이 실패가 흔히 말하는 RLVR 실패 유형과 다르다는 것이다. 베이스 모델의 능력 부족도 아니고(같은 모델이 분포 내에서는 90%에 근접한다), 보상 해킹도 아니다(분포 내 평가에서 정석적인 유도 전략을 실제로 사용한다). 과제 형식은 동일한데 전략만 바뀐다는 것이 이 현상의 요체다.

어떻게 쓰나

처방은 직관과 어긋난다. 저자들은 전단사 함수 역문제, 즉 해를 하나만 요구하는 과제를 1대1 비율로 섞어 학습시킨 Mixed 모델을 만든다. 전단사 과제는 여러 해를 요구하는 OOD 평가와 오히려 더 멀고, 훈련 보상이나 내재적 난이도 기준으로도 일률적으로 더 어렵지 않으며, 분포 내 정확도도 크게 바꾸지 않는다. 그런데도 Mixed는 OOD에서 유도 전략 사용률을 Mono 대비 거의 두 배로 끌어올리고, 특히 Length Change 같은 새로운 함수에서 정확도를 크게 회복한다. 저자들은 이 개선이 특정 평가셋의 우연, 학습 과제 다양성 증가, 학습 난이도 상승으로는 설명되지 않음을 통제 실험으로 보인다.

전제와 한계

이론적 설명은 '토큰당 비트'다. 추론을 해 공간에서 정답 부분집합을 찾는 탐색 MDP로 보고, 정답을 식별하는 데 필요한 정보량을 D=log(|Y|/|Y*|) 비트로 정의한다. 유도는 한 단계에서 후보를 구조적으로 잘라내 많은 비트를 만들고, 열거는 한 번에 하나씩만 제거해 비트율이 낮다. 논문은 종료 보상과 결정적 전이 아래에서 각 스텝의 어드밴티지가 성공 확률의 증가분과 같아진다는 명제 1을 제시하고, 크리틱 없이 궤적 수준 보상만 보는 GRPO에서도 그룹 통계만으로 같은 스텝 수준 크레딧이 창발한다는 명제 2를 보인다. 전단사 과제는 정답 집합 크기가 1이라 고비트율 전략과 저비트율 전략 사이의 어드밴티지 격차를 벌려 유도를 더 선명하게 보상한다는 해석이다. 이를 검증하려 롤아웃 예산을 8k에서 5k 토큰으로 줄이는 실험과 프롬프트에 자릿수 제약을 추가하는 실험을 했고, 둘 다 유도 비율을 끌어올렸다.

추가 분석도 흥미롭다. OOD 트레이스의 히든 스테이트에 선형 프로브를 붙이면 Mono는 생성된 추론이 함수를 분석하기도 전인 첫 토큰에서 이미 최종 전략이 유의하게 디코딩된다. 반면 Mixed는 함수 분석 구간을 지난 뒤에야 전략이 드러나, 문제 맥락을 보고 전략을 정한다는 관찰과 맞아떨어진다. 혼합 비율을 1대3, 1대1, 3대1로 바꾸면 전단사 비중이 커질수록 유도 비율은 단조 증가하지만 정확도는 1대1에서 가장 높다. 3대1은 전략은 옳지만 모듈러 연산 같은 실행 오류가 늘어난다. 수학 벤치마크 제로샷 전이에서는 Mono가 MATH500에서, Mixed가 나머지 다섯 개의 더 어려운 벤치마크에서 강했다. Sokoban 에이전트 환경에서도 최적 스텝+2 안에 목표에 도달해야 성공하는 보조 과제를 섞은 쪽이 학습이 더 안정적이었다.

개발자 입장에서 이 논문이 주는 실무적 메시지는 두 가지다. 첫째, RLVR 후 성능이 특정 분포에서만 좋고 밖에서 급락한다면 보상 설계보다 추론 트레이스에서 모델이 실제로 어떤 전략을 쓰는지 먼저 분류해 봐야 한다. 정확도 곡선만 보면 베이스 모델 한계로 오진하기 쉽다. 둘째, 데이터 레시피에서 더 쉽거나 더 가까운 과제를 추가하는 것이 아니라, 정답 공간을 좁혀 단계적 유도를 강제하는 보조 과제를 섞는 것이 전략 선택을 바꾸는 지렛대가 될 수 있다. 다만 그 비율은 전략뿐 아니라 도메인 실행 능력과 맞바꾸는 튜닝 변수라는 점이 혼합 비율 실험에서 드러난다.

한계도 분명하다. 주 실험은 Qwen2.5-7B-Instruct 단일 기반 모델과 합성 문자열 함수라는 좁은 과제군에 집중돼 있고, 전략 라벨링은 Gemini-3.0-Flash를 심판으로 쓴 뒤 수동 주석으로 검증하는 방식에 의존한다. 저자들 스스로 Sokoban 실험은 유도와 열거의 명확한 범주 구분이 없는 멀티스텝 환경이라 직접적 유추가 아니라고 인정한다. 또한 전략을 고르는 메타 수준 능력과 그 전략을 끝까지 정확히 수행하는 과제 특화 실행 능력이 별개라는 점, 즉 더 많은 유도가 항상 더 높은 정확도를 뜻하지는 않는다는 점도 3대1 혼합 결과로 남겨둔 숙제다.