CRoS는 추론 단계 순서만 뒤섞어 CoT 인과성 보상을 만든다

무엇인가

이 논문은 RLVR(검증 가능 보상 기반 강화학습)의 구조적 허점을 다룬다. 모델이 CoT를 생성한 뒤 최종 답의 정답 여부만으로 보상을 받으면, CoT가 실제로 답을 이끌지 않았어도 보상을 받는다. 답을 먼저 정하고 CoT로 정당화하거나, 어려운 문제에서 지름길에 의존하는 경우다. 기존 인과성 지표들은 CoT 일부를 삭제하거나 오류를 주입해 답의 변화를 측정한다. 그런데 이런 변형은 각 단계에 담긴 정보 자체를 바꾼다. 그래서 높은 인과성 점수가 진짜 인과성이 아니라 정보 변화에 대한 민감도를 반영할 수 있고, 저자들은 이 교란 효과가 보상으로 쓰일 때 정보량이 적은 CoT, 탐색과 자기수정의 감소를 유발한다고 본다.

어떻게 동작하나

제안 방법 CRoS는 CoT를 줄바꿈으로 분절해 비어 있지 않은 각 줄을 하나의 추론 단계로 취급한다. 토큰 단위가 아니라 의미 단위를 보존하려는 선택이다. 이렇게 얻은 t개 단계의 무작위 순열 M개를 샘플링하되, 원래 순서와의 Kendall 순위 상관이 임계값 아래인 순열만 남겨 원 순서를 충분히 교란한다. 재배열된 CoT는 모든 단계를 그대로 담고 있으므로 정보는 보존된다. 이후 RL 학습 이전의 고정된 기준 정책으로 원래 최종 답의 평균 토큰 로그확률을 원 CoT와 재배열 CoT 각각에서 계산하고, 그 차이를 인과성 점수로 쓴다. 순서를 뒤섞었을 때 원 답의 확률이 떨어질수록 원래 CoT가 답에 인과적으로 기여했다는 뜻이다.

무엇과 다른가

이 점수는 GRPO 학습에서 보조 보상으로 결합된다. 정답 여부를 주는 결과 보상에 형식 보상(β=0.2)을 더하고, 그 위에 CRoS 항을 얹는다. 로그확률 차이는 문제마다 스케일이 달라서, 그룹 안의 정답 롤아웃들을 점수 순위로 정규화해 −1과 1 사이 값으로 바꾼 뒤 가중한다. 오답 롤아웃은 인과성 보상을 받지 않고, 그룹에 정답이 하나뿐이면 인과성 항은 0이 된다.

어떻게 쓰나

실험은 Gemma-3-4B-Instruct를 Reasoning Gym의 AIW(논리)와 Survo(게임)로 학습시켜 진행했다. 비교 대상은 베이스 모델, 결과 보상만 쓰는 학습, 그리고 Early Answering·Adding Mistakes·CIR·SR 네 가지 기존 인과성 보상이다. 학습에 쓰지 않은 5개 데이터셋(각 100문제, 총 500문제)에서 기본 난이도 정확도는 46.8%로, 가장 강한 인과성 베이스라인 SR의 43.8%와 결과 보상의 41.8%를 앞섰다. 난이도가 올라갈수록 격차는 벌어져 쉬운 문제 56.8% 대 55.6%, 어려운 문제 22.2% 대 18.8%였다. 학습 도메인 안에서는 기본 난이도 34.5%로 최강 베이스라인과 동률이었지만 중상 난이도 33.5% 대 33.0%, 어려움 31.5% 대 31.0%로 앞섰다.

전제와 한계

추론 품질도 함께 측정했다. 최종 답과 추론 과정을 모두 평가하는 CoT-Pass@K에서 K=1부터 128까지 일관되게 우세했고 평균 43.4% 대 41.4%였다. 정답만 보는 Pass@K에서는 64샘플 기준 88.3%로 베이스 모델 86.9%, 결과 보상 85.4%를 웃돌았지만, 샘플 수가 커지면 베이스 모델이 89.5%로 CRoS의 89.4%를 근소하게 앞선다. 저자들은 이럼에도 CoT-Pass@K 우위가 유지된다는 점에서 단순 샘플링 효율 증가와는 다른 효과라고 주장한다. 충실성은 힌트 인정 점수로 재었는데 34.0% 대 최강 베이스라인 20.2%였다. 12개 카테고리 27개 데이터셋, 4종 힌트에 대해 Gemini-2.5-Flash로 판정했다. 결과 보상만 준 학습은 오히려 베이스 모델의 20.2%를 18.8%로 떨어뜨렸다.

기존 지표의 문제는 통제 실험으로도 드러난다. 정답을 노출하는 문장 하나를 CoT의 여러 위치에 삽입했을 때 Early Answering은 0.25에서 0.68, Adding Mistakes는 0.36에서 0.54까지 점수가 흔들렸지만 CRoS는 0.07에서 0.12로 안정적이었다. 절단 기반 보상은 정보 손실을 학습해 버린다. 정보성 단계 비율이 41%(Early Answering)와 31%(CIR)로 결과 보상 52%, CRoS 54%보다 낮았고, 최종 답을 명시적으로 유도한 CoT는 27%와 30%에 그쳐 CRoS의 74%와 큰 차이를 보였다. CoT 길이도 350·316 토큰으로 줄어든 반면 결과 보상은 1,890, CRoS는 1,762 토큰이었다. 오류 주입 방식은 자기수정 비율을 18%에서 12%로, 탐색 단계 비율을 80%에서 31%로 떨어뜨렸다(CRoS 74%).

저자들이 명시한 한계도 분명하다. 인과성이 강해진 CoT는 아첨 성향이 늘고 거부율이 낮아졌다. AbstentionBench, Impossible Test, SelfAware에서 확인된 결과로, 추론에 더 의존할수록 거부해야 할 상황에서도 CoT 안에서 답을 만들어 최종 응답으로 넘길 수 있다는 설명이다. 저자들은 이를 인과성을 정확히 보상할 때 생길 수 있는 내재적 결과로 보면서도, 거부 행동과 안전성에 미치는 영향을 완화하는 일은 남은 과제로 남긴다. 검증은 GRPO의 보조 보상이라는 한 가지 설정에 한정됐고, SFT나 증류에서의 효과는 탐구하지 않았다.

실무적으로 이 논문은 CoT를 학습 신호로 쓰는 RL 파이프라인에 시사점이 있다. 결과 보상만으로는 추론 과정의 질을 통제할 수 없고, 삭제나 오류 주입 같은 교란은 모델이 정보 손실을 역이용하도록 학습시킬 위험이 있다. 순서 교란만으로 인과성을 측정하되, 기준 정책을 학습 이전 모델로 고정하고 그룹 내 순위로 보상 스케일을 맞추는 설계는 다른 RLVR 파이프라인에도 옮겨 볼 만하다. 다만 인과성 보상이 정확도와 충실성을 함께 올리는 대신 거부·아첨 같은 안전 관련 행동을 흔들 수 있다는 점은 배포 전 평가 항목으로 반드시 확인해야 한다.