LongR은 정보이득 보상으로 장문맥 추론의 희소 보상 한계를 줄인다

무엇인가

강화학습은 LLM 추론 능력을 끌어올리는 핵심 수단으로 자리 잡았지만, 긴 대화 이해나 구조화 데이터 분석 같은 장문맥 과제에서는 토큰을 많이 소비하는 것만으로는 부족하고 엄밀한 추론이 필요하다. 이 논문이 겨냥하는 문제는 장문맥 RL에서 정답 여부만 주는 희소 보상이 충분한 학습 신호를 주지 못한다는 점이다. 선행 연구인 LongRLVR은 문서를 미리 이산적인 청크로 분할하고 정책이 특정 청크 식별자를 출력하도록 학습시켰는데, 저자들은 이 방식이 정보 무결성을 훼손할 위험이 있고, '찾아보기'와 '추론하기'를 분리해 자연어 추론 흐름을 끊으며, 별도의 인공적 데이터 구축 비용과 주류 후처리 분포에서 벗어난 특수 포맷을 요구한다고 지적한다.

어떻게 동작하나

LongR은 이 제약을 피해 표준 자기회귀 생성 안에서만 동작하는 통합 프레임워크를 제안한다. 핵심은 'Think-and-Read' 메커니즘으로, 추론 체인 안에 문서 인용을 직접 끼워 넣어 사람이 추론과 자료 확인을 번갈아 하는 인지 과정을 흉내 낸다. 별도 청킹이 없으므로 원문 정보가 그대로 보존된다. 이를 위해 내부 추론과 외부 인용을 명시적으로 구분하도록 강제하는 전용 프롬프트 템플릿을 쓰고, 생성된 궤적에서 모델이 실제로 참조한 문맥 세그먼트 집합을 추출한다.

무엇과 다른가

보상 설계가 이 논문의 두 번째 축이다. 저자들은 주석 없이 문맥의 효용을 정량화하기 위해 상대 정보이득(relative information gain)을 도입한다. 동결된 검증기 모델로 각 인용 세그먼트의 토큰 평균 음의 로그우도(NLL)를 계산한 뒤, 질의와 문서를 조건으로 줬을 때의 NLL과 아무 조건 없이 계산한 사전 NLL의 차이를 구한다. 이를 다시 사전 불확실성으로 나눠 r = 1 − L(s_k | x, c) / L(s_k) 형태의 스케일 불변 보상을 만든다. 궤적 수준 문맥 보상은 고유 인용들의 평균이며, 인용이 하나도 없으면 0으로 둔다. 최종 보상은 포맷 준수와 정답 일치를 보는 기존 보상에 이 문맥 보상을 더한 형태다. 검증기는 계산 효율과 표현력의 절충으로 Qwen3-4B를 기본값으로 쓴다.

어떻게 쓰나

학습은 두 단계다. 먼저 전문가 추론 궤적을 모방하는 지도 미세조정으로 콜드 스타트를 하고, 이후 RL을 수행한다. 장문맥 전용 데이터 엔지니어링을 피하기 위해 점진적 문맥 커리큘럼을 적용하는데, 문서 길이 상한을 L_m = min(L_max, L_0 × 2^m)으로 단계마다 두 배씩 늘려 16K에서 32K까지 확장한다. 저자들은 이런 '찾아보고 추론하기' 패턴이 장문맥 전용 시연 데이터 없이 일반적인 데이터만으로 RL을 통해 스스로 학습된다고 주장한다.

전제와 한계

실험은 Qwen3 4B와 8B 규모에서 DAPO로 RL을 돌리고 LongBench v2, RULER, InfiniteBench로 평가했다. 베이스라인은 공개 Qwen3-Base, 재현한 Qwen3-SFT, 결과 전용 보상으로 DAPO를 돌린 모델이다. LongBench v2에서 8B는 36.23점으로 DAPO 대비 +3.39, SFT 대비 +9.59를 기록했고, 4B는 35.44점으로 DAPO 대비 +5.03, SFT 대비 +9.79를 냈다. 어려운 문항에서 개선이 두드러져 Hard는 8B가 25.64에서 33.20으로, 4B가 28.16에서 35.61로 올랐고, Long 분할은 8B가 22.97에서 39.12로 뛰었다. RULER에서는 8B가 128K에서 61.48, 64K에서 71.98로 결과 전용 DAPO보다 각각 +6.61, +16.96 앞섰고, 4B는 60.71과 69.43을 기록했다. InfiniteBench 평균은 8B 50.20, 4B 47.61이며, En.MC가 54.15에서 58.52로(8B), En.QA가 12.68에서 21.85로(4B) 개선됐다.

보상 설계 절제 실험도 인상적이다. 상대 정보이득이 절대 밀도, 임계값 밀도, 결과 전용 보상을 모두 앞섰고 결과 전용 대비 약 4% 우위를 보였다. 절대 밀도는 정보이득이 무한정 커질 수 있어 정책이 관련성 대신 불필요하게 장황하거나 난해한 세그먼트를 생성해 보상을 해킹하는 경향을 보였고, 임계값 밀도는 기준선 위 세그먼트를 무차별적으로 동일 보상해 정밀한 근거와 어중간한 텍스트를 구분하지 못했다. 검증기 크기는 1.7B에서 4B로 키울 때 8B 기준 34.59에서 36.23으로 뚜렷이 좋아졌지만 32B로 키우면 36.83으로 이득이 미미했다. DAPO 외에 CISPO와 GSPO에서도 개선이 나타났으며(8B 기준 각각 +8.35, +8.75), CISPO는 중간 길이에서, GSPO는 Hard 분할에서 강점을 보이는 식으로 개선이 집중되는 구간만 달랐다.

실무 관점에서 이 논문이 주는 시사점은 명확하다. 긴 문서 QA나 대화 이해, 저장소 규모 코드베이스 분석 같은 과제를 RL로 다듬을 때 정답 일치 보상만으로는 학습이 잘 진행되지 않으며, 모델이 실제로 어떤 근거를 읽었는지에 대한 밀집 신호가 필요하다는 것이다. LongR의 방식은 별도 주석 없이 동결된 소형 검증기 하나로 계산되므로, 4B급 검증기를 확보할 수 있다면 자체 파이프라인에 붙여볼 만하다. 다만 인용 형식을 강제하는 프롬프트 템플릿이 전제되므로, 기존 서빙 프롬프트와 충돌하지 않는지 확인해야 하고, 절대 정보이득을 그대로 쓰면 보상 해킹이 발생한다는 점도 기억해 둘 필요가 있다.

저자들이 밝힌 한계는 명확하다. 계산 자원 제약 때문에 RL 학습을 32K 토큰 문맥까지만 수행했고, 더 긴 시퀀스로 확장하는 것은 훨씬 큰 컴퓨트 예산이 필요해 향후 과제로 남겨 두었다. 즉 128K 이상의 실전 장문맥에 대한 검증은 이 논문 범위 밖이다.