MLR이 계획자와 실행자를 분리해 긴 추론의 계획 이탈을 줄인다
Enhancing Language Model Reasoning with Structured Multi-Level Modeling
무엇인가
이 논문은 추론 시간 확장을 긴 CoT로 구현할 때 단일 정책이 계획과 실행을 모두 맡는 구조가 장기 계획 실패와 희소 결과 보상의 credit assignment 문제를 낳는다고 본다. 특히 작은 LM은 수천 토큰짜리 긴 궤적에서 첫 오류 위치가 크게 달라 outcome-only RL의 피드백이 약해진다고 지적한다. 저자들은 이를 해결하기 위해 긴 CoT 생성을 두 계층 확률 과정으로 재정식화한 MLR을 제안한다.
어떻게 동작하나
MLR에서 고수준 계획자는 각 단계의 추론 모드와 의미적 하위 목표를 담은 단계 설명자를 생성하고, 저수준 실행자는 그 설명자에 조건화해 상세 추론 내용을 만든다. 이 둘은 계획-실행 루프를 번갈아 수행하며, 고수준 정책은 이전 설명자와 압축 요약에, 저수준 정책은 이전 설명자와 상세 내용에 조건화된다. 구현은 최소화돼서 베이스 LM이 저수준 정책을, 경량 LoRA 모듈이 고수준 정책을 맡는다. 별도의 경량 LLM은 상세 내용을 요약하는 역할을 한다.
무엇과 다른가
학습 데이터는 DeepSeek-R1의 긴 CoT 궤적을 DeepSeek-V3로 단계 분할·설명자 주석·요약 증류해 설명자, 상세 내용, 요약의 정렬된 삼중항으로 만든다. 먼저 베이스 LM을 저수준 내용으로 full fine-tuning하고 동결한 뒤 LoRA를 고수준 설명자로 학습한다. 이어 반복 Step-DPO에서 현재 정책으로 선호 쌍을 샘플링해 데이터를 갱신한다. 고수준과 저수준 미니배치를 교차 업데이트해 계획자와 실행자를 모듈성을 유지하며 공동 학습한다.
어떻게 쓰나
핵심 훈련 신호는 TSMC 기반 프로세스 선호다. 어떤 접두사에서 미래 궤적이 최종 정답에 도달할 확률을 survivability로 두고, 후보 단계를 붙였을 때의 로그 survivability 증가분을 효용으로 정의한다. 같은 접두사 아래 두 후보의 효용 차이가 마진 δ를 넘을 때만 선호 쌍으로 채택한다. TSMC는 입자별 중요도 가중치를 갱신해 이 survivability를 효율적으로 추정하며, 최종 정답 여부를 potential로 반영한다. 이렇게 하면 별도 프로세스 보상 모델 없이 단계 수준 선호를 만들 수 있다. 저자들은 롤아웃 비용을 줄이려 작은 LM을 rollout policy로 쓰고, AIME24·GPQA처럼 어려운 과제에서는 베이스 모델로 롤아웃하는 easy/hard 분할을 둔다.
전제와 한계
실험은 MATH500, AIME24, GPQA-Diamond, BoardGameQA-Hard에서 Qwen-2.5-1.5B, Qwen-2.5-MATH-7B, LLaMA-3.1-8B를 기반으로 한다. 비교 대상은 base/instruct, outcome-reward RL인 SimpleRL, R1-Distill SFT, Plan-and-Solve, DPO, Step-DPO, SFT 초기화에 GRPO를 적용한 것이다. MLR은 DeepSeek-R1 증류 설정 대비 10% SFT와 5% 선호 데이터 예산에서 기존 SFT 증류와 강한 RL/선호 최적화 베이스라인을 여러 모델·과제에서 앞선다고 보고된다. 본문에 인용된 Table 1의 개별 셀 점수는 제시되지 않아 구체 수치로 인용하지 않는다. 평가는 Base/Instruct는 greedy, 나머지는 temperature 0.6, top-p 0.95로 프롬프트당 8개 응답을 샘플링해 pass@1을 보고하고 AIME24에는 cons@32도 함께 본다.
추가 결과로 iterative Step-DPO가 SFT 모델 대비 큰 향상을 내고, 고수준 궤적 길이는 저수준 궤적의 약 10~20% 수준이라고 한다. 긴 호라이즌 평가에서 문제를 프롬프트에 이어 붙여 난이도를 높였을 때 MLR의 성능 저하가 베이스라인보다 느리다. 절제 실험에서는 multi-level modeling과 step-level preference가 모두 성능에 기여하며, MLR을 DPO로 바꾸거나 저수준만 Step-DPO/DPO로 학습하거나 SFT만 쓰는 구성보다 전체 방법이 가장 강했다. 고수준 SFT를 원래 베이스에 LoRA만 적용하는 방식과 full-parameter SFT로 바꾸는 비교, high-level only/low-level only 비교에서도 전체 전략이 우세했다.
개발자 관점에서 이 논문은 소형 모델의 긴 추론 파인튜닝에서 단일 정책 RL의 희소 보상 문제를 피하려는 설계로 읽힌다. 고수준 계획을 LoRA로 가볍게 두고 저수준 실행은 베이스 모델에 맡기며, PRM 대신 TSMC로 단계 선호를 구성하는 점이 실무적 아이디어다. 다만 DeepSeek-V3를 이용한 단계 분할·설명자 주석·요약 데이터가 필요하고, 롤아웃 수 K, 마진 δ, easy/hard 롤아웃 정책 선택 등 재현해야 할 하이퍼파라미터가 많다. 논문은 K=8 롤아웃, 라운드당 약 3K 프롬프트, 프롬프트당 4단계와 M=2 후보, δ=0.4, 배치 32, 4에폭, β=0.1, 연속 생성 최대 8,192토큰을 사용한다고 밝힌다.
한계와 전제도 분명하다. TSMC 추정치는 절대적으로 보정된 확률이 아니라 같은 접두사 아래 후보를 상대 비교하는 데 쓰이며, 롤아웃 정책이 베이스 모델과 가까울 때 중요도 보정과 twisting 비율이 완만해진다는 전제를 둔다. 저자들은 향후 작업으로 외부 도구나 지식을 추론 과정에 통합하는 tool-augmented 설정으로 MLR을 확장하겠다고 밝힌다. 따라서 이 방법은 수학·과학·논리 추론의 긴 CoT 학습에는 직접 적용 가능하지만, 도구 사용이나 환경 상호작용이 필요한 에이전트 추론에 대한 검증은 이 논문 범위 밖이다.