공개 데이터만으로 4B 멀티모달 추론 모델을 평균 72.8점까지 끌어올린 MVR 레시피
MMVistaReason: Toward Open-Data and Post-Training Recipes for Multimodal Reasoning
무엇인가
이 논문이 다루는 문제는 모델 크기가 아니라 post-training 절차다. 오픈 멀티모달 추론 모델은 대규모 추론 지도 덕분에 빠르게 발전했지만, 저자들은 신뢰할 만한 post-training을 가로막는 병목으로 데이터 품질 불균일, 비효율적인 지도 구성, 난이도 불균형, 도메인 간 간섭을 든다. 기존 오픈 레시피는 수학·과학·차트 같은 분석적 과제에 치우쳐 있고, 지각·계수·공간 이해·GUI 그라운딩 같은 실세계 능력은 상대적으로 소외돼 있다. 또 이질적인 도메인을 하나의 혼합 목적함수로 학습하면 벤치마크 수준의 negative transfer가 생긴다는 점도 문제로 지적한다.
어떻게 동작하나
첫 단계는 데이터 정제다. 여러 오픈소스 VQA 데이터를 모은 뒤 SHA-256 해시, 지각 해시(pHash), CLIP 기반 의미 유사도를 결합해 중복을 제거하고, 손상·저해상도·빈 이미지·블러·극단적 종횡비 이미지를 버린다. 이어 Qwen3.5-122B-A10B를 심판 겸 정제기로 써서 여섯 단계의 의미 수준 정리를 수행한다. 비영어 질문을 수식·변수·보기 라벨을 보존한 채 영어로 옮기고, 링크·광고·워터마크 같은 무관 콘텐츠를 제거하고, 멀티모달 입력만으로 답할 수 없는 문항을 걸러내고, 추론을 억제하는 저품질 메타 지시문을 고치고, 오염된 정답 필드에서 최종 정답을 추출하고, 객관식 보기 라벨을 복원하는 방식으로 정답을 정규화한다. 이후 각 샘플에 추론 도메인과 문항 유형 라벨을 붙여 통일 스키마로 변환한다.
무엇과 다른가
SFT 데이터는 난이도 인식 캐스케이드로 만든다. 먼저 Qwen3.5-4B(Instruct)로 샘플마다 4회 롤아웃을 돌려 검증 통과율을 계산하고, 4회 모두 실패한 샘플만 남겨 자명한 문제를 걸러낸다. 남은 난제는 Qwen3.5-9B, 27B, 122B로 이어지는 같은 계열 teacher 캐스케이드에 넘긴다. 각 teacher가 4개 응답을 생성하고, 처음으로 정답을 하나라도 낸 teacher에 샘플을 배정하며, 모든 teacher가 풀지 못한 샘플은 버린다. 배정된 teacher의 정답·형식 유효 궤적 중에서는 정답 토큰의 정규화 로그확률이 가장 높은 것을 고르는 Answer-Likelihood Best-of-N을 적용한다. 이렇게 9B·27B·122B가 만든 49K·124K·355K 부분집합을 합쳐 MVR-SFT-528K가 된다.
어떻게 쓰나
RL 데이터는 정답률이 애매한 경계 구간에 집중한다. 4B 난이도 필터가 남긴 hard pool에서 시작해, 각 스케일의 SFT 모델로 8회 롤아웃을 돌려 통과율이 1~7회(우선순위는 2~6회)인 frontier 샘플만 유지하고 도메인별로 균형 있게 샘플링해 MVR-RL-63K를 만든다. 논문이 밝힌 통계를 보면 RL 세트의 80.9%는 SFT 파생 부분집합에서, 19.1%는 teacher가 풀지 못했던 샘플에서 오며, 83.83%가 통과율 0.375~0.625 구간에 몰려 있다. SFT 코퍼스는 Science·Mathematics·Chart/Table/Doc이 78.61%를 차지하고, 355K 부분집합이 이 세 영역에서 64.1~73.2%를 담당하는 반면 49K는 GUI/Web(38.3%), 124K는 Spatial(27.0%)에 상대적으로 더 기여한다.
전제와 한계
학습은 specialize-then-integrate 구조다. 먼저 528K 전체로 통합 SFT 모델을 만들고, 이 모델에서 출발해 Real-World 그룹과 Analytical 그룹 각각에 특화된 RL 전문가 두 개를 GSPO(전역 배치 256, 샘플당 8 롤아웃, Qwen3.5-27B를 판정자로 사용)로 학습한다. 마지막으로 MOPD(multi-teacher on-policy distillation)로 두 전문가를 하나의 학생 모델에 통합한다. 학생이 실제로 방문한 프리픽스에 대해, 샘플의 추론 그룹에 따라 라우팅된 전문가가 top-K 토큰 확률로 토큰 수준 분포 지도를 제공하며, forward-KL과 reverse-KL을 모두 실험한다.
결과는 15개 멀티모달 벤치마크 평균이다. MVR-4B는 평균 72.8로 Qwen3.5-9B(Instruct)와 MMFineReason-8B를 앞서면서 MMFineReason보다 SFT 샘플을 약 70% 적게 쓴다. 9B로 키우면 평균 74.4로 Qwen3.5-35B-A3B(Instruct)를 넘는다. 통합 단계의 효과도 수치로 제시된다. SFT generalist가 4B 70.8, 9B 72.3이었는데 MOPD를 거쳐 72.8과 74.4가 된다. 데이터 스케일 분석에서는 2B가 49K에서 63.9, 528K 전체에서 65.6으로, 4B가 69.8에서 70.8로 올라 Qwen3.5-4B-Instruct의 70.4를 넘는다. 반면 9B는 27B teacher가 만든 124K 부분집합만으로 72.3을 기록해 528K 전체와 같은 성능을 내고, 같은 9B 스케일 teacher가 만든 355K 부분집합(71.7)과 Qwen3.5-9B(Instruct)(72.1)를 웃돈다. 궤적 선택에서는 Answer-Likelihood Best-of-N이 무작위 선택 대비 4B에서 +0.29, 9B에서 +0.24의 평균 이득을 냈고, 가장 긴 궤적을 고르는 전략은 특히 4B에서 불안정했다. 전문가 분화도 뚜렷하다. Real-World 전문가는 실세계 평균을 4B에서 79.7에서 82.7로, 9B에서 81.6에서 84.5로 올리고, Analytical 전문가는 분석 평균을 64.9에서 66.6으로, 66.1에서 68.2로 올린다. 혼합 도메인 RL은 4B에서 15개 벤치마크 중 7개가 SFT 기준보다 떨어지고 최대 낙폭이 0.7포인트였지만, MOPD는 4B에서 72.3(RKL)·72.8(FKL), 9B에서 74.4(RKL)·74.2(FKL)로 혼합 RL(71.3, 73.2)을 앞서고 15개 벤치마크 전부에서 혼합 RL과 같거나 나은 성능을 낸다.
개발자 관점에서 이 논문의 값어치는 데이터를 많이 모으는 것보다 난이도와 모델 용량을 맞추는 것이 중요하다는 점을 수치로 보여준다는 데 있다. 2B·4B 같은 소형 모델에는 여러 난이도가 섞인 넓은 지도가 유리하고, 9B는 자기보다 조금 더 강한 teacher가 만든 중간 난이도 부분집합만으로 전체 데이터와 같은 성능을 낸다. 또한 도메인별 RL 전문가를 따로 학습한 뒤 on-policy 증류로 합치는 편이 혼합 RL보다 간섭이 적다는 것도 실무 선택지로 유용하다. 다만 재현을 검토한다면 정답 검증 전체를 Qwen3.5-27B 판정에 의존한다는 점, teacher가 모두 Qwen3.5 계열로 고정돼 있다는 점, KL 방향 선호가 스케일에 따라 뒤집힌다는 점(4B는 FKL 우세, 9B는 RKL 우세)을 먼저 확인해야 한다.
논문은 별도의 한계 절을 두지 않지만 본문에 전제가 드러나 있다. 모든 궤적 검증과 RL 보상이 Qwen3.5-27B라는 LLM 판정자에 의존하므로 판정 편향이 데이터와 보상에 그대로 전이될 수 있고, 어떤 teacher도 풀지 못한 샘플은 지나치게 어렵거나 모호하거나 노이즈일 수 있다는 이유로 학습에서 제외된다. 또한 MOPD의 KL 방향에 대한 선호가 모델 스케일마다 달라 스케일을 바꾸면 재튜닝이 필요하며, 실험은 4B와 9B 두 스케일을 중심으로 이뤄졌고 2B는 데이터 스케일 분석용으로만 등장한다.