MiniCPM-V 4.7 공개, 3GB 메모리로 아이폰에서 35B MoE 모델 구동

量子位 QbitAI17시간 전

ModelBest와 오픈소스 커뮤니티 OpenBMB가 비전 언어 모델 MiniCPM-V 4.7을 공개했다. 35B-A3B와 1B 두 가지 크기로 나오며, 핵심은 스마트폰이나 태블릿 같은 기기에서 네트워크 연결 없이 돌아간다는 점이다. 회사 측은 35B-A3B가 약 3GB 메모리만으로 iOS와 안드로이드에서 구동된다고 밝혔다.

35B-A3B는 MiniCPM-V 시리즈에서 처음 나온 MoE 모델이다. 전체 파라미터는 35B지만 토큰 하나를 생성할 때 실제 계산에 참여하는 파라미터는 3B 수준이다. 발표에 따르면 iPhone 17 Pro Max에서 3GB 남짓의 메모리를 쓰면서 초당 13토큰 이상을 디코딩한다. 함께 공개된 1B 버전은 실제 파라미터가 1.3B로, OCR과 수학, 비디오 이해를 겨냥한다.

공개된 벤치마크 수치는 MMBench 91.72, MMStar 80.67, MMMU 80.22, MathVista 88.00, Video-MME 76.40, LongVideoBench 68.90이다. 문서 이해 벤치마크인 OmniDocBench v1.6에서는 94.24점으로, 비교 대상으로 제시된 다른 네 모델이 80점 안팎에 머문 것과 12점 이상 차이가 난다고 한다. 텍스트 쪽에서는 CMMLU 90.21, 도구 호출 벤치마크 τ2-Bench 84.65를 기록했다. 시각 토큰을 16배로 압축했을 때 MMBench는 91.72에서 90.87로, OCRBench는 91.20에서 90.40으로만 떨어졌다.

속도의 핵심은 전문가 사전 로딩 기법이다. MoE는 레이어마다 어떤 전문가를 쓸지 이전 레이어 계산이 끝나야 알 수 있는데, 휴대폰 메모리에 전체 전문가를 올릴 수 없어 대부분은 플래시 저장소에 두고 필요할 때 읽어야 한다. MiniCPM-V 4.7은 인접한 두 레이어의 입력 특징이 비슷하다는 점을 이용해, 현재 레이어를 계산하는 동안 다음 레이어의 라우터 입력을 미리 넣어 어떤 전문가가 필요할지 예측하고 백그라운드 스레드로 가중치를 미리 읽어들인다. 회사 측은 추가 학습 없이 필요한 전문가의 80% 이상을 미리 준비할 수 있다고 밝혔다. 예측은 미리 옮기고 계산 순서를 정하는 데만 쓰이고, 실제로 어떤 전문가를 쓸지는 기존 라우팅이 결정한다.

여기에 레이어별 혼합 정밀도 양자화로 전문가 가중치를 줄이고, 가중치를 연속된 레이아웃으로 재배치해 저장소 읽기를 순차적으로 만든다. 별도의 드래프트 모델 DSpark를 학습시켜 llama.cpp 같은 엣지 추론 프레임워크에 연결했고, 드래프트 모델이 여러 토큰을 먼저 제안하면 본 모델이 한꺼번에 검증하는 방식으로 생성 속도를 더 올렸다. 회사 측은 16GB 메모리의 iPad Pro M4에서 디코딩 속도가 5배 향상됐고, M5 Mac에서는 평균 17%가 추가로 빨라졌다고 밝혔다. 비전 인코더 내부에서 시각 토큰을 미리 합치는 압축도 유지해 4배와 16배 중에 고를 수 있다.

파인튜닝 쪽에는 Self-Replay Fine-Tuning이라는 방법을 붙였다. 새 업무 데이터로 미세조정하기 전에 모델이 기존에 잘하던 문제들을 스스로 풀게 해 고품질 답변을 모아두고, 이를 새 학습 데이터에 섞는 방식이다. 모델 구조나 손실 함수를 바꾸지 않고 표준 미세조정 절차를 그대로 쓴다는 설명이다.

배경에는 메모리 가격 상승이 있다. 모델을 키우려면 메모리가 더 필요한데 그 비용이 계속 오르니, 같은 메모리로 더 큰 모델을 돌리는 것이 기기 제조사 입장에서 매력적이 된다. 원문은 IDC 전망을 인용해 올해 중국의 차세대 AI 스마트폰 출하량이 1억 4700만 대로 전년 대비 31.6% 늘고 침투율이 처음 53%를 넘을 것으로 본다고 전했다. 개발자 입장에서는 iOS, 안드로이드, 하모니OS에 배포할 수 있고 SGLang, vLLM, llama.cpp, Ollama를 추론 프레임워크로, SWIFT와 LLaMA-Factory를 미세조정 도구로 쓸 수 있다는 점이 실무적으로 중요하다. 양자화 포맷도 GGUF, AWQ, GPTQ, FP8 등이 제공된다.

다만 성능 수치는 대부분 회사 측이 제시한 자체 측정값이며, 원문에는 제3자 검증 결과가 언급되지 않는다. '3GB 메모리'가 가중치만을 가리키는지 추론 시점의 전체 메모리 사용량을 뜻하는지도 명시되지 않았고, 벤치마크 비교 대상 모델이 무엇인지도 구체적으로 밝히지 않았다. 수치를 그대로 받아들이기보다는 실제 기기에서 직접 확인하는 편이 안전하다.