Kimi K3.1 Pro가 100만 토큰 컨텍스트로 코딩과 3D 성능을 끌어올렸다
Kimi K3.1 Pro는 K3.1 시리즈의 첫 모델로, 3T급 오픈 웨이트 모델 가운데 가장 높은 성능을 목표로 한다. 100만 토큰 컨텍스트 창을 갖췄고 코딩, 3D 제작, 금융 리서치, 에이전트 실행 능력 전반에서 이전 세대보다 개선된 결과를 내세운다. 같은 시점에 응답 속도를 2~3배 끌어올린 Kimi K3.1 Pro Highspeed도 함께 공개됐다.
사용 경로는 Kimi.ai, Kimi Work, Kimi Code, Kimi API 네 가지다. 모델 전체 가중치는 11월 4일까지 풀린다. 오픈 웨이트를 표방하지만 공개 시점은 제품 출시와 분리돼 있다는 뜻이라, 당장 셀프호스팅을 하려는 팀은 그때까지 API나 제품 인터페이스로만 접근할 수 있다.
학습 방식의 핵심은 K3를 포스트트레이닝하면서 컴퓨트를 크게 늘린 데 있다. 수백 개의 다운스트림 도메인을 한 번에 묶는 대규모 joint RL을 돌리기 위해 RL 프레임워크, 롱컨텍스트 추론, 학습 효율, 샌드박스 인프라, 롤아웃 스케줄링, 환경 품질 검사를 담당하는 공용 플랫폼까지 스택 전반을 다시 손봤다. 컴퓨트를 한 단위 더 투입할 때 성능이 안정적이고 예측 가능하게 오르는 구조를 만드는 것이 목표였고, 그 결과 도메인마다 고른 향상을 얻었다는 설명이다.
코딩 쪽 성적은 실제 터미널 환경을 겨냥한다. 자원 제약이 있는 현실적인 터미널 작업을 엄격한 태스크별 테스트로 채점하는 Terminal-Bench 4.0에서 65.7%를 기록해 GPT-6 Astra의 58.2%를 앞섰고, Claude Opus 5.5의 66.4%에는 근소하게 뒤졌다. 여러 엔지니어링 영역에 걸친 다단계 실행과 도구 사용, 종단 문제 해결을 재는 내부 벤치마크 Kimi Code Bench 3.0 Long-horizon에서는 61.2%로 K3의 55.95%를 넘어섰다.
3D와 게임 제작 영역도 겨냥한다. Unity, Unreal Engine, Godot 같은 엔진을 웹 검색, 3D 생성과 조합해 완성된 결과물을 만드는 식이다. 프런트엔드 페이지, Three.js 기반 인터랙티브 장면, 3D 에셋에서 구성과 타이포그래피, 애니메이션 완성도가 올라갔다는 평가다. 다중 시점 렌더링에서 CAD 코드를 생성해 3D 형상을 복원하는 BenchCAD에서는 도구를 쓴 조건으로 92.7%를 기록했고, Claude Opus 5.5가 96.2%, GPT-6 Astra가 95.9%로 그보다 앞섰다. MCP 커넥터 없이도 Blender나 CAD 소프트웨어용 스크립트를 직접 작성·실행해 형상과 재질, 장면 배치를 다듬는다. 3D 모델을 웹에서 미리 보고 편집하며 3D 프린팅용으로 내려받거나 영상·Live Photo로 내보내는 3D Make도 kimi.ai와 Kimi 앱에 올라갔다.
장기 실행 능력을 보여주는 사례로 인체 해부 모델 human-atlas를 쓴 실험이 있다. 연골을 포함한 296개 골격 구성요소와 402개 근육 구성요소로 이뤄진 오픈소스 모델 위에 훈련·평가 파이프라인을 갖춘 보행 역학 시뮬레이터를 세우고, 167개 미션과 420건의 독립 리뷰를 거치며 컨트롤러를 반복 개선했다. 그 결과 시뮬레이션 인체는 몇 초 만에 무너지던 상태에서 좌우 교대 보폭으로 11.2초 연속 보행까지 도달했다. 보상 설계를 바꾸는 방식이 팔 동작 개선에 먹히지 않자, 모델은 보상값 조정을 반복하는 대신 시뮬레이터 동역학을 오픈루프로 탐침해 어깨 근육 모멘트암 계산에서 36개의 오류를 찾아 고친 뒤 컨트롤러를 다시 학습시켰다.
금융 워크플로는 조회부터 검증, 다단계 수치 추론까지 이어지는 작업을 통째로 맡기는 방향으로 밀었다. 실제 재무 문서를 다루는 OfficeQA Pro v2에서 64.4를 기록했고, 내부 벤치마크에서는 재무 모델링이 K3 대비 7.2점, 재무 리서치가 11.6점 올랐으며 모의 경영 환경에서의 장기 의사결정을 재는 Business Operation은 K3의 약 4.2배 성능을 냈다.
사실 정확도도 별도로 손봤다. 일부러 오류를 유발하도록 설계한 내부 스트레스 테스트 Kimi Hallu Bench Hard에서 클레임 단위 환각률은 K3의 23.4%에서 8.3%로 떨어졌고, 최소 한 건의 사실 오류를 포함한 응답 비율은 이전 모델의 42.4% 수준이었다. 다만 이 수치는 일상 사용에서의 전체 오류율이 아니라는 전제가 붙는다.
사이버 능력은 통제 대상으로 명시됐다. 포스트트레이닝 규모가 커질수록 취약점 연구 성능이 꾸준히 올라가는 현상을 관찰한 뒤 원인을 추적했더니, 중간 학습 코퍼스와 RL 환경 구성에 사이버 관련 콘텐츠가 자연스럽게 섞여 있었다. 내부 모델 실험에서는 두 단계 모두에서 데이터를 제거하지 않으면 다운스트림 사이버 능력이 크게 상승했다. 오픈 웨이트로 푸는 K3.1 Pro에서는 두 학습 단계 모두에서 사이버 관련 데이터를 식별해 제거했고, 모델 쓸모에 필요한 범용 코딩 과제는 남겼다. 평가는 전문가가 소스코드 기반으로 큐레이션한 취약점 발견·악용 과제 세트 xdev-bench-hard로 진행됐다.
개발자 입장에서 눈에 띄는 건 100만 토큰 컨텍스트와 터미널 에이전트 성능, 그리고 오픈 웨이트 공개 예고가 한 모델에 묶였다는 점이다. 저장소 전체를 컨텍스트에 올린 상태로 여러 단계 도구 호출을 돌리는 파이프라인을 자체 인프라에서 구성하려는 팀이라면 후보가 하나 늘어난다. 다만 가중치 공개가 11월 4일로 예정돼 있고, 성능 수치 상당수가 내부 벤치마크와 도구 사용 조건에서 나온 값이라 실제 워크로드에서의 재현성은 직접 확인이 필요하다.