StepFun이 600B 희소 MoE 모델 Step 5 Preview 가중치를 공개했다

중국 AI 기업 StepFun(阶跃)이 자사 모델 Step 5 Preview의 가중치를 공개했다. 모델 공개와 기술 블로그 게시가 같은 날 이뤄졌으며, 장기 실행 에이전트 모델을 직접 배포하려는 개발자를 겨냥한 릴리스다.

공개된 사양은 희소 MoE 구조에 총 파라미터 600B, 토큰당 활성 파라미터 27B다. 컨텍스트는 100만 토큰까지 지원하고 텍스트와 비전 입력을 네이티브로 받는다. 회사 측이 내세운 목표 용도는 장기 호라이즌 에이전트 작업으로, AI 코딩과 소프트웨어 엔지니어링 같은 여러 단계를 이어서 수행하는 시나리오다.

최근 에이전트 모델 경쟁의 초점은 한 번의 답변 품질보다 긴 작업을 얼마나 오래 끌고 갈 수 있느냐로 옮겨가고 있다. 컨텍스트를 크게 늘리면서도 토큰당 연산량을 낮게 유지하는 희소 MoE 구성은 그 요구에 맞춘 선택이다. 가중치를 함께 푸는 것은 API 호출에 의존하지 않고 자체 인프라에서 서빙하거나 추가 학습을 하려는 팀을 염두에 둔 행보다.

실무에서는 두 가지가 달라진다. 총량 600B라도 토큰당 27B만 계산에 들어가므로, 메모리 확보와 처리량 설계를 총 파라미터 기준으로만 잡으면 어긋난다. 100만 토큰 컨텍스트는 여러 턴을 오가는 에이전트 루프에서 이점이 있지만, 그만큼 KV 캐시 관리와 비용 예측이 별도 과제가 된다.

다만 이번 공개는 Preview 단계이며 위 수치는 회사가 밝힌 사양이다. 원문에는 벤치마크 결과나 라이선스 조건, 요구 하드웨어가 제시되지 않아 실제 배포 가능 여부는 저장소와 기술 문서를 직접 확인해야 한다.