Ripple-65B가 3200만 달러로 오픈웨이트 코딩 최고 성능을 냈다

Hacker News2026-11-05

리커시브 인텔리전스가 자사 AI 칩 설계 플랫폼을 구동하는 모델의 범용 버전인 Ripple-65B 프리뷰를 오픈웨이트로 공개했다. 650억 개 파라미터 규모이며, 회사 측은 에이전트 코딩 벤치마크에서 미국 오픈웨이트 모델 가운데 가장 높은 점수를 냈다고 설명한다.

공개된 수치는 TerminalBench 2.1 기준 80.52점이다. 자사보다 덩치가 훨씬 큰 모델들을 앞선다. Reflection Beam 501B가 80.1, Meta Muse Spark Open 816B가 76.4, Thinking Machines Inkling 975B가 63.8, NVIDIA Nemotron 3 Ultra 550B가 56.4다. 파라미터 수가 7~15배 많은 모델과 같은 무대에서 겨뤘다는 점이 눈에 띈다.

사전학습에는 12조 개 토큰이 들어갔고 컨텍스트는 최대 100만 토큰까지 지원한다. 구조는 MoE 대신 dense Transformer를 택했다. d_model 5120에 레이어 80개를 쌓은 얇고 깊은 형태다. 어텐션 헤드를 넉넉히 배치하는 대신 SWA와 글로벌 레이어 비율을 조정하고 SWA 윈도우를 줄여 비용을 상쇄했으며, FFN 활성 클리핑과 게이티드 어텐션, 글로벌 NoPE, 밸류 레지듀얼을 더했다.

회사가 밝힌 총 R&D 비용은 3200만 달러다. 사전학습 래더 개발부터 데이터 믹싱, 평가, 디버깅, 합성 데이터 생성, 포스트트레이닝 레시피 설계, 최종 학습 실행까지 전부 포함한 금액이라고 한다. 이전 오픈웨이트 SOTA 대비 10분의 1 수준이라는 비교는 자체 추정치다.

포스트트레이닝은 무작정 RL을 오래 돌리는 대신 롤아웃 수를 줄이는 쪽으로 설계했다. 잘린 중요도 샘플링과 스코어 센터링, 선형 길이 페널티를 조합한 RL 레시피에 장기 지평 합성 환경을 붙였고, 모델이 늘어나면 더 어려운 과제를 계속 추가했다. 그 결과 140만 회 롤아웃으로 80.5점에 도달했는데, 이전 SOTA였던 Reflection Beam보다 약 70배 적은 횟수다. 학습과 포스트트레이닝 전 구간에서 MFU 40%를 유지했고 커스텀 커널이나 양자화 없이 단순 샤딩만 사용했다.

배경에는 리커시브의 야심이 있다. 하드웨어와 소프트웨어, 모델을 함께 최적화해 스스로 개선되는 시스템을 만드는 풀스택 랩을 표방한다. 이번 모델은 그 루프의 출발점으로, 사내 변형 모델이 칩 설계 플랫폼을 돌리고 있고 이번에 범용판을 외부에 내놓은 것이다. 아키텍처 결정도 NVIDIA 하드웨어에서의 학습·서빙 효율에 맞춰져 있어, 사전학습 인프라 복잡도를 낮추는 방향으로 정리됐다.

사전학습 레시피는 AI2의 Olmo 3 래더를 출발점으로 소규모 실험을 반복하며 다듬었다. 배치·학습률 스케일링 법칙(v1.0), 아키텍처 차원과 깊이의 매끄러운 스케일링(v1.1), pre+post norm(v1.2), 시그모이드 게이티드 어텐션(v1.3), 글로벌 NoPE와 학습률 제로 쿨다운(v1.5), 밸류 레지듀얼(v1.6)이 차례로 반영됐다. 2-stream mHC를 시도한 v1.4는 40억 규모에서 이득이 확인되지 않아 버렸다. 마지막에는 코드 비중을 크게 끌어올린 자체 데이터셋으로 갈아탔고, 40억 파라미터 규모에서 코드 연산 효율이 최대 16배 개선됐다는 것이 회사 설명이다.

개발자 입장에서 가장 실용적인 변화는 배포 경로다. Hugging Face와 Together AI, GMI Cloud, OpenRouter에서 바로 받을 수 있고 Fireworks는 같은 날 추가될 예정이다. dense 구조라 토큰 생성 지연이 낮고 파라미터가 작아 NVIDIA DGX Spark 같은 로컬 장비에서도 운용할 수 있다는 점을 내세운다. 대형 MoE 모델을 API로만 쓰던 팀이라면 온프레미스 에이전트 코딩 선택지가 하나 늘어난 셈이다.

다만 이름에 붙은 'Preview'가 말해주듯 정식 버전이 아니다. 3200만 달러라는 비용과 '이전 SOTA의 10분의 1'이라는 비교는 회사가 자체적으로 추정한 값이다. 성능 우위도 TerminalBench 2.1 단일 벤치마크 결과이므로 실제 코드베이스에서의 재현성은 별도로 검증해야 한다. 이 글에서 라이선스 조건은 확인되지 않는다.