SenseTime이 SenseNova Loop-9B-Preview를 공개했다

센스타임(SenseTime)이 9B 규모의 Looped Transformer 모델 'SenseNova Loop-9B-Preview'를 오픈소스로 공개했다. 모델 이름에서 알 수 있듯 완성판이 아니라 미리보기 성격이며, 파라미터 수를 크게 늘리지 않고도 반복 계산으로 모델의 유효 계산 깊이를 키우는 실험이다. 공개는 GitHub와 Hugging Face를 통해 이뤄졌다.

구조는 기존 9B 디코더를 그대로 쓰지 않는다. 앞뒤 각 4개 층은 원래 디코더 모듈로 남기고, 중간층은 파라미터를 공유하는 반복 계산 모듈로 바꿨다. 같은 층을 여러 번 거치면서 계산 깊이를 늘리는 방식이다. 여기에 mHC(Manifold-Constrained Hyper-Connections)를 적용해 여러 갈래의 잔차 연결과 제약된 정보 혼합을 시도했다. 목적은 특징 상호작용을 강화하면서 신호 전달을 안정적으로 유지하는 것이다.

최근 대형 모델 연구에서는 파라미터 확장만으로 성능을 올리는 접근의 한계를 보완하려는 시도가 늘고 있다. Looped Transformer는 같은 파라미터를 반복 사용해 계산량과 깊이를 조절하는 방향으로, 학계에서는 연구가 있었지만 바로 쓸 수 있는 공개 모델은 드물었다. SenseNova Loop-9B-Preview는 이 지점을 9B급 오픈 모델로 채우려는 사례다.

회사 측이 공개한 평가에 따르면 이 모델은 코드 생성, 사무용 작업, 에이전트 작업 등 여러 방향에서 비교 모델보다 나은 결과를 보였다. 특히 WorkBuddy Bench, RaccoonPPT Bench, AutomationBench에서 Qwen3.5-27B를 앞섰다고 밝혔다. 다만 이는 회사가 제시한 현재 평가 설정의 결과이며, 독립적인 재현이나 다양한 환경에서의 검증은 별도로 필요하다.

mHC의 효과는 구성 요소를 제거해 비교하는 절제 실험으로 제시됐다. mHC를 적용한 뒤 GPQA Diamond는 4.42점, TeamBench는 13.34점 올랐다는 설명이다. 복잡한 추론과 여러 단계를 거치는 에이전트 작업에서 계산 깊이를 늘리는 설계가 의미를 가질 수 있다는 신호로 해석된다. 회사는 이후 DSA와 적응형 반복 횟수 같은 기법을 추가로 탐색하고, 차기 SenseNova에서는 더 큰 규모의 스케일링 가능성과 적응형 '빠른/느린 사고' 메커니즘, 파라미터 공유의 추가 활용도 살펴볼 계획이라고 밝혔다.

개발자 입장에서는 9B급 모델을 더 깊게 계산하는 선택지가 생긴 점이 눈에 띈다. 같은 파라미터를 여러 번 재사용하므로 메모리 사용량과 추론 비용의 균형을 어떻게 잡을지가 실무의 관건이 된다. 특히 코드 생성이나 도구 호출이 많은 에이전트 파이프라인에서 반복 계산이 지연 시간과 정확도에 어떤 영향을 주는지 직접 벤치마크해 볼 만하다.

다만 아직 'Preview'다. 회사도 다중 반복 계산이 정보 전달, 특징 상호작용, 학습 안정성 측면에서 실제 성능 향상으로 이어지는 문제와 더 큰 모델 규모에서의 확장성은 더 연구가 필요하다고 언급했다. 공개된 수치는 특정 평가 설정에 기반하므로, 도입 전에는 자체 데이터와 워크로드에서 재검증하는 편이 안전하다.