Cerebras가 3조 파라미터 Kimi K3를 59개 웨이퍼로 서빙한다

Hacker News7일 전

Cerebras가 자사 웨이퍼 스케일 칩 WSE-3T로 약 3조 파라미터 규모의 오픈소스 모델 Kimi K3를 서빙하는 방식을 공개했다. 핵심은 단일 칩에 모델을 억지로 넣는 대신 44GB 온칩 메모리를 가진 웨이퍼 59개를 파이프라인으로 연결해 가중치를 분산하고, 요청은 연속적으로 흘려보내는 구조다. 회사는 이 구성으로 수조 파라미터 모델을 1000~2000토큰/초 이상으로 처리하는 것을 목표로 설명한다.

Kimi K3는 선형 어텐션 레이어 69개와 덴스 레이어 24개, 총 93개 레이어로 구성된 약 3조 파라미터 모델로 소개됐다. Cerebras가 함께 제시한 수치로는 Terminal-Bench 2.1에서 88.3%, BrowseComp에서 91.2%를 기록해 같은 글에서 비교한 GPT-5.6 Sol의 88.8%, 90.4%와 맞먹거나 일부 항목에서는 앞선다. 이는 코딩과 에이전트 작업에서 프런티어급 성능을 보여준다는 설명의 근거로 쓰였다. Cerebras는 4비트 가중치 양자화와 256k 평균 요청 크기를 가정했다.

이 가정에서 3조 파라미터를 4비트로 저장한 원시 페이로드를 93개 레이어로 나누면 레이어당 약 16GB가 필요하다. 44GB 온칩 메모리와 비교하면 레이어 하나가 웨이퍼 안에 들어가는 규모다. 레이어 배치가 갈리는 지점은 KV 캐시다. 덴스 레이어는 모든 활성 요청의 토큰별 키와 값을 저장해야 해서 웨이퍼당 한 개만 올리고 나머지 SRAM을 KV 캐시로 남긴다. 반면 선형 어텐션 레이어는 문맥 길이와 무관하게 요청당 작은 고정 크기 상태만 유지하므로 KV 캐시 공간이 필요 없고, 웨이퍼당 두 개를 배치할 수 있다. 그 결과 선형 레이어 69개는 35개 웨이퍼, 덴스 레이어 24개는 24개 웨이퍼로 나뉘어 총 59개가 된다.

실행은 각 웨이퍼가 모델 레이어 일부를 맡는 조립 라인에 가깝다. 컴파일러가 레이어를 웨이퍼 영역에 매핑하고, 런타임이 토큰이 지나갈 경로를 정한다. 웨이퍼 사이로는 활성값만 이동하며 RDMA over Ethernet으로 홉당 약 2마이크로초가 걸린다. 대부분의 경우 레이어 전체가 한 웨이퍼에 들어가므로 가중치는 이동하지 않고, 레이어를 여러 웨이퍼로 쪼갤 필요도 없다는 점이 이 구조의 전제다.

파이프라인은 한 요청이 끝날 때까지 기다리지 않는다. 3단계가 요청 A의 토큰을 처리하는 동안 2단계는 요청 B, 1단계는 요청 C를 맡는 식으로 서로 다른 요청을 동시에 흘려보낸다. 각 단계는 단일 요청뿐 아니라 작은 묶음인 마이크로배치도 처리할 수 있어, 처리 중인 요청 수는 대략 단계 수에 마이크로배치 크기를 곱한 값이 된다. 마이크로배치를 작게 잡으면 개별 요청 지연이 줄고, 크게 잡으면 전체 처리량이 늘어나는 맞교환이 생긴다.

동시 요청 수의 상한은 덴스 레이어 웨이퍼의 KV 캐시가 결정한다. 각 요청은 모든 덴스 레이어 웨이퍼에서 자기 KV 캐시를 차지해야 하므로, 44GB 중 덴스 레이어 16GB를 뺀 28GB가 요청 수를 제한하는 공간이 된다. 256k 요청 하나가 차지하는 캐시 크기를 계산하면 이 구성에서 몇 개의 요청을 동시에 유지할 수 있는지 구할 수 있다. Cerebras는 GPU 배치처럼 요청들이 서로 끝나기를 기다리지 않고 파이프라인을 계속 흐른다는 점을 강조한다.

프런티어 모델의 가중치만 테라바이트급이 되면서 단일 가속기 메모리에 모델을 올리는 방식은 한계에 부딪힌다. Cerebras의 접근은 온칩 메모리가 큰 웨이퍼를 여러 장 이어 붙여 모델 전체를 칩 메모리 위에 두고, 칩 간에는 작은 활성값만 오가게 하는 것이다. 이는 모델을 쪼개 여러 GPU에 넣고 통신하는 일반적인 분산 추론과 비교했을 때 메모리 계층과 통신량을 다르게 가져가는 설계다.

개발자 관점에서는 모델 서빙 성능을 볼 때 파라미터 수나 배치 크기만 보면 부족하다는 점이 드러난다. KV 캐시가 동시성 상한을 정하고, 마이크로배치와 파이프라인 단계 수가 지연과 처리량을 맞바꾸며, 궁극적으로는 같은 출력 속도에서 토큰/초/메가와트를 봐야 한다는 식이다. Cerebras는 이 구조가 3조 파라미터를 넘는 모델에도 같은 방식으로 확장된다고 설명한다. 다만 이 글의 수치는 4비트 양자화와 256k 평균 요청 크기라는 가정에 기반하므로, 실제 워크로드에서는 요청 길이와 동시성 분포에 따라 결과가 달라질 수 있다.