Modal이 30억 개 샌드박스를 돌리며 찾은 GPU 계약의 빈틈

AI 인프라 기업 Modal의 에릭 베른하르손 CEO가 팟캐스트 'Latent Space'에 출연해 회사의 성장 규모와 서버리스 GPU 사업의 경제 구조를 설명했다. Modal은 컴퓨트와 스토리지를 묶은 플랫폼과 SDK를 제공해 개발자가 클러스터를 직접 프로비저닝하지 않고도 추론, 학습, 배치 작업, 에이전트 실행 환경을 돌릴 수 있게 한다. Decagon, Suno, Runway, Cognition 같은 회사가 고객으로 언급됐다.

공개된 수치는 규모가 상당하다. 연환산 매출(run rate) 10억 달러를 넘겼고, 160억 달러 기업가치로 7억 5천만 달러 규모의 시리즈 D를 유치했다. 누적 생성된 샌드박스는 약 30억 개에 이른다. 베른하르손은 2년 전 같은 팟캐스트에 나왔을 때와 비교해 매출과 사용자가 최소 50배 이상 커졌다고 말했다.

이번 대화의 중심에는 '왜 AI 컴퓨트는 사각형으로 거래되는가'라는 문제의식이 있다. 일반적인 용량 계약은 정해진 기간 동안 정해진 수량의 GPU를 확보하는 형태라, 시간을 축으로 그리면 직사각형이 된다. 반면 실제 워크로드는 하루 안에서도 늘고 튀고 줄어든다. 최대치에 맞춰 사면 노는 하드웨어에 돈을 내게 되고, 줄여 사면 수요를 놓친다.

Modal이 택한 접근은 수요를 시간 축에서 다시 자르는 것이다. 수천 개 고객의 수요를 하나의 풀로 모으면 개별 고객의 기복이 상쇄되어 전체 곡선이 평탄해지고, 그 아래에서 확보한 용량을 각 고객이 필요한 만큼만 꺼내 쓴다. 같은 문제를 SF Compute의 에반 콘래드는 용량 자체를 거래 가능하게 만드는 쪽으로 푼다는 점에서 대비된다.

반대편에는 금융 리스크가 있다. 오늘 가격으로 용량을 장기 확보했는데 나중에 GPU 가격이 떨어지면 비싼 재고를 안고 가게 된다. 베른하르손은 가격이 당장 무너지지는 않을 것으로 보면서도, 사업을 설계할 때 이 가능성을 반드시 염두에 둬야 한다고 언급했다.

샌드박스 사업은 계획된 것이 아니었다. 언어 모델이 코드를 생성할 수 있다는 점에 주목해 실행 공간을 만들었지만 초기 반응은 미미해서 제품을 접는 논의까지 나왔다. 상황이 뒤집힌 것은 코딩 에이전트와 백그라운드 에이전트, 강화학습이 새로운 수요를 만들면서다. 지금 샌드박스는 Modal 매출의 약 3분의 1을 차지하는데, 출시 당시 예상하지 못한 결과다.

이 변화는 인프라에 요구하는 것도 바꾼다. 에이전트는 환경을 만들고 코드를 실행하고 결과를 확인한 뒤 다시 시도하는 과정을 수십 번 반복한다. 환경을 띄우고 복원하는 데 걸리는 시간이 곧 사용자 경험이 된다. Modal은 사용 가능한 GPU 버퍼, 자체 파일시스템, 프로세스 체크포인팅, GPU 메모리 스냅샷을 조합해 새 모델 레플리카를 올리는 데 드는 작업을 줄였다.

베른하르손의 이력도 이번 대화의 배경이다. 2008~2009년 스포티파이에 합류해 7년간 음악 추천 시스템을 처음부터 만들었고, 관련 아티스트와 Discover Weekly 같은 기능을 팀을 꾸려 출시했다. 행렬 분해를 비롯한 계산 집약적 작업을 다룬 경험이 이후 인프라 회사를 세우는 토대가 됐다는 흐름이다.

개발자 입장에서 눈여겨볼 지점은 용량 확보 방식이 애플리케이션의 응답성과 비용에 직결된다는 사실이다. 모델 레플리카를 빠르게 띄울 수 있는지, 에이전트 실행 환경을 몇 초 만에 복원할 수 있는지가 인프라 선택의 기준이 된다. 다만 이번 내용은 팟캐스트 대화를 자동 전사한 것을 바탕으로 한 만큼 고유명사와 세부 수치에 오류가 있을 수 있고, GPU 조달처나 계약 조건 같은 구체적 내용은 공개되지 않았다.