LLM이 1시간 만에 스타크래프트 봇을 짜는 StarSkirmish 벤치 v0.2 공개

Hacker News3시간 전

LLM이 스타크래프트: 브루드 워용 봇을 직접 작성하고, 그 결과물이 실제 경기에서 얼마나 이기는지로 모델 성능을 재는 벤치마크 StarSkirmish가 v0.2로 갱신됐다. 모델에게 주어지는 시간은 딱 1시간이다. 그 안에 C++로 프로토스 봇을 완성해야 하고, 시간이 끝나는 순간 봇 폴더에 들어 있는 코드가 최종 제출본이 된다. 컴파일이 깨진 상태로 남으면 그대로 실격이다.

경기 규칙은 명확하다. OpenBW 위에서 프로토스 대 프로토스로 붙고, 사용되는 래더 맵은 Heartbreak Ridge, Benzene, Destination 세 개다. 한쪽 건물이 전부 파괴되면 경기가 끝나며, 60분 상한(86,400 프레임)에 도달하면 BASIL 래더 방식대로 킬과 레이징 점수가 높은 쪽이 승리한다. 출발점은 광물만 캐는 뼈대 봇이고, 여기에 데모 봇 3종의 소스 코드와 전투 시뮬레이터 FAP, 맵 분석기 BWEM 두 라이브러리가 주어진다. 에이전트는 봇을 컴파일하고, 연습 경기를 돌리고, 경기 요약과 트랜스크립트, 자기 봇의 로그를 읽는 도구를 쓸 수 있다.

v0.1과의 가장 큰 차이는 실행 환경이다. v0.1은 모든 모델을 하나의 중립적인 서드파티 하네스에서 'high' 추론 강도로 돌렸지만, v0.2는 각 연구소의 1차 CLI 하네스에서 그 모델이 지원하는 최고 추론 설정으로 실행한다. Claude 계열은 Claude Code(2.1.296)와 Inspect ReAct deepagent, GPT 계열은 Codex(0.162.1), 구글은 Antigravity CLI(1.3.5), Meta는 Muse Code(1.4.7)를 쓴다. Gemini 4 Argon은 자체적으로 지원하는 최고 수준인 'high'로, 나머지는 'max'로 돌아간다. 모든 하네스는 컨텍스트가 약 250k 토큰에 근접하면 압축하며, Codex는 기본 272k 윈도우의 90%가 차면 압축을 발동한다. 웹 검색과 웹 페치는 차단되어 인터넷 접근이 없고, CLI는 시계가 시작되기 전에 설치된다.

점수 체계도 바뀌었다. v0.1의 Elo 레이팅을 버리고 단순 승률을 쓴다. 각 모델의 최종 봇 5개가 13개 로스터 봇(경쟁력 있는 인간 작성 봇 10개 + 데모 봇 3개)과 맵마다 6번씩, 새로운 시드로 대국한다. 봇 하나의 점수는 자기 경기의 승률이고, 모델의 벤치 점수는 그 5개 봇 점수의 평균을 0에서 100 사이로 나타낸 값이다. v0.1과 달리 LLM 봇끼리는 서로 붙지 않는다. 로스터가 고정되어 있어 다른 모델의 결과에 영향을 받지 않고, 새 모델이 나와도 기존 모델을 다시 돌릴 필요가 없다. 세대가 다른 모델끼리 점수를 비교하기도 Elo보다 수월해졌다.

순위에서는 GPT-6 Astra가 1위를 차지했고 GPT-6.1 Sol이 2위로 뒤를 이었다. Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37~39점 구간에서 사실상 동률이다. v0.1에 없던 신규 플래그십인 Gemini 4 Argon은 3위, Muse Wonder Full은 7위에 올랐다. 비용 대비 성능에서는 GPT-6.1 Sol이 눈에 띈다. 1시간 실행당 비용이 GPT-6 Astra의 10분의 1을 조금 넘는 수준이면서 2위 성적을 냈고, 가장 매력적인 사분면에 홀로 들어간 모델이다.

인간 작성 봇과의 격차는 여전히 크다. 최고 성적인 GPT-6 Astra조차 Stardust, PurpleWave, BananaBrain을 상대로 승률 7%에 그친다. 1시간이라는 추론 시간 제한도 변수지만, 경기가 2인용 맵 세 개에서만 치러진다는 점을 감안하면 실제 인간 봇 토너먼트 조건은 훨씬 가혹하다.

에이전트의 1시간 사용 내역을 추적한 결과, 성적을 가장 잘 예측하는 지표는 로스터 상위 7개 봇과 얼마나 연습 대국을 치렀는지였다. GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon은 자기 봇이 아직 그들에게 지고 있는 시점부터 초반에 붙어보는 반면, Muse Wonder Full, Claude Haiku 5.5, GPT-6 Luna는 거의 또는 전혀 그렇게 하지 않는다. Claude Fable 5.1은 예외로, 약한 봇만 상대로 연습하고도 37점을 냈다.

같은 모델 안에서도 실행 간 편차가 있다. Gemini 4 Argon은 최고 실행과 최저 실행의 차이가 18점으로, GPT-6 Astra의 9점, Claude Opus 5.5의 8점보다 훨씬 크다.

이 벤치는 이제 가장 널리 인용되는 평가들과 궤를 달리한다. Artificial Analysis Intelligence Index와의 상관계수는 0.26에 불과하고, 여기서 1위인 GPT-6 Astra는 그 지수에서는 9개 모델 중 공동 4위다. v0.1에서 밀접하게 따라갔던 Terminal-Bench 4.0과도 멀어졌는데, Claude Sonnet 5.5와 Muse Wonder Full은 Terminal-Bench 4.0에서는 상위권이지만 여기서는 하위권이다. 반면 C++ 올림피아드 프로그래밍 문제를 다루는 Vals IOI, 특이한 머신러닝 코딩 과제를 모은 WeirdML v3와는 여전히 같은 방향으로 움직인다. WeirdML v3는 9개 모델 중 7개만 평가했고, Gemini 4 Argon과 Muse Wonder Full은 작성 시점 기준으로 빠져 있다. 많이 인용되는 벤치마크는 모델이 겨냥해 튜닝하는 표적이 된 반면, 덜 겨냥된 장기 추론·난도 코딩 과제들은 여전히 함께 움직인다는 해석이 가능하다.