8×8 격자에서 AI 모델 4개가 격돌하는 'TinyAIArena' 공개

Hacker News13일 전조회 11

TinyAIArena는 AI 모델 네 개를 8×8 격자 위에 세워 서로 겨루게 하는 실험적 아레나 프로젝트다. 해커뉴스의 Show HN 게시물로 소개됐고, 소스 코드는 GitHub에 공개돼 있다. 결과를 표와 순위로 정리하는 대신 실제로 벌어지는 대결 장면을 지켜보는 쪽에 초점을 맞춘다.

구조는 단순하다. 격자 크기는 8×8이고 참가하는 모델은 네 개다. 페이지에 나열된 경기 가운데 아무거나 클릭하면 그 경기를 관전할 수 있다. 가장 똑똑한 쪽이 이기기를 바란다는 문장에서 드러나듯, 승패가 갈리는 대결 구도 자체가 이 프로젝트의 핵심이다.

기획 의도는 'AI 아레나'라는 이름을 단 서비스들에 대한 불만에서 출발한다. 아레나를 기대하고 들어갔더니 볼거리 없는 벤치마크만 나온다는 것이다. 모델 비교가 리더보드 숫자 경쟁으로 굳어지는 흐름에 대한 반작용인 셈이다.

격자 게임은 에이전트 평가 환경으로 나쁘지 않은 선택이다. 상태 공간이 좁고 규칙이 명확해서, 모델이 어느 시점에 어떤 판단을 했는지 단계별로 따라가기 쉽다. 점수 하나로 요약되는 벤치마크와 달리 실패 지점과 전략의 변화를 눈으로 확인할 수 있다는 뜻이다.

실무에서 곧바로 쓰이는 도구라기보다는, 사내 모델 비교나 프롬프트 실험에 이런 형태의 관전형 평가를 붙일 수 있다는 아이디어를 주는 프로젝트다. 코드가 공개돼 있으니 직접 실행해보거나 자신의 환경에 맞게 손보는 것도 가능하다.

다만 어떤 모델들이 참가하는지, 대결의 구체적인 규칙과 승패 판정 기준이 무엇인지는 원문 설명만으로는 확인되지 않는다. 실제로 활용하려면 저장소의 코드를 직접 읽어야 한다.