Gemini 4 Carbon이 AA 지능 지수 5에서 1위를 차지했다

Hacker News그저께

구글이 새 모델 Gemini 4 Carbon을 선보이면서 Artificial Analysis의 Intelligence Index v5 정상에 올랐다. 이 지수에서 59점을 기록해 1위이며, 코딩 에이전트를 따로 평가하는 지수에서는 2위다. 아직 모든 사용자가 쓸 수 있는 상태는 아니고, 선택된 사용자에게만 순차적으로 열리고 있다.

가장 눈에 띄는 건 코딩 에이전트 순위다. Antigravity CLI와 조합한 Gemini 4 Carbon(high)은 Artificial Analysis Coding Agent Index에서 59점을 받아, Claude Code에 Claude Opus 5.5(max)를 붙인 조합의 62점에 3점 차로 따라붙었다. 세부 벤치마크에서도 Terminal-Bench 4.0은 64%, FrontierCode v1.1은 51%로 둘 다 2위이며, 두 항목 모두 Claude Opus 5.5(max)가 앞선다. 코딩 영역에서 구글 모델이 상대적으로 약했던 흐름을 감안하면 의미 있는 변화다.

지능 지수를 구성하는 9개 평가 가운데 4개에서는 최고점을 냈다. HLE-Diamond, Terminal-Bench-Science, AA-Omniscience, AutomationBench-AA가 그 목록이다. 복잡한 추론과 지식, 과학 과제에서 강점을 보인 반면 코딩과 지식 노동 전반을 석권한 것은 아니다.

에이전트 기반 지식 노동 평가인 AA-Briefcase에서는 1609 Elo를 기록해 직전 Gemini 4 Argon(high)의 1483보다 126점 올랐다. 다만 Grok 4.7(xhigh, 1638), Muse Wonder(max, 1659), Kimi K3.1 Pro(1678)에는 여전히 뒤진다. 항목별로는 Presentation이 1598로 293점 뛰었고, Analytical Quality는 1671로 120점 상승했다.

비용은 같은 지능 수준의 경쟁 모델과 비교해 유리한 편이다. 표준 가격 기준 Intelligence Index 태스크 한 건당 $7.76으로, Claude Opus 5.5(max)의 $10.04보다 약 23% 저렴하다. 반면 GPT-6 Astra(max)의 $6.25보다는 약 1.2배 비싸다. 태스크당 출력 토큰은 12만3천 개로 Claude Opus 5.5(max)의 17만3천 개보다 29% 적다. 토큰 단가는 100만 개당 입력 $4, 출력 $20으로 Gemini 4 Argon의 표준 가격과 같고, 캐시된 입력 토큰에는 95% 할인이 붙어 표준 가격 기준 100만 개당 $0.20이 된다.

지식 정확도 쪽에서는 AA-Omniscience v1.1 점수가 54로 Claude Opus 5.5(max)의 48보다 6점, Gemini 4 Argon의 46보다 8점 높다. 정확도는 58%로 Argon 대비 10포인트 올랐지만, 환각률은 4%에서 11%로 함께 상승했다. 그럼에도 Argon에 이어 두 번째로 낮은 수준이며, Claude Opus 5.5(max)와 GPT-6 Astra(max)는 각각 50%를 기록했다.

배경에는 평가 체계 자체의 변화가 있다. Intelligence Index v5는 새 벤치마크 2개를 추가하고 기존 3개를 개편했으며, 처음으로 지수의 과반이 비공개 데이터셋 위에 구축됐다. 또한 구글은 Gemini 4 Argon에 이어 Carbon도 제한된 사용자에게 먼저 풀고 있으며, 출시 기념 50% 할인을 적용 중이다. 할인 종료 시점은 아직 정해지지 않았고, 공개된 차트와 수치는 모두 두 모델의 표준 가격을 기준으로 계산됐다.

개발자 입장에서는 코딩 에이전트 파이프라인에서 선택지가 넓어진 것이 핵심이다. 코딩 성능은 최상위 모델과 몇 점 차이로 좁혀졌으면서 태스크당 비용과 출력 토큰 소모는 더 낮아, 대량 호출이나 반복 실행이 많은 워크플로에서 비용·지연을 함께 줄일 여지가 있다. 입력은 텍스트·이미지·비디오·음성을 받고 출력은 텍스트로 내는 멀티모달 구성도 유지된다. 다만 환각률이 이전 모델보다 올라간 만큼, 사실 확인 단계를 생략하기는 어렵다.

주의할 전제도 분명하다. 우선 일반 공개 전이라 접근이 제한돼 있고, 50% 할인은 종료일이 정해지지 않아 비용 비교를 할 때는 표준 가격을 기준으로 삼아야 한다. 지능 지수 1위라는 결과도 9개 평가 중 4개에서 선두라는 뜻이며, 코딩과 지식 노동 영역 전체에서 앞선다는 의미는 아니다.