GPT-6.1 테라가 Artificial Analysis 지능지수 48점을 기록했다

Hacker News5일 전조회 1

Artificial Analysis의 모델 목록에 GPT-6.1 Terra의 추론(Max) 버전이 등재됐다. 이 모델은 자체 지능 지수(Intelligence Index)에서 48점을 받아 같은 등급 비교군의 중위값 28점을 크게 웃돈다. 입력으로 텍스트와 이미지를 함께 받고 출력은 텍스트로 내놓으며, 컨텍스트 창은 100만 토큰이다. A4 12포인트 기준 약 1500장 분량을 한 번에 넣을 수 있는 크기다.

점수는 단일 시험이 아니라 10개 평가를 묶은 지능 지수 v4.3.2에서 나왔다. AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1이 여기에 포함된다. 문서 작업, 터미널 기반 소프트웨어 엔지니어링, 과학 코드, 지식 신뢰성처럼 성격이 다른 과제를 한 축에 놓고 가중 합산한 값이라는 뜻이다.

가격은 입력 100만 토큰당 1달러, 출력 100만 토큰당 5달러다. 비교군 중위값이 각각 2달러와 10달러이므로 입력은 절반, 출력도 절반 수준이다. 캐시 할인은 95%까지 붙는다. 지능 지수 과제 하나를 평가하는 데 드는 평균 비용은 0.40달러로 집계됐다.

비용을 볼 때 함께 봐야 할 숫자가 출력량이다. 이 모델은 지능 지수 평가 과정에서 1억3000만 토큰을 생성했는데, 비교군 중위값 8,100만 토큰보다 많은 양이다. 응답이 길어지는 편(verbosity 지표 4단위 중 3)이라는 평가가 붙은 이유다. 출력 토큰이 과금 대상인 구조에서는 같은 점수를 받아도 실제 청구서가 달라질 수 있다는 의미가 된다.

비교 방식에도 전제가 깔려 있다. Artificial Analysis는 추론 모델을 비추론 모델까지 포함한 범위와 비교하고, 폐쇄형 모델은 같은 가격대의 폐쇄형·오픈웨이트 모델을 입력 대 출력 3:1 비율로 섞어 비교한다. 즉 48점이라는 숫자는 '동급 가격대 전체' 안에서의 상대적 위치다.

실무에서 눈여겨볼 지점은 세 가지다. 우선 캐시 할인 95%는 같은 시스템 프롬프트와 문서를 반복해서 넣는 에이전트 루프에서 비용 차이를 크게 만든다. 다음으로 과제당 0.40달러라는 지표는 워크플로 한 번에 몇 개의 태스크가 필요한지 곱해 보면 대략적인 운영 단가가 나온다는 점에서 유용하다. 마지막으로 100만 토큰 컨텍스트는 대형 코드베이스나 계약서 묶음을 잘라 넣지 않고 통째로 다루는 용도에 맞는다.

한계도 분명하다. 이 모델의 초당 출력 토큰 속도는 아직 측정되지 않은 상태로 표시돼 있어, 지능은 높지만 응답이 얼마나 빠른지는 이 자료만으로 알 수 없다. 추론을 끈 별도 변형이 존재할 수 있다는 안내도 붙어 있다. 지능 지수는 10개 평가의 가중 합성치이므로 실제 서비스의 특정 도메인 성능과 1대1로 대응하지는 않는다.