미국 노동시간 90%가 AI 벤치마크 사각지대에 놓여 있다

머서(Mercor)가 미국 경제 전체를 직업·과제 단위로 분해해 AI 벤치마크가 실제 업무를 얼마나 덮고 있는지 시각화한 'Benchmark Map'을 공개했다. 결론은 단순하다. 미국에서 일하는 시간의 약 90%가 기존 AI 벤치마크가 거의 또는 전혀 다루지 않는 과제에 쓰인다는 것이다. 벤치마크가 최근 몇 년 새 쏟아졌지만, 정작 사람들이 돈을 받고 하는 일에 대한 측정은 비어 있다는 지적이다.

규모부터 보자. 분석은 미국 노동부의 O*NET 분류를 기반으로 하며, 923개 직업과 22개 직업군, 18,797개 과제를 대상으로 한다. 머서가 품질과 경제적 관련성을 기준으로 고른 벤치마크는 29개다. 이 목록에서 벤치마크 프롬프트가 5개 이상 매핑된 과제를 가진 직업은 923개 중 208개에 그쳤고, 22개 직업군 가운데 6개는 그런 직업이 하나도 없었다. 의료 전문직은 89개 직업 중 12개만 해당됐다.

방법론은 이렇다. LLM 판정자에게 각 벤치마크 프롬프트를 대응한다고 판단되는 O*NET 과제에 태깅하게 하고, 머서 자체 APEX 벤치마크 구간에서는 인간 전문가 태그로 이를 검증했다. 특정 과제에 프롬프트가 5개 이상 연결되면 '커버됨'으로 집계한다. 여기에 Hatgis-Kessell 등의 LLM 기반 노동시간 비중 추정치를 결합해 전체 노동시간 대비 커버리지를 계산했다.

벤치마크 29개를 고를 때 적용한 기준도 공개됐다. 공개적으로 최소 25개 과제를 제공할 것, 질문에 답하거나 조언하는 대신 에이전트형 과제를 수행하게 할 것, 실제 기업에서 사람이 자주 맡는 일과 닮아 있을 것, 특정 직업군(특히 소프트웨어 엔지니어링과 연구)에 쏠리지 않도록 직업군별 개수를 제한할 것, 그리고 최전선 모델이 아직 포화시키지 않은 난이도일 것이었다.

커버리지의 편중은 우연이 아니다. AI 노출도가 높다고 분류된 과제는 그렇지 않은 과제보다 벤치마크에 약 6배 더 자주 등장한다. 벤치마크가 AI 발전을 재려는 도구인 이상, 발전 가능성이 큰 과제에 몰리는 건 자연스럽다. 그래서 소프트웨어 엔지니어링과 재무 분석 과제는 넘치고, 트럭 운전이나 가스 플랜트 운영 과제는 거의 없다.

문제는 AI 노출도를 통제한 뒤에도 남는다. 임금 총액이 큰 직업의 과제일수록 벤치마크에 과대 대표된다. AI 노출도가 비슷한데도 변호사 과제는 촘촘히 덮이는 반면, 법률 비서나 법원 서기 과제는 거의 덮이지 않는다. 규모가 작고 소득이 중간대인 지식 노동의 긴 꼬리가 통째로 비어 있는 셈이다.

개발자에게 이 지도가 주는 실무적 신호는 분명하다. 에이전트나 LLM을 특정 업무에 붙이려는 팀이라면 공개 벤치마크 점수가 자기 도메인 성능을 대변한다고 가정하지 않는 편이 안전하다. 도입 전에 자사 업무를 과제 단위로 쪼개고, 그 과제를 실제로 덮는 평가셋을 직접 만들어야 한다. 벤치마크를 고를 때도 경제적 현실성과 에이전트형 수행 여부를 확인하는 습관이 필요하다.

저자들은 이 결과가 잠정적이라고 스스로 못 박는다. 29개 목록은 전체 벤치마크 생태계를 완전히 또는 대표성 있게 담은 표본이 아니며, 불완전한 목록은 커버리지 추정치를 낮추는 방향으로 편향을 만든다. 직업군별 개수 상한을 둔 탓에 소프트웨어 엔지니어링처럼 벤치마크가 많은 분야의 커버리지는 오히려 과소평가됐을 수 있다. 포화된 벤치마크를 제외한 것도 LLM이 쉽게 끝내는 과제의 커버리지를 낮춰 잡을 위험이 있다. '경제적 현실성' 같은 기준은 형식화하기 어려워 선택에 주관이 섞인다는 점도 인정했다.