토크나이저 세금이 비영어권 AI 비용을 최대 17배로 키운다

같은 질문을 던져도 어떤 언어로 입력했느냐에 따라 AI가 처리하는 토큰 수가 크게 달라진다는 분석이 나왔다. AI 언어 형평성 연합(Coalition for Language Equity in AI Research)이 지난달 공개한 연구는 토크나이저가 언어마다 텍스트를 쪼개는 방식이 달라, 결과적으로 비영어권 사용자가 같은 작업에 더 많은 비용을 지불하게 된다고 지적한다. 연구진이 붙인 이름은 '토크나이저 세금(tokenizer tax)'이다.

격차는 생각보다 넓다. 인터넷에서 가장 많이 쓰이는 20개 언어만 비교해도 가장 토큰을 많이 쓰는 언어는 가장 적게 쓰는 언어의 1.5~5배를 소모했다. 비교 대상을 200개 언어로 늘리자 특정 모델에서는 이 차이가 17배까지 벌어졌다. 토큰은 곧 요금이고 연산량이며 지연 시간이기 때문에, 이 배수는 그대로 서비스 원가와 응답 속도에 반영된다.

원인은 토크나이저의 학습 방식에 있다. OpenAI 토크나이저 API로 "People should benefit from AI, regardless of the language they speak."라는 문장을 처리해 보면, 영어는 사람이 알아볼 수 있는 단어 단위로 잘 나뉘지만 말라얄람어 문장은 단어 하나가 여러 조각으로 쪼개진다. 다중 바이트 문자를 하나의 단위로 묶어주지 못하는 것이다. 학습 데이터에서 자주 본 문자 체계일수록 토큰 효율이 좋아지고, 그렇지 않으면 같은 내용을 담는 데 더 많은 조각이 필요하다.

비용만의 문제가 아니다. 토큰 수가 늘면 응답이 느려지고, 컨텍스트 윈도우에 담을 수 있는 대화 기록과 문서 분량이 줄어든다. 인도 벵갈루루의 스타트업이 모든 프롬프트와 응답에 할증료를 내는 동안 미국 오스틴의 경쟁사는 같은 작업을 더 싸게 처리하는 구조가 만들어진다는 설명이다.

인도 AI 전문 벤처캐피털 액티베이트 AI의 공동창업자 프라티유 초우드리는 학습 서비스를 예로 든다. 학생이 앞서 틀린 부분과 설명을 기억하는 것이 좋은 수업의 일부인데, 특정 언어에서 그 기록이 컨텍스트를 훨씬 빠르게 잡아먹는다면 불이익이 서비스 품질까지 이어진다는 것이다.

언어의 희소성만이 변수도 아니다. 문자 체계가 결정적이다. 화자 수가 적고 Common Crawl 데이터도 거의 없는 아스투리아스어는 라틴 문자를 쓰고 이탈리아어 같은 인접 로망스어 계열의 표현을 공유한다는 이점을 누렸다. 반면 버마어, 티베트어, 티피나그어, 크메르어, 라오어, 올치키 문자처럼 토크나이저가 거의 접해보지 못한 표기는 분석 대상 모델 대부분에서 일관되게 최하위에 머물렀다.

데이터를 늘리는 시도도 진행 중이다. 인도과학원과 게이츠 재단의 지원으로 진행되는 RESPIN 이니셔티브는 38개 방언 원어민의 텍스트와 낭독 음성을 모았다. 뭄바이의 음성 AI 인프라 기업 나바나.ai 공동창업자 겸 CEO인 라울 나나바티가 이 사례를 언급하며, 원어민 데이터 확보가 언어 처리 개선의 출발점이라고 짚었다.

다만 학습 데이터 개선만으로 토크나이저 문제가 해결되지는 않는다는 경고가 나온다. 차세대 인터넷 사용자 50억 명을 겨냥한 대화형 AI를 개발하는 마야 리서치의 디만스 레디 CEO는 토큰 가격이 빠르게 하락하고 있어 직접적인 비용 충격은 시간이 지나며 줄겠지만, 근본적인 격차를 없애려면 연구소가 특정 언어와 문자를 염두에 두고 토크나이저를 새로 설계해야 한다고 본다.

초우드리는 언어 효율성을 정확도·속도·신뢰성과 같은 등급의 제품 요구사항으로 다뤄야 한다고 주장한다. 완전한 평등은 비현실적이더라도, 크고 지속적인 격차에는 설명과 개선 계획이 따라야 하며 주요 연구소가 언어별로 동등한 과제를 성공시키는 데 드는 비용을 공개하는 스코어카드를 내놓아야 한다는 것이다.

다국어 서비스를 운영하는 개발자에게 이 연구는 곧 예산 산정 문제다. 언어별 토큰 배수를 요금 계산에 반영해야 하고, 컨텍스트 윈도우 크기도 언어에 따라 다르게 잡아야 한다. 모델을 고를 때 영어 벤치마크만 보지 말고 실제 서비스 언어로 토큰 수를 재보는 절차가 필요하다는 뜻이기도 하다.