Apertus 1.5가 토크나이저 확장만으로 텍스트 모델에 이미지와 음성을 붙인다

무엇인가

가장 성능이 좋은 LLM은 독점 인터페이스로만 접근할 수 있고, 공개 모델조차 가중치만 풀어놓고 그 뒤의 데이터와 코드, 학습 레시피, 정렬 가치는 공개하지 않는다. Apertus는 완전 개방성을 다섯 축으로 정의한다. 가중치, 데이터, 코드, 레시피, 가치다. 2025년 9월 공개된 Apertus 1.0은 8B와 70B 두 모델을 CSCS의 Alps 슈퍼컴퓨터에서 15T 토큰, 1000개 이상 언어의 공개 문서로 처음부터 학습했다. Apertus 1.5는 이 체크포인트를 이어 학습시켜 텍스트 전용 모델을 이미지와 음성을 이해하는 추론 모델로 확장한다.

어떻게 동작하나

핵심 설계는 멀티모달리티를 아키텍처가 아니라 토크나이저로 들여보내는 것이다. Apertus 1.0의 131,072개 텍스트 어휘 뒤에 200개의 예약 슬롯을 두고, 이어서 131,072개의 이미지 코드와 4,096개의 오디오 코드를 붙여 총 266,440개 어휘를 만든다. 공개된 입력 임베딩 행렬은 266,752행인데 마지막 312행은 추가 어휘가 아니라 패딩이다. 입력 쪽은 모든 모달리티를 받아들이지만 출력 헤드는 원래 텍스트 어휘로 제한된다. 언어모델 본체 구조는 전혀 바뀌지 않았고, 이미지와 오디오도 텍스트와 같은 다음 토큰 예측 목적함수로 학습된다.

무엇과 다른가

이미지는 Emu3.5의 비전 토크나이저로 16x16 픽셀 블록마다 차원 256, 131,072개 항목의 코드북에서 코드 하나를 뽑는다. 512x512 이미지는 32x32 격자, 즉 1,024 토큰이 된다. 코드북은 인덱스 역전파 양자화로 학습해 대형 코드북에서 대부분의 코드가 죽는 문제를 피한다. 오디오는 WavTokenizer 코덱을 쓰는데, 4,096개 코드북에 단일 양자화기를 사용해 24kHz 모노 파형에서 600 샘플당 코드 하나, 초당 40토큰을 낸다. 1분 오디오가 2,400 토큰이다. 입력은 -3dBFS로 피크 정규화한다. 잔차 코드북을 여러 겹 쌓는 EnCodec 계열과 달리 코드 스트림이 하나라서 오디오가 텍스트처럼 평평한 시퀀스로 들어가고, 학습 스택을 바꿀 필요가 없다. 토큰화는 전부 오프라인 전처리에서 끝나므로 학습 중에는 비전·오디오 인코더의 순전파가 없다. 256노드, 8,192 토큰 시퀀스 조건에서 텍스트 전용 실험이 초당 GPU당 5,300~5,500 토큰을 냈고 첫 멀티모달 프로덕션 단계는 5,474 토큰을 냈다.

어떻게 쓰나

학습은 1.0 체크포인트에서 이어가는 continued pretraining으로 시작한다. 8B는 4T, 70B는 2T 토큰을 추가로 먹는다. 데이터는 여섯 단계로 나뉜다. 1단계는 짝이 없는 이미지와 오디오로 새 모달리티 자체를 익히고, 2단계는 캡션·전사가 붙은 짝 데이터로 언어와 정렬한다. 이어서 쿨다운, 롱컨텍스트 사전학습, 지도 미세조정(SFT), 롱컨텍스트 SFT가 온다. 세 사전학습 단계 전체에서 텍스트 전용 데이터가 8B 혼합의 약 60%, 70B의 약 55%를 차지하고 나머지를 비전과 오디오가 나눠 갖는다. 8B의 여섯 단계 비전 풀은 총 8억 2,160만 샘플이고 그 86%가 1·2단계에 몰려 있다. 2단계 비전 풀은 8B가 약 8,500억 입력 토큰, 70B가 5,340억 토큰이다. 오디오에서는 한 녹음의 연속 클립을 음성과 텍스트로 번갈아 배치한 교차 시퀀스가 2단계와 쿨다운 오디오 토큰의 약 5분의 1, 롱컨텍스트 오디오 풀의 전부를 차지한다. 후처리는 SFT, 롱컨텍스트 SFT, 검증 가능 보상 강화학습(RLVR), 직접 선호 최적화(DPO), 헌장 정렬을 위한 자기증류 정책 최적화(SDPO)로 구성된다. 사고 모드는 별도 모델이 아니라 채팅 템플릿의 요청 시점 플래그다.

전제와 한계

결과 수치는 원문에 구체적으로 제시된다. 사고 모드를 켜면 8B의 MATH-500 점수가 51.2에서 71.4로 오른다. 지시 따르기는 IFEval 87.1, Multi-IF 83.7로 논문이 비교한 모든 모델보다 높다. 70B의 단일 턴 함수 호출은 58.0에서 70.1로 올라 Llama-3.3-70B와 1.5점 차이다. 완전 개방 모델 중에서는 8B가 지식, 지시 따르기, 문화 벤치마크에서 선두다. 이미지·음성 이해는 완전 개방 멀티모달 모델과 경쟁력 있는 수준이며 문서 이해와 장문·저자원 음성 인식에서 특히 강하다. 다만 영어를 비롯한 고자원 언어의 지각과 전사에서는 전용 비전·오디오 모델이 여전히 앞선다고 저자들은 밝힌다.

개발자 입장에서 실무적으로 중요한 것은 배포 관련 관찰이다. 가중치, 중간 체크포인트, 데이터 준비 파이프라인, 학습 코드, 평가 하네스가 모두 Apache 2.0으로 공개된다. 외부 평가 과정에서 나온 양자화 결과도 함께 실렸다. 8비트(FP8) 가중치와 활성값은 거의 무손실이다. 반면 8B 모델의 어텐션 층에 4비트 NVFP4를 적용하면 NaN 로짓이 나오는데, 저자들은 xIELU의 이차항이 양자화 노이즈를 증폭시키는 탓으로 본다. 어텐션은 FP8로 두고 MLP만 NVFP4로 양자화하면 70B가 49GiB에 들어가 96GB GPU 한 장에서 20만 토큰이 넘는 컨텍스트로 돌아간다. 서빙 성능도 다섯 개 추론 제공자와 자체 배포를 비교했는데, 같은 길이 응답에서 지연이 2.3배(1.9~4.3초), 첫 토큰까지 걸리는 시간이 거의 6배(82~470ms) 차이 났다. 다만 대부분의 벤치마크가 로그우도 기반 채점이라 completions 엔드포인트를 노출하지 않는 제공자와는 품질 비교가 이뤄지지 않았다.

저자들이 명시한 한계는 구체적이다. 단답형 사실 질문에서 환각률은 전작과 비슷하다. PreciseWiki에서 10문제 중 8문제 이상 답을 시도하고 그중 6~7개를 환각하는데, 70B 스케일의 Apertus 1.0보다 오히려 약간 나쁘다. 이번 릴리스의 개선은 존재하지 않는 것을 묻는 질문을 알아채는 능력과 장문 정밀도에 있지, 사실 회상에 있지 않다. 정렬 단계를 거치면서 과잉 거부가 늘어 OR-Bench의 어려운 부분집합에서 거부율이 급증한다. 다국어는 상대적으로 가장 강한 위치지만 XNLI는 두 스케일 모두 Apertus 1.0 대비 퇴행했고, 사전학습 언어의 긴 꼬리는 평가되지 않았다. 70B는 멀티모달 혼합을 다 소비하기 전에 학습이 중단됐고 상속된 학습률 때문에 적응 여지가 적어 여러 멀티모달 벤치마크에서 8B에 뒤진다. 선호 정렬은 대부분의 멀티모달 능력을 끌어올리지만 RefCOCO 계열의 지시 표현 그라운딩을 약 17점 떨어뜨린다. 출력 형식은 유효하고 객체 위치도 맞히지만 예측 박스가 체계적으로 느슨해지는 범위 보정 문제다. 후처리 모델은 특히 저자원 언어에서 자신을 다른 제공자가 만들었다고 잘못 말하는 경우가 있는데, 1.0에는 없던 현상이다. 도구 호출과 사고 모드는 결합되지 않는다. SFT 혼합에 추론과 도구 호출을 동시에 하는 대화가 없고 강화학습에서도 도구 사용 프롬프트를 제외했기 때문에, 사고를 켜면 도구를 부르지 않고 도구를 부르면 사고 구간을 건너뛴다. 8B는 병렬 호출에도 약해 여러 개를 요청해도 하나만 내는 경우가 많다. 이미지와 오디오는 이해만 하고 생성하지는 않는다.