앤트그룹 Bailing이 560B 모델 Ling-3.1-flash를 공개했다

InfoQ 中文2시간 전

앤트그룹(蚂蚁集团)의 모델 연구 조직인 Bailing(百灵)이 10월 15일 Ling-3.1-flash를 오픈소스로 공개했다. 총 파라미터 약 560B, 토큰당 활성 파라미터 약 25B, 최대 1M 컨텍스트를 지원하는 모델이며 가중치는 Hugging Face와 ModelScope에서 내려받을 수 있다. 회사 측은 사무, 의료, 소프트웨어 엔지니어링, 터미널 조작처럼 실제 업무 흐름에 쓰이는 작업을 겨냥했다고 설명했다.

구조적으로는 Ling-3.0-flash의 하이브리드 리니어 아키텍처를 이어받았다. 공개된 평가 결과를 보면 사무 작업 벤치마크 GDPVal-AA V2.1에서 ELO 1673점, 의료 평가 HealthBench Professional에서 65.35점을 기록했고, 소프트웨어 엔지니어링 벤치마크 FrontierSWE와 터미널 조작 벤치마크 Terminal-Bench 4.0에서도 복합 엔지니어링 작업을 처리하는 능력을 보였다고 밝혔다. 흩어진 자료를 보고서로 정리하거나, 단편적인 증상 정보를 모아 병력과 진료 질문을 정리하거나, 기존 코드를 읽고 새 기능을 붙인 뒤 테스트 결과에 맞춰 다시 고치는 작업을 염두에 둔 구성이다.

비용과 속도도 함께 내세운다. Artificial Analysis 공개 평가에서 지능 지수 41, 출력 속도는 초당 약 210토큰으로 제시됐다. 하이브리드 호출 가격은 백만 토큰당 약 0.19달러다. 여러 차례 호출을 반복해야 하는 업무형 에이전트에서 응답 속도와 단가를 동시에 관리하려는 목표가 깔려 있다.

로컬 배포를 위한 최적화도 포함됐다. 라우티드 익스퍼트에는 MXFP4 양자화를 적용하고 덴스 레이어는 block-FP8로 유지해 가중치 용량을 약 534GB에서 292GB로 줄였다. Hopper GPU 테스트 구성에서는 서빙에 필요한 카드 수가 8장에서 4장으로 내려간다고 설명했다. 서버급 GPU를 확보한 팀이라면 더 적은 장수로 모델을 돌릴 수 있다는 뜻이다.

배경에는 Ling 3.0 시리즈의 배포 실험이 있다. 서버에서는 NVIDIA DGX Spark 한 대로 Ling-3.0-flash를 구동해 코딩 에이전트가 작은 게임을 만들고 테스트하도록 했고, 개인용 컴퓨터에서는 16GB MacBook Air로 Ling-3.0-tiny를 돌려 상시 대기형 로컬 어시스턴트를 구성했다. 모바일에서는 Galaxy A32 4G가 Tiny GGUF 버전으로 로컬 추론과 도구 라우팅 프로토타입을 검증했고, 샤오미 14T Pro는 PocketPal을 통해 Tiny 버전 로컬 대화를 구현했다. Ling-3.0 시리즈는 Hugging Face에서 최근 30일 다운로드가 약 100만 회에 이르렀고, 커뮤니티가 Flash GGUF, Tiny GGUF, Flash MLX 4bit 같은 버전을 내놓았다. 금융과 의료 영역에는 Ling-3.0-flash-Fin, Ling-3.0-flash-Sante 같은 특화 모델도 나와 있다.

개발자 입장에서 이번 공개는 선택지가 하나 늘어난 것 이상이다. 1M 컨텍스트와 낮은 호출 단가를 앞세운 모델이 오픈 가중치로 풀리면, 사내 문서 처리나 코드 유지보수 파이프라인을 외부 API에 묶지 않고 직접 검증하고 미세 조정할 여지가 생긴다. 양자화 설정이 공개돼 있어 자체 GPU 자원에 맞춰 서빙 구성을 다시 계산해 볼 수 있다는 점도 실무에서는 크다.

다만 벤치마크 수치는 회사가 제시한 자체 평가 결과로, 독립적인 재현 검증이 이뤄졌다고 보기는 어렵다. 백만 토큰당 0.19달러는 하이브리드 호출 조건을 기준으로 한 값이라 실제 청구액은 사용 패턴에 따라 달라질 수 있다. 가중치를 292GB까지 줄였다 해도 로컬 구동에는 여전히 서버급 GPU가 필요하다.