Kling은 멀티모달 이해를 생성 품질의 전 과정 문제로 본다

무엇인가

이 보고서는 새로운 단일 영상 생성 모델을 제안하기보다 Kling 1.0부터 4.0, Kling AI Avatar, Kling Motion Control까지의 개발에서 얻은 관찰을 정리한다. 핵심 주장은 영상 생성 품질이 데이터, 조건화, 정렬, 평가로 이어지는 전 과정에서 멀티모달 이해가 투영된 결과라는 것이다. 진행 단위가 프레임에서 클립, 샷, 다시 완전한 시퀀스로 확장되면서 문제는 국소적 화질에서 구성적 유용성으로 바뀌었다. 프레임 단위 품질은 국소적으로 평가할 수 있지만 시퀀스 단위 유용성은 제약이 상호작용하고 오류가 시간에 따라 누적되므로, 시스템은 이질적 입력에서 잠재적 창작 명세를 추론하고 생성기가 실행할 조건으로 표현한 뒤 같은 의미 단위로 평가해야 한다. 일반 VQA 점수가 높다고 해서 카메라 언어, 좌우 관계, 구도, 조명, 샷 경계, 정체성 바인딩, 조밀한 시간 변화를 안정적으로 이해한다고 볼 수 없다는 지적도 이 문제 설정의 핵심이다.

어떻게 동작하나

Kling-MLLM은 이미지, 비디오, 오디오, 동기화된 오디오-비디오, 임의로 인터리브된 입력을 하나의 자기회귀 인터페이스로 통합한 공유 멀티모달 기반 모델이다. 27B dense와 35B-A3B, 397B-A17B MoE 변형이 있고 LLM과 비전 백본은 Qwen3.5–Qwen3.8 계열 체크포인트에서 초기화된다. 입력은 텍스트 토큰, ViT와 공간 풀링, 비전 정렬기를 거친 시각 임베딩, 스케일별 오디오 타워를 거친 음향 임베딩이 하나의 LLM 시퀀스로 들어가며, 입력 미디어를 공유 이산 코드북으로 양자화하지 않는다. 비디오는 길이와 문맥 예산에 따라 프레임률과 프레임 수를 동적으로 고르고 각 프레임 블록에 물리적 타임스탬프를 붙인다. 오디오는 클립 시작과 끝 타임스탬프를 명시하고 5초마다 절대 시간 앵커를 삽입하며, 동기화 오디오-비디오는 같은 타임스탬프의 오디오 토큰을 시각 블록 앞에 놓는 방식으로 하나의 타임라인에 직렬화한다.

무엇과 다른가

학습은 네 단계 커리큘럼을 따른다. 1단계는 비전 타워와 LLM을 고정하고 오디오 타워만 짧은 시퀀스로 학습해 음성 인식만이 아닌 넓은 음향 표현을 만든다. 2단계는 세 모듈을 모두 풀고 짧은 시퀀스에서 오디오와 동기화 오디오-비디오 비중을 크게 하여 음향-언어 정렬과 시간 동기화 통합을 학습한다. 3단계는 긴 시퀀스로 전환해 영화·일반 비디오 QA, 타임스탬프 절차 단계, 시간적 그라운딩, 다중 샷 서사, 이상 행동, 재생 속도 민감 모션 같은 미세 시간 지각을 강화한다. 4단계는 두 모달리티 타워를 고정하고 LLM만 긴 문맥으로 업데이트해 장기 통합을 다진다. 저자들은 1단계와 4단계 체크포인트를 병합한 것이 어느 한쪽 단독보다 낫다고 보고한다. 데이터는 공개 데이터, Kling 전용 과제 데이터, 에이전트 데이터를 공통 대화 스키마로 묶고, AutoResearch가 Hugging Face Daily Papers와 인기 데이터셋을 모니터링해 민감 자료, 라이선스 부적합, 평가셋 중복을 제외한 뒤 Auto Data Process와 Auto Revise에서 Qwen3-Omni 퍼플렉시티, Gemini 검토, 사람 검토를 거치는 파이프라인을 쓴다.

어떻게 쓰나

캡션은 사람이 읽는 요약이 아니라 시각 증거를 조건부 지도로 바꾸는 의미 계약으로 다뤄진다. DiT가 언어 모델보다 훨씬 적은 샘플로 학습되므로 단위 영상 길이당 설명 밀도를 최대화해야 하고, 참조 대상의 결속을 명시하는 reference-grounded captioning으로 확장한다. 유창한 문장이 장면은 맞히면서 하드 컷을 페이드로 잘못 쓰거나 타이틀 노출 시점을 빠뜨리고 등장 전 대사를 놓치거나 화면 속 텍스트를 전사하지 않으면 어휘 중첩 지표는 좋아도 생성 감독으로는 해롭다. 프롬프트 개선은 사용자 의도를 이 캡션 분포로 번역하는데, 기본 PE는 설득력 있는 영상의 캡션에서 출발해 텍스트 수준 강화학습과 생성기-인-더-루프 강화학습으로 다듬고, 에이전트형 PE는 이야기를 정교화하고 설득력 있는 예시를 검색한다. 텍스트 인코더는 더 강한 언어 능력보다 지각 학습에서 신뢰성이 나온다고 보며, 후보를 텍스트만으로 먼저 스크리닝해 비싼 종단간 학습 전에 거른다. 보상 모델링은 설명 가능한 국소 비평을 주는 일반 보상 모델과 빠른 다차원 점수를 주는 결정 보상 모델을 결합하고, 지각 대역폭을 일급 설계 변수로 취급한다.

전제와 한계

Kling-MLLM의 벤치마크 결과는 특정 영역에서 우위를 보이지만 전면 우위는 아니다. 397B-A17B는 MMBench-CN, OCRBench, TextPecker 네 지표 중 세 개, OmniCap-IF 두 지표에서 앞서고 IV-Bench 61.05로 최고 보고값과 0.36점 차, MVU-Eval 63.16으로 0.55점 차까지 접근한다. 비디오에서는 DSI-Bench, Event-Bench, MotionBench, Camera Motion VQA, VidCapBench coverage를 이끌고 35B-A3B는 VSI-Bench를 이끈다. 오디오에서는 397B-A17B가 LibriSpeech clean WER과 중국어 LATBench에서 가장 좋고, 27B가 TREA와 영어 LATBench 시간 그라운딩에서, 35B-A3B가 영어 LATBench FENSE에서 가장 좋다. 반면 Doubao2.0-Lite는 LibriSpeech other와 WorldSense에서, Qwen3.5-Omni-Plus는 video-SALMONN miss rate에서, MiniCPM-o-4.5는 hallucination rate에서, Doubao2.0-Lite는 UGC-VideoCap에서 앞선다. 저자들도 이미지, 음성 인식, 비디오 캡셔닝, 멀티모달 인터리빙 결과는 시스템별로 혼재한다고 정리한다.

보상 모델과 평가는 생성 실패를 원인별로 추적하는 쪽에 초점이 있다. 내부 페어와이즈 벤치마크는 표의 L2 차원 10개 중 이미지 선명도와 압축을 제외한 9개를 다루며, DRM이 macro와 micro 정확도 모두 최고이고 9개 중 8개 차원에서 앞선다. Gemini-4-Argon은 다중 샷 프롬프트 추종에서만 더 강하고, GRM은 macro 정확도에서 이미 Gemini-4-Argon을 넘으며 Stage 3가 단일 prefill 추론 비용으로 3.1점을 더한다. 공개 벤치마크 VideoScore-Bench-v2, VideoPhy2-test, VideoGen-RewardBench에서도 DRM이 선도한다. 평가 프로토콜은 과제별 성공 기준과 점수를 부풀리는 지름길을 드러내도록 설계된다. 예를 들어 VidCapBench는 643개 비디오와 10,644개 QA 쌍으로 캡션 정확도와 하류 text-to-video 품질의 상관 0.89–0.92를 보고하고, MultiRef-Compass는 EF_final = EF_base × P_paste로 복사-붙여넣기를 벌점화하며, AVE-Compass는 EI = IF × FP로 원본을 그대로 두거나 무작정 재생성하는 해법이 높은 점수를 얻지 못하게 한다. KeyFrame-Compass는 키프레임의 존재뿐 아니라 시각 충실도, 시간 순서, 위치, 지속성, 응답 고유성을 분해해 슬라이드쇼 같은 전환과 일시적 번쩍임, 긴 정지, 역순 같은 실패를 구분한다.

개발자에게 이 보고서는 영상 생성 품질을 올릴 때 렌더러만 튜닝하는 접근이 왜 한계에 부딪히는지 보여주는 체크리스트로 쓸 수 있다. 생성 실패를 보면 먼저 캡션이 제어 변수를 빠뜨리지 않았는지, 참조 결속이 명시됐는지, 프롬프트가 생성기가 학습한 캡션 분포로 번역됐는지, 텍스트 인코더가 지각 정보를 보존하는지, 보상 모델이 정적인 부드러움만 선호하지 않는지, 평가기가 요청된 사건을 실제로 시험하는지 확인해야 한다. 비싼 종단간 학습 전에 텍스트만으로 텍스트 인코더 후보를 거르거나 텍스트 수준 PE 검증기를 쓰는 식의 저렴한 프록시도 실무적으로 유용하다. 평가는 단일 총점보다 과제별·차원별·난이도별로 나누고 숨은 프롬프트와 주기적 인간 검토를 함께 두어 벤치마크 과적합을 막아야 한다.

한계와 전제도 분명하다. 저자들은 관찰이 Kling 1.0–4.0과 Kling AI Avatar, Kling Motion Control에 기반하며 어떤 부분이 단일 모델 패밀리 밖으로 일반화되는지 탐구하는 것이 목표라고 밝힌다. 따라서 이 보고서는 독립적인 보편 법칙의 증명이라기보다 대규모 생성 시스템 운영에서 얻은 설계 경험이며, 여러 벤치마크에서 Kling-MLLM의 우위가 혼재한다는 점도 저자들이 인정한다. 또한 단일 종합 비디오 품질 점수는 실패 원인을 거의 알려주지 않고, 같은 증상이 캡션 누락, 시간 구조를 버리는 조건화 표현, 정적인 모션을 선호하는 보상 모델, 요청 사건을 시험하지 않는 평가기 어디서든 생길 수 있다고 본다. 프롬프트 개선과 텍스트 인코더는 이 보고서에서 정량 표보다 설계 원칙과 스크리닝 절차가 중심이다.