Pika가 6단계로 영상과 오디오를 함께 만드는 H3 Flex를 공개했다

Pika가 MiniMax의 영상 모델 H3를 기반으로 만든 파생 모델 Pika H3 Flex를 내놓고, 어댑터 가중치와 추론 코드를 함께 공개했다. 핵심은 영상과 오디오를 따로 만들지 않고 하나의 생성 과정에서 동시에 뽑아낸다는 점이다. 디노이징 스텝은 6회로, 적은 스텝 안에서 화면과 소리를 함께 정합시키는 구조를 택했다.

입력 조건은 텍스트 프롬프트, 첫 프레임과 마지막 프레임, 그리고 다중 모달 참조 이미지다. 이를 위해 LoRA 어댑터를 두 세트로 나눠 제공한다. 한 세트는 텍스트 및 첫·마지막 프레임 조건 생성용이고, 다른 한 세트는 다중 모달 참조 기반 생성용이다. 기본 모델 구성 요소와 로컬 추론 도구도 같이 배포되며, 출력은 480P와 768P를 네이티브로 지원한다. 길이는 약 5~15초, 오디오는 동기화된 스테레오로 나온다. 개발자는 ComfyUI 워크플로나 Hugging Face Diffusers 경로로 기존 제작 도구에 붙일 수 있다.

학습 방식은 Pika 기술 블로그에 정리돼 있다. 자체 음성·영상 데이터셋으로 MiniMax H3를 지도 미세조정한 뒤, PDMD(projection distribution matching distillation)를 적용해 교사 모델의 50스텝 디노이징을 6스텝으로 압축했다. 이어 보상 피드백 학습과 직접 선호 최적화(DPO)로 LoRA 어댑터를 훈련해 미학적 품질, 선명도, 지시 준수를 끌어올렸다. 어댑터는 추론 시점에 병합되므로 스텝 수를 늘리지 않아도 된다.

서빙 쪽 최적화도 함께 내놨다. 모델 가중치와 6스텝 샘플링 방식을 고정한 상태에서, NVIDIA B300 GPU 8장으로 5초·768P 영상과 오디오를 생성할 때 조건 인코딩, 디노이징, 디코딩을 합친 시간이 3.409초에서 2.129초로 줄었다는 수치다. Pika는 이를 약 1.6배 처리 속도 향상이라고 설명했다. 이 수치는 특정 하드웨어 구성에서 측정된 값이므로 일반적인 환경에 그대로 적용되지는 않는다.

로컬 생성 외에 API도 함께 제공된다. 로컬에서는 480P·768P 초안을 빠르게 뽑아 후보를 추리고, 선택한 결과만 API로 1080P, 2K, 4K로 업스케일하는 워크플로가 가능하다. 생성된 오디오는 대사, 음악, 효과음, 폴리(foley), 환경음 5개 트랙으로 분리된다. 다만 고해상도 업스케일과 트랙 분리는 API 서비스 영역이라는 점이 전제다.

배경에는 MiniMax H3 오픈소스 생태계가 있다. H3는 공개 한 달 만에 다운로드 2,400만 회를 넘고 300개 이상의 공개 파생 모델이 나왔다고 Pika는 밝혔다. 같은 기간 여러 기업이 용도별 변형을 내놨다. Running Hub의 480P 버전, 실시간 생성을 겨냥한 fal의 H3 Max 768P·480P, 희소화와 하드웨어 적응을 적용한 FastVideo의 FastH3, NVIDIA와 MIT가 함께 만든 StreamRender-H3와 Open-H3-Regenerate-2K 등이 언급된다.

개발자 입장에서 달라지는 것은 조합의 자유도다. 영상 생성과 오디오 생성을 별도 모델로 붙이던 파이프라인을 하나의 6스텝 모델로 대체할 수 있고, LoRA를 목적별로 갈아 끼우는 방식이라 파인튜닝 자산을 조건 유형별로 관리할 수 있다. ComfyUI와 Diffusers를 모두 지원한다는 점도 기존 워크플로에 얹기 쉽게 만든다. 초안은 로컬에서, 최종본은 API에서 처리하는 식으로 비용과 품질을 나누는 전략도 선택지가 된다.

주의할 부분도 있다. 품질 비교는 Pika가 직접 공개한 평가 결과로, 다섯 개 시각·음질 지표에서 자사 모델이 최고점을 받았다는 주장이며 제3자 재현 결과는 제시되지 않았다. DesignArena 텍스트→비디오 리더보드 8위 역시 회사가 밝힌 순위다. 50스텝 교사 모델을 6스텝으로 증류한 구조인 만큼 복잡한 장면이나 정밀한 동기화에서의 품질 편차는 별도 검증이 필요하다.