엔비디아와 MIT, MiniMax H3 기반 4K 영상 재생성 모델 공개

雷锋网어제

엔비디아와 MIT 연구진으로 구성된 Efficient-Large-Model 팀이 영상 향상 프로젝트 Open-H3-Regenerate-2K의 모델 가중치를 Hugging Face에 공개했다. 추론 코드는 NVlabs/Sana 저장소에 함께 올라갔다. 이 프로젝트는 MiniMax의 오픈 웨이트 영상 모델 H3를 기반으로, 해상도가 낮은 영상 초안을 고해상도 영상으로 다시 생성한다. 2560×1440 2K 출력을 지원하고, 최대 3840×2160 네이티브 4K까지 재생성할 수 있다고 팀은 설명한다.

구조를 보면 H3 전체 시스템은 멀티모달 컨텍스트 처리, 기반 음성·영상 생성, 고해상도 재생성이라는 세 단계로 나뉜다. 이 가운데 가중치가 공개된 H3-Base는 768P 음성·영상 생성을 담당하고, 고해상도 재생성 모듈인 H3-Regenerate-2K는 그동안 API 형태로만 제공됐다. 새로 공개된 구현은 H3-Base의 생성 능력을 그대로 재사용하면서, 재생성 단계를 직접 배포할 수 있게 만든 오픈 구현이라는 점이 핵심이다.

학습 방식은 기반 모델을 건드리지 않는 쪽을 택했다. H3 트랜스포머 백본과 영상 VAE의 기존 파라미터는 고정한 채, 새로 추가한 정제용 LoRA만 학습시켰다. 추론할 때는 이 LoRA를 LightX2V FL2VA Turbo, LMS Sharp 같은 커뮤니티 어댑터와 합쳐 3단계 디노이징을 수행하고, 목표 해상도에서 화면 디테일을 다시 그려낸다. 장면 구성과 레이아웃, 움직임 정보는 원본 저해상도 초안에서 가져온다.

속도 최적화에는 커뮤니티가 만든 잠재 공간 업샘플러가 쓰였다. 영상의 잠재 표현을 바로 확대해 고해상도에서 반복되는 디코딩·인코딩 비용을 줄이는 방식이다. 여기에 SoL-Engine의 희소 어텐션, 저정밀도 연산, 빠른 VAE 디코더를 조합해 정제와 디코딩 구간을 가속했다. 팀이 공개한 측정에 따르면 단일 엔비디아 B200 GPU에서 워밍업을 마친 뒤 약 5초짜리 영상을 잠재 공간 업스케일, 3단계 정제, 2K 디코딩까지 처리하는 시간이 기존 87.26초에서 22.45초로 줄었다. 약 3.9배 빨라진 셈이며, 이 중 빠른 디코더가 디코딩 시간을 약 15초에서 약 1.6초로 단축했다.

화질은 RefinerBench-150으로 비교했다. 동일한 입력과 동일한 2K 출력 조건에서 지각 품질 지표 UniPercept 평균 점수는 Open-H3-Regenerate-2K가 60.0, 공식 H3-Regenerate-2K API가 53.4였다. VBench에서는 미학적 품질, 이미징 품질, 피사체 일관성 항목에서 오픈 구현이 앞섰고, 운동의 매끄러움과 역동성 항목에서는 공식 API가 근소하게 우세했다고 팀은 밝혔다.

배경에는 H3 생태계의 빠른 확장이 있다. H3는 올해 8월 가중치가 공개된 뒤 미세조정과 증류, 도구适配 시도가 잇따랐고, 한 달 만에 다운로드 2400만 회와 300개가 넘는 공개 파생 모델을 기록했다고 원문은 전한다. 엔비디아와 MIT 팀도 이번 영상 향상 외에 H3 Ref2VA로 만든 스트리밍 영상 렌더링 모델 StreamRender-H3와 H3 영상 VAE에서 증류한 빠른 디코더 Sol-H3-VAE를 함께 내놓았다. 커뮤니티 쪽에서는 LightX2V의 MiniMax-H3 Turbo(4단계·8단계 증류 버전), 동작과 얼굴 디테일, 화면 스타일을 다듬은 Singularity, FastVideo의 FastH3 4단계 프리뷰, Pika의 6단계 샘플링 모델 Pika H3 Flex가 나왔고, ComfyUI와 Unsloth는 어댑터 가중치와 양자화 버전을 배포해 로컬 작업 흐름에 H3를 끌어들였다.

개발자 입장에서 달라지는 것은 고해상도 재생성 단계를 직접 통제할 수 있게 됐다는 점이다. 그동안 API 호출로만 쓸 수 있던 기능을 자체 GPU에 올려 비용과 지연 시간을 조정하고, 자체 LoRA나 어댑터를 얹어 화질 특성을 바꿀 여지가 생겼다. 기반 모델을 고정하고 LoRA만 학습하는 구성은 전체 재학습 없이 파이프라인을 손보려는 팀에 현실적인 참조가 된다.

다만 수치는 조건을 함께 읽어야 한다. 22.45초라는 기록은 단일 B200 GPU에서 워밍업을 끝낸 상태를 전제로 한 측정이고, 화질 비교 역시 팀이 자체 구성한 RefinerBench-150과 UniPercept, VBench 지표에 근거한다. 운동의 매끄러움 같은 일부 항목에서는 공식 API가 여전히 앞선다는 점도 팀이 직접 인정했다.