단일 영상에서 움직이는 음원까지 4D 공간 음향 장면으로 재구성한다

무엇인가

이 논문은 단안 동영상 한 편을 입력으로 받아, 사용자가 새로운 카메라와 청자 경로로 탐색할 수 있는 시간가변 4D 오디오-비주얼 장면을 만드는 Video-to-4DAVScene 문제를 정의한다. 기존 4D 장면 생성이 시각적 기하와 움직임에 집중한 반면, 소리는 동적 객체와 사건에 본질적으로 결합되어 있음에도 공간 음향까지 함께 모델링하지 못했다는 것이 저자들의 문제의식이다. 생성된 장면은 정적 환경의 앰비언트, 고정된 국소 음원, 전경 객체를 따라 움직이는 동적 음원이 세계 좌표계에 정합되어야 하고, 청자가 움직이면 거리 감쇠와 가림, 방향이 일관되게 변해야 한다.

어떻게 동작하나

시각 장면은 360도 정적 배경 가우시안과 여러 동적 전경 객체 가우시안으로 분해해 재구성한다. 먼저 깊이와 카메라 포즈, 전경 마스크를 추정하고 VLM으로 영상 수준 및 객체 수준의 음향 설명을 만든다. 배경은 가장 넓게 보인 프레임을 기준으로 배경 픽셀을 투영·래스터화해 부분 파노라마를 만들고, 파노라마 아웃페인팅과 파노라마-투-3D 모델로 완전한 360도 배경 가우시안을 생성한다. 전경은 객체별 프레임 단위 Sim(3) 변환과 표준 공간 가우시안, 시간 의존 변형 필드로 모델링하며 강체, 인간, 일반 변형 운동을 공통 형식으로 다룬다. 독립 생성된 전경과 배경은 전역 스케일 정렬과 접촉 영역 기반 국소 변위 보정으로 세계 좌표계에서 맞춘다.

무엇과 다른가

음향장은 앰비언트, 정적 배경 음원, 객체 공간의 동적 음원으로 표현한다. 정적 음원은 VLM 설명으로 텍스트-투-오디오 모델을 돌리고 SAM3 분할로 배경 파노라마에 고정 앵커를 잡는다. 동적 음원은 카메라 공간 혼합과 객체 공간 신호를 동시에 생성하되, 장면에서 유도한 음향 렌더러로 두 공간을 연결한다. 전방 렌더링은 객체 공간 신호를 도플러, 거리 감쇠, 공기 흡수를 포함한 직접음 경로로 카메라 공간에 합성하고, 역방향은 SAM-Audio 기반 분리와 역렌더러로 카메라 혼합에서 객체 공간 힌트를 얻는다. 핵심인 이중 공간 확산 동기화는 HY-VideoFoley의 플로우 매칭 샘플링 각 단계에서 각 분기의 깨끗한 오디오 예측을 디코딩하고, 전방·역방향 제약으로 카메라 공간과 객체 공간 예측을 블렌딩한 뒤 다시 잠재 공간의 속도로 바꿔 샘플링을 갱신한다. 저자들은 이를 별도 학습 없이 동작하는 프레임워크로 설명하며, 명시적 렌더링과 결합한 확산 동기화를 공간 음향 생성에 처음 적용했다고 주장한다.

어떻게 쓰나

자유 시점 렌더링에서는 목표 카메라·청자 경로에 대해 가우시안 장면을 합성하고, 각 음원을 구면 조화 앰비소닉스로 인코딩한 뒤 HRTF로 바이노럴 오디오를 만든다. 이때 음원 위치와 이동, 거리 감쇠, 가림, 방출 시간이 반영되고 전역 앰비언트가 최종 출력에 섞인다. 평가를 위해 SonoScene4D라는 54개 클립 데이터셋을 수집했는데, 각 장면은 30FPS로 촬영한 8초 360도 영상과 48kHz 1차 앰비소닉 오디오로 구성되며, 마이크는 카메라와 다른 새 청자 위치에 놓인다. 지표는 공간 에너지 맵의 CC와 AUC, 절대 방위각·고도각·각도 오차, 객체 설명과 렌더링 오디오의 CLAP 유사도이며, 공간 지표는 5Hz로 시간 평균하고 CLAP은 클립 단위로 계산한다.

전제와 한계

비교 대상은 ViSAGe, OmniAudio, 정적 장면용 SonoWorld, 단일 음원 가정의 Sonic4D이며, 추가로 동적 음원마다 텍스트-투-오디오를 쓰는 Ours(T2A)와 입력 영상 기반 비디오-투-오디오를 쓰는 Ours(V2A) 변형을 둔다. ViSAGe와 OmniAudio에는 목표 자세에서 렌더링한 화각·파노라마 영상을 제공하고, SonoWorld에는 중간 프레임을 사용하는 등 한계에 맞춘 보정을 한다. 본문에 언급된 표 1의 개별 수치는 제공된 원문 발췌에 실려 있지 않아 수치로 옮길 수 없지만, 저자들은 ViSAGe·OmniAudio 대비 큰 향상과 SonoWorld·Sonic4D 대비도 큰 이득을 보고하며 객체 공간 오디오 생성과 이중 공간 동기화의 효과를 주장한다.

사용자 연구는 50명이 데이터셋과 웹 영상의 동적 장면 9개를 두고 진행했으며, 다중 음원과 강체·인간·일반 변형 운동을 포함한다. 참가자들은 OmniAudio 대비 94.0%, Sonic4D 대비 66.4%에서 이 논문의 오디오를 선호했고, Sonic4D 대비 시각 품질은 89.8%에서 선호했다. 전체 방법은 T2A 변형 대비 90.7%, V2A 변형 대비 70.7%의 오디오 선호를 얻었다. 정성적으로는 시간-방위각 RMS 맵에서 차량 장면의 밝은 띠가 이동하는 음원 방향을 따라가고 인간 장면의 반복 음향 사건이 간헐적으로 나타나 기준 앰비소닉 녹음과 더 유사했다. 비행기 장면의 새 청자 위치에서는 전체 방법이 비행기가 새 청자에 가장 가까운 구간에서 두드러진 응답과 하강하는 주파수 이동을 보였고, Sonic4D는 입력 카메라에 가까운 구간에 강한 응답을 남겼다.

개발자 관점에서 이 논문은 휴대폰 단안 영상으로 인터랙티브 4D 재생, 공간 음향 미리보기, VR·AR 장면 제작 파이프라인을 구성하려는 경우 참고할 만하다. 다만 생성된 장면의 실시간 상호작용 렌더링을 주장하는 것이지 전체 생성 과정이 실시간이라는 주장은 아니며, 깊이·분할·VLM·파노라마 확산·오디오 확산 모델을 연쇄적으로 사용하므로 지연과 모델 의존성을 별도로 점검해야 한다. 저자들이 밝힌 한계는 반사 경로를 생략한 직접음 기반 모델이라는 점과 잔향이 제한된 야외 장면을 주로 가정한다는 점이다. 향후 과제로는 객체 재질을 명시적으로 모델링해 상호작용에서 발생하는 소리를 더 물리적으로 정확히 렌더링하는 것을 제시한다.