ReferStream은 스트리밍 영상 생성 중 새 피사체를 장면 맥락에 주입한다

무엇인가

이 논문은 스트리밍(자기회귀) 영상 생성 도중 사용자가 새 시각 참조를 제출하는 상황을 다룬다. 이미 장면과 피사체가 생성된 뒤에 고양이 사진이 도착하면, 생성기는 고양이의 외형을 반영하면서도 기존 장면의 우산과 이미 내보낸 프레임을 그대로 유지해야 한다. 참조를 현재 장면과 독립적으로 인코딩하면 통합 단서가 약하고, 참조 특징을 영구 메모리에 계속 두면 이미 정착한 장면 맥락을 방해할 수 있다는 것이 저자들이 세운 핵심 문제다.

어떻게 동작하나

제안 방법 ReferStream은 추가 학습 없이 동결된 LongLive2-5B 백본 위에서 동작한다. 사용자 업데이트는 다음 청크 경계에서 적용되고, 참조 목록, 정규화된 대상 박스, 이벤트 지시문, 컷 플래그를 묶어 처리한다. 먼저 Joint Latent는 가장 최근의 깨끗한 장면 잠재 프레임을 캔버스로 두고, 각 참조 이미지의 VAE 인코딩을 대상 사각형에 맞춰 배치한다. 알파가 1이면 겹치는 영역은 나중 참조가 덮어쓰고, 참조 합집합 밖의 장면은 바뀌지 않는다. 이렇게 장면 맥락 안에서 구성한 잠재를 별도의 빈 캐시에서 깨끗한 DiT 패스로 통과시켜 참조 토큰의 K/V를 뽑는다. 이 잠재는 영상 프레임으로 출력되거나 샘플 결과에 붙여넣어지는 것이 아니라 참조 특징을 문맥화하는 데 쓰인다.

무엇과 다른가

두 번째 구성 요소인 Cache Restoration은 참조 K/V를 전역 캐시에 영구로 남기지 않는다. 주입 대상 전역 슬롯을 복사해 두고, 그 슬롯에만 참조 K/V를 써서 주입 청크를 디노이징한다. 이어 깨끗한 캐시 업데이트를 수행한 뒤, 덮어썼던 원래 전역 엔트리를 복원한다. 이때 새로 생성된 히스토리는 남겨 두므로 새 피사체 정보는 이후 청크로 이어지고, 이미 방출된 프레임은 수정되지 않는다. 저자들은 이를 캐시 연산의 불변식으로 설명하며, 이후의 정체성 드리프트나 중복 생성을 막는 보장은 아니라고 명시한다. 샷 싱크 갱신은 별도 정책이며 주입 시점에 암묵적으로 적용되지 않는다.

어떻게 쓰나

평가를 위해 ReferStream Bench를 새로 만든다. InShot 48개, MultiShot 20개 항목으로 구성되고, 참조 도착 시점, 단계별 지시문, 대상 박스, 컷 플래그, 기대 피사체 존재 여부를 일정표로 제공한다. 참조 피사체는 총 139개 인스턴스로 인간 43, 동물 49, 식물 포함 객체 47개이며, 두 참조 피사체를 가진 항목이 65개, 세 개인 항목이 3개다. 길이는 10초 39개, 15초 20개, 20초 3개, 60초 6개다. 평가는 New-ID(등장 후 신규 피사체 유사도), Existing-ID(이전에 정착한 피사체 보존), Count(범주별 정확한 수량), 전체 영상 품질, 모션 스무드니스, 활성 캡션과의 GME-T 일치도를 본다. 온라인 프로토콜은 참조를 순차 공개하고, 오프라인 비교는 모든 참조와 전체 스크립트를 처음부터 받는 별도 정보 설정으로 보고한다.

전제와 한계

주요 비교에서 ReferStream은 VACE-14B, Phantom-14B, HOMIE-14B에 모든 참조를 미리 준 오프라인 방법을 포함해 전체 GME-T 62.41, New-ID 52.86, Existing-ID 73.18, Count 정확도 82.33으로 비교 방법 중 최고를 기록했다. 시각 참조 없이 같은 이벤트 일정을 받은 LongLive 2.0 대비 New-ID는 12.87점, Existing-ID는 30.89점 높고 Count 정확도는 8.43퍼센트포인트 올랐다. 다만 미학적 품질은 57.29로 VACE의 57.57에 근접했고, 모션 스무드니스는 HOMIE가 99.53으로 가장 높았다. InShot에서는 GME-T 65.64, New-ID 50.13, Existing-ID 75.20, Count 75.90이었고, MultiShot에서는 New-ID 59.13, Existing-ID 68.28, Count 97.13으로 LongLive 2.0의 18.78, 26.98, 76.65보다 크게 높았다. MultiShot에서 GME-T 54.99와 미학 점수 61.17도 가장 높았다.

절제 실험은 두 구성 요소의 역할과 비용을 분리한다. InShot 공통 비교에서 Joint Latent를 넣은 Full은 Existing-ID를 70.56에서 72.17로 올리고 신규/기존 중복을 16.67/24.13에서 14.41/23.26으로 낮췄지만, New-ID는 63.10에서 51.31로 떨어졌다. Cache Restoration은 Existing-ID를 69.36에서 72.17로 올리고 중복을 20.49/29.17에서 14.41/23.26으로 낮췄으며 New-ID 하락은 52.94에서 51.31로 상대적으로 작았다. 다단계 비교에서는 Cache Restoration이 Existing-ID를 46.44에서 58.60으로 올렸지만 그 부분집합에서 New-ID는 더 낮고 신규 중복은 더 높았다. 저자들은 장면 보존이 신규 참조 유사도 비용을 동반할 수 있다고 정리한다.

실무에서는 사용자가 생성 중간에 참조 이미지를 넣는 인터랙티브 영상 제품에서, 이미 방출한 프레임을 되돌리지 않고 캐시를 일시적으로만 오염시키는 설계 패턴으로 참고할 만하다. 다만 저자들이 밝힌 전제와 한계가 분명하다. 결과는 단일 시드 경향이고 인간 검증이나 통계적 유의성 검정이 아니다. ID와 Count는 자동 검출에 의존해 피사체 누락이나 범주 혼동에 영향을 받고, 벤치마크는 엄밀한 상호작용 분류나 독립적인 held-out 테스트셋이 아니라 curated task resource다. 오프라인 방법은 미래 참조를 미리 받는 다른 정보 설정이고, 해상도와 프레임률이 달라 속도 비교도 아니다. 복원 후에도 정체성 드리프트나 중복 생성 가능성이 남고, 대상 박스가 최종 위치를 보장하지 않으며, 사각형 잠재 마스크라 참조 배경이 배치 영역에 들어갈 수 있다.