구글이 만든 영상 AI StreamVibe, 말할 타이밍을 스스로 판단한다

the-decoder2026-11-01

구글을 중심으로 스탠퍼드·옥스퍼드 및 미국 여러 대학 연구진이 참여한 공동 연구팀이 영상 에이전트 StreamVibe를 공개했다. 요리나 가구 조립처럼 손으로 무언가를 하는 사용자를 지켜보면서, 도움이 실제로 필요한 순간에만 먼저 말을 거는 것을 목표로 한다. "어려움에 부딪히면 도와줘"처럼 구체적인 조건 없이 던진 요청도 처리 대상에 포함된다.

기존 영상 비서의 전제는 명확한 지시문이다. "물이 끓기 시작하면 알려줘" 같은 조건부 명령에는 반응하지만, 말로 꺼내지 않은 의도는 거의 포착하지 못한다. 이미 끝난 단계를 놓쳐 같은 조언을 반복하거나 타이밍을 놓치는 일도 잦고, 작업 도중 사용자가 요구를 바꿔도 처음 받은 지시에 머무는 경향이 있었다.

연구팀은 이 문제를 정량화하기 위해 일상생활과 소프트웨어 사용 장면을 담은 183시간 이상의 영상에서 약 4,100개 사례를 뽑아 벤치마크를 만들었다. 언제 개입할지와 무슨 말을 할지는 Gemini 2.5 Flash가 초안을 제시하고, 네 명의 사람 평가자가 전원 동의해야 사례로 인정되는 방식이다. 테스트는 명확한 지시, 모호한 목표, 시간에 따라 바뀌는 요청이라는 세 단계로 구성된다. 장난감 굴착기를 분해하던 사용자가 진행 상황을 물어보다가 3분 뒤 품질 점검으로 요구를 바꾸는 사례가 그중 하나다.

모델은 알리바바의 Qwen3.5-9B를 기반으로 한 것으로 보이는 StreamVibe-VL로, 매초 침묵할지 발언할지를 판단한다. 2단계 학습에서는 강화학습을 적용해 지나치게 자주 끼어들지 않도록 억제했다. 이와 별도로 어떤 요청이 대기 중이고 어떤 단계가 끝났는지를 추적하는 메모리 시스템이 붙지만, 발언 여부와 내용을 정하는 주체는 모델 자신이다.

보고된 개선폭은 응답 시점과 품질에서 다른 모델 대비 10.7%다. 메모리 시스템은 능동적 상호작용을 12.3% 끌어올리고 불필요한 개입을 줄이는 역할을 맡는다. StreamVibe-VL은 베이스 모델과 다른 오픈소스 모델들을 대체로 큰 차이로 앞섰고, 구글의 독점 모델인 Gemini 3.8 Flash가 여러 테스트에서 더 높은 점수를 냈다. 특화 학습이 일반 영상 이해 능력을 떨어뜨리지는 않았다는 것이 연구진의 설명이다.

사례 비교는 차이가 어디서 갈리는지 보여준다. 흑백 사진으로 바꾸는 GIMP 튜토리얼에서 비교 모델 JoyAI는 사용자가 결과물을 열지도 않았는데 이미 저장됐다고 말해버린 반면, StreamVibe-VL은 "Colors" 다음 "Desaturate"처럼 정확한 시점에 다음 단계를 짚었다. 잼을 바른 롤 토스트 안내에서도 다른 모델들은 빵이 눌리는 등 화면에서 벌어지는 일을 묘사하는 데 그쳤지만, 이 모델은 가장자리를 먼저 잘라내라고 조언했다.

한계도 분명하다. 영상이 길어질수록 적절한 응답 시점을 맞히는 비율은 눈에 띄게 떨어진다. 특정 순간에만 프롬프트 적합성을 판단할 때는 모델들이 대체로 옳은 선택을 하지만, 영상 전체를 처리하면서 자신의 앞선 응답 위에 판단을 쌓아야 하는 상황에서는 오류가 누적되며 성능이 무너진다. 시스템 자체 이력에 기반한 응답의 핵심 내용 지표는 최대 61.5%까지 하락했고, 5분을 넘는 영상에서는 중간에 바뀐 지시를 오래 추적하는 것 자체가 특히 어려웠다.

이 연구는 구글이 이어온 영상 이해 흐름의 연장선에 있다. 앞서 Gemini에는 모델이 직접 어느 장면을 더 자세히 볼지 정하는 에이전트 기반 영상 분석이 들어갔고, Gemini 4 Argon을 통해서는 로봇 영상에서 긴 동작 시퀀스를 추적하고 오류를 찾아내는 능력도 시연됐다. StreamVibe는 그 위에 "지금 도움이 필요한가"라는 판단을 얹으려는 시도다.

개발자 입장에서 실무적인 시사점은 개입 시점 판단을 하나의 독립 문제로 다뤄야 한다는 점이다. 발화 여부를 결정하는 정책과 요청·진행 상태를 관리하는 메모리를 분리하고, 강화학습으로 과잉 개입을 억제하는 구조는 스트리밍 입력을 쓰는 에이전트 설계에 참고할 만하다. 동시에 세션 길이가 길어질수록 자기 이력이 오히려 독이 된다는 결과는, 긴 세션에서 컨텍스트를 어떻게 요약하고 폐기할지가 별도의 설계 과제임을 보여준다. 연구진은 실제 환경이 실험 설정보다 복잡할 가능성을 인정하며, 사용자 선호와 주변 환경이 시간에 따라 서로 영향을 주는 문제를 후속 연구로 남겨뒀다.