Исследовательская команда под руководством Google представила StreamVibe — видеопомощника, который должен сам понимать, когда человеку нужна помощь. Он рассчитан на ситуации вроде готовки или сборки мебели, когда просьба звучит не как точная команда, а как «подскажи, если возникнут трудности». Однако испытания показали: вовремя вмешаться и не потерять нить происходящего для ИИ пока сложно.
Не просто увидеть действие, а понять просьбу
В проекте участвуют исследователи Google, Стэнфорда, Оксфорда и нескольких американских университетов. Они изучают три случая: человек даёт чёткую инструкцию, обозначает расплывчатую цель или меняет запрос уже по ходу дела. В последнем случае помощнику недостаточно помнить начало разговора — нужно учитывать новую задачу.
Например, в одном из тестов пользователь разбирает игрушечный экскаватор. Сначала он просит сообщать о ходе работы, а через три минуты переключается на проверку качества. Ассистент должен перестроиться, а не продолжать прежние комментарии.
Как помощника учат не перебивать
Команда собрала около 4100 тестовых примеров из более чем 183 часов записей повседневных занятий и работы с программами. Gemini 2.5 Flash предлагала момент вмешательства и текст подсказки; каждый пример должны были единогласно одобрить четыре человека, проводивших оценку.
Обученная модель StreamVibe-VL каждую секунду решает, промолчать или заговорить. Дополнительный этап обучения поощряет сдержанность, чтобы помощник не перебивал постоянно. Отдельная система памяти следит за незавершёнными просьбами и выполненными шагами, но момент и содержание ответа выбирает сама модель.
В описанном исследователями примере с GIMP модель сравнения JoyAI утверждала, что готовое изображение уже сохранено, хотя пользователь ещё не открыл исходное. StreamVibe-VL вовремя подсказывала следующий шаг: открыть «Цвета», затем выбрать обесцвечивание. Это конкретный пример из исследования, а не гарантия правильной работы в любой программе.
Длинное видео остаётся слабым местом
По результатам команды, StreamVibe-VL в целом опережает базовую модель и другие открытые модели, но Gemini 3.8 Flash получает более высокие оценки в нескольких тестах. Безусловного победителя здесь нет.
Главная трудность проявляется при непрерывном просмотре. Когда система должна учитывать собственные прежние ответы, ошибки накапливаются и результаты ухудшаются у всех проверенных моделей. На видео длиннее пяти минут они редко выбирают правильный момент для ответа; особенно трудно долго отслеживать изменившуюся инструкцию.
Для понимания общего контекста пригодится обзор Google Gemini и работы с разными типами данных. Но StreamVibe — отдельный исследовательский проект, а не объявление новой доступной функции Gemini.
Что это означает для пользователя
Полезность такого помощника определяется не только правильностью отдельного совета. Он должен помнить, что уже сделано, замечать смену просьбы и не отвлекать без необходимости. Испытания StreamVibe показывают, почему удачная короткая демонстрация ещё не доказывает надёжность сопровождения всей задачи.
Авторы признают, что реальные ситуации сложнее их тестовой среды. В дальнейшей работе они намерены изучить, как предпочтения пользователя и окружающая обстановка влияют друг на друга со временем. Пока речь о результатах исследования, а не о подтверждённой готовности заменить человеческое внимание во время работы.
