Google DeepMind представила новую ИИ-модель Genie 4, способную в реальном времени создавать интерактивные виртуальные миры со звуком. Разработчики заявили о более реалистичной картинке, улучшенном моделировании физики и поведении персонажей.
Genie 4 относится к классу моделей мира (world models). В отличие от обычных генераторов видео, такие системы не просто создают последовательность кадров, а моделируют изменения окружающей среды в ответ на действия пользователя.
Например, человек может перемещаться по виртуальному пространству с помощью клавиатуры и управлять камерой. Текстовыми командами можно менять сцену: добавить объект или персонажа, сменить погоду. Gemini подстраивает такие запросы под происходящее, а между командами следит, чтобы мир развивался последовательно.
По данным TechCrunch , Genie 4 удерживает согласованную сцену до двух минут — вдвое дольше предшественника.
Одним из главных изменений стала встроенная генерация звука. Genie 4 создает окружающие шумы, музыку и речь одновременно с изображением.
Персонажи ведут диалоги, реагируют на действия пользователя и события в мире и меняют реплики по ходу сцены.
Разработчики также заявили об улучшении моделирования аэродинамики, столкновений и других физических взаимодействий. Самым заметным шагом вперед в Google назвали симуляцию людей: персонажи естественнее двигаются и реагируют на окружение, а их действиями можно управлять в реальном времени.
В демонстрационных роликах компания показала полет на воздушном шаре над Антарктидой и сельскую японскую станцию 1980-х годов. Среди примеров также гонки на драконах и мир из витражного стекла.
Genie 4 опирается на модели семейства Gemini. Gemini Omni отвечает за реалистичный внешний вид и поведение объектов, а другие модели Gemini помогают сохранять связность симуляции.
Для сложных многоэтапных событий Google задействует Gemini 3.8 Flash в роли управляющего агента. Модель наблюдает за сценой, разбивает задачу на шаги, анализирует новые кадры и проверяет выполнение каждого этапа. Если мир меняется или вмешивается пользователь, агент корректирует план.
Google также экспериментирует со связкой Genie 4 и Gemini 4 Argon в рамках исследований Gemini Robotics. В одном из примеров Argon разбил задачу на шаги, а Genie 4 в реальном времени смоделировал, как человекоподобный робот Apollo от Apptronik играет в шашки.
По замыслу исследователей, подобные среды помогут обучать роботов и ИИ-агентов и проверять их поведение в симуляции до переноса в реальный мир.
Применение и ограничения
Genie 4 уже тестируют специалисты из киноиндустрии, журналистики, образования, геймдева и инженерии, заявили разраьботчики. Они используют модель для предварительной визуализации фильмов, создания игровых прототипов, образовательных и исторических сценариев, а также для генерации ситуаций для симуляций.
По словам инженера DeepMind Диего Риваса, возможность менять происходящее в реальном времени особенно полезна на ранних этапах творческой работы — при поиске идей и раскадровке.
При этом Genie 4 остается ранней экспериментальной моделью. Команда Google признала, что со временем детали и объекты могут менять вид или положение. Особенно это заметно в длинных сессиях, после нескольких сложных правок или при перемещении по сцене.
Над сложными физическими взаимодействиями, достоверностью звука, читаемостью текста и пространственной точностью еще работают. Количественных метрик качества компания в анонсе не привела.
Для маркировки ИИ-контента все видео и аудио, созданные Genie 4, будут содержать цифровые водяные знаки SynthID.
Пока Genie 4 доступна ограниченной группе тестировщиков в формате исследовательского превью. Затем модель получат подписчики Google AI Ultra в Project Genie и партнеры программы раннего доступа Gemini API и Google AI Studio.
По данным TechCrunch, это произойдет в ближайшие недели. Для Project Genie открыт лист ожидания. Стоимость использования API пока не раскрыта.
Напомним, в сентябре AMD договорилась о покупке World Labs за $8,2 млрд. Лаборатория Фэй-Фэй Ли разрабатывает модели пространственного интеллекта, которые создают и симулируют интерактивные 3D-среды.
Подписывайтесь на ForkLog в социальных сетях
