Waymo представила Waymo World Model — генеративную модель для симуляции дорожных сценариев, построенную на базе Genie 3 от Google DeepMind. Модель генерирует фотореалистичные сцены с данными камер и лидаров одновременно, позволяя тренировать автопилот в ситуациях, которые практически невозможно набрать в реальности. На сегодня робомобили Waymo проехали около 200 млн автономных миль на дорогах, но параллельно проезжают миллиарды миль в виртуальных мирах.
Главное преимущество перед классическими симуляторами — знания Genie 3 о мире, полученные при предобучении на огромном массиве видео. Большинство отраслевых моделей для симуляции обучаются с нуля только на данных собственного автопарка. Waymo World Model, напротив, может генерировать сценарии, которых автомобили компании никогда не встречали: торнадо, наводнение, заснеженные тропические улицы, слон на дороге или пешеход в костюме тираннозавра.
Модель управляется тремя способами. Первый — действиями оператора: можно проиграть альтернативный сценарий и проверить, что было бы, если бы робомобиль не уступил, а проехал. Второй — компоновкой сцены: расстановка других машин, изменение разметки, состояния светофоров. Третий — текстовыми промптами: смена времени суток, погоды или генерация полностью синтетической сцены. При этом, в отличие от реконструктивных методов вроде 3D Gaussian Splatting, модель сохраняет реалистичность даже при сильном отклонении от оригинального маршрута.
Модель также умеет превращать обычное видео с видеорегистратора или смартфона в полноценную симуляцию с камерами со всех ракурсов и лидарным облаком точек — как если бы по той же дороге проехал робомобиль Waymo со всеми датчиками. Это позволяет тренировать автопилот на дорогах, где Waymo никогда не ездила, без необходимости отправлять туда машину. Для длинных сценариев компания разработала облегченную версию модели, которая значительно снижает вычислительные затраты при сохранении качества.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.