Исследователи из Университета Карнеги-Меллона представляют новую платформу Genesis — систему моделирования с открытым исходным кодом, способную ускорить обучение роботов и нейросетей в виртуальной среде в 430 000 раз по сравнению с реальным миром и предыдущими симуляциями! Всего за один час симуляций роботы могут получить опыт, эквивалентный десяти годам тренировок. Платформа Genesis выполняет физические расчёты до 80 раз быстрее, чем существующие решения, такие как Nvidia Isaac Gym, и позволяет запускать до 100 000 симуляций одновременно.
Система также умеет генерировать «4D-миры» на основе текстовых подсказок, автоматически создавая сложные среды для тестирования роботов и искусственного интеллекта. Платформа Genesis оснащена графическими процессорами, подобными тем, что используются в видеоиграх, что позволяет ей выполнять физические расчёты с высокой скоростью, что особенно важно для обучения нейронных сетей, предназначенных для управления роботами в реальном мире.
Разработчики также представили технологию генерации «4D-динамических миров». Термин «4D» обозначает моделирование трехмерного пространства в динамике, то есть с течением времени. Модели «зрение-язык» (VLM) используются для создания виртуальных сред на основе текстовых описаний, подобно промптам в других ИИ-системах. Для этого применяется API собственной инфраструктуры Genesis. Сгенерированные ИИ-миры обладают реалистичной физикой, движениями камеры и поведением объектов, которые задаются текстовыми командами. Система также генерирует физически корректные видео с трассировкой лучей и данные для обучения роботов.
Традиционное создание симуляторов требует огромных усилий от художников: 3D-модели, текстуры и компоновка сцен. Однако каждый компонент этого процесса можно автоматизировать. Новая технология, основанная на текстовых запросах, позволяет создавать сложные среды для тестирования роботов, вводя команды на естественном языке вместо ручного программирования.
С помощью движка Genesis можно создавать движения персонажей, интерактивные 3D-сцены, анимацию лиц и другие элементы. Это открывает множество возможностей как для разработки художественных ресурсов, так и для создания более реалистичных игр и видеороликов с применением искусственного интеллекта.
В отличие от моделей диффузии, которые работают со статистикой пикселей, Genesis создаёт смоделированный мир, основываясь на реальных данных. Это позволяет создавать более детализированные и точные модели, что, в свою очередь, помогает роботам быстрее осваивать сложные задачи и снижает потребность в дорогостоящих физических испытаниях.
Хотя генеративная система пока не включена в доступный на платформе GitHub код, команда планирует выпустить её в будущем.
