Into the Omniverse: Модели World Foundation улучшают моделирование автономных транспортных средств и повышают безопасность
Примечание редактора: Этот блог является частью серии статей Into the Omniverse, посвященной тому, как разработчики, 3D-практики и предприятия могут трансформировать свои рабочие процессы, используя последние достижения в области 3D-моделирования.>OpenUSD и NVIDIA Omniverse.
Имитация условий вождения позволяет инженерам безопасно и эффективно обучать, тестировать и валидировать автономные транспортные средства (AVS) в бесчисленных реальных условиях.-мировые и нестандартные сценарии без рисков и затрат на физическое тестирование.Эти имитируемые среды могут быть созданы путем нейронной реконструкции реальных данных из автопарков или сгенерированы с помощью моделей world foundation models (WFMS) — нейронных сетей, которые понимают физику и свойства реального мира. WFMS можно использовать для создания синтетических наборов данных для расширенного моделирования AV.
Чтобы помочь разработчикам физического ИИ создавать такие среды моделирования, NVIDIA представила основные достижения в области WFMS на конференциях GTC Paris и CVPR ранее в этом месяце. Эти новые возможности расширяют возможности NVIDIA Cosmos — платформы, состоящей из генерирующих WFM-файлов, продвинутых токенизаторов, ограждений и инструментов ускоренной обработки данных.
Ключевые инновации, такие как Cosmos Predict-2, микросервис NVIDIA preview NIM Cosmos Transfer-1 и Cosmos Reason, улучшают методы разработки AV-приложений для создания синтетических данных, создания реалистичных имитируемых сред и проверки систем безопасности в беспрецедентных масштабах.
Универсальное описание сцен (OpenUSD), единая платформа обработки данных и стандарт для физических приложений искусственного интеллекта, обеспечивает плавную интеграцию и совместимость средств моделирования на всех этапах разработки. Стандартизация OpenUSD играет решающую роль в обеспечении масштабируемости 3D-конвейеров.
NVIDIA Omniverse, платформа интерфейсов прикладного программирования, комплектов для разработки программного обеспечения и сервисов для создания физических приложений искусственного интеллекта на основе OpenUSD, позволяет проводить моделирование с помощью WFMS и нейронную реконструкцию в мировом масштабе.Ведущие AV—организации, включая Foretellix, Mcity, Oxa, Parallel Domain, Plus AI и Uber, одними из первых внедрили модели Cosmos.
Основы масштабируемого реалистичного моделирования
Cosmos Predict-2, новейшая WFM от NVIDIA, генерирует высококачественные синтетические данные, предсказывая будущие состояния мира на основе мультимодальных входных данных, таких как текст, изображения и видео. Эта возможность имеет решающее значение для создания согласованных во времени реалистичных сценариев, которые ускоряют обучение и валидацию АВС и роботов.
Кроме того, Cosmos Transfer, модель управления, которая добавляет вариации погоды, освещения и рельефа местности в существующие сценарии, скоро будет доступна 150 000 разработчикам CARLA, ведущего AV-симулятора с открытым исходным кодом. Это значительно расширяет доступ широкого сообщества AV-разработчиков к передовым инструментам моделирования на базе искусственного интеллекта.
Разработчики могут начать интегрировать синтетические данные в свои собственные конвейеры, используя NVIDIA Physical AI Dataset. Последняя версия включает 40 000 видеороликов, созданных с использованием Cosmos.
Основываясь на этих принципах, Omniverse Blueprint для AV-моделирования предоставляет стандартизированный рабочий процесс, управляемый API, для создания цифровых двойников, воспроизведения реальных сенсорных данных и генерации новых достоверных данных для тестирования в замкнутом цикле.
В blueprint используются функции наложения слоев и компоновки дуг OpenUSD, которые позволяют разработчикам работать асинхронно и изменять сцены без разрушения. Это помогает создавать модульные, многократно используемые варианты сценариев для эффективной генерации различных погодных условий, схем движения и дополнительных сценариев.
Определяя будущее AV—безопасности
Для повышения эксплуатационной безопасности AV-систем компания NVIDIA ранее в этом году представила NVIDIA Halos — комплексную платформу безопасности, которая объединяет весь автомобильный аппаратный и программный стек компании с Исследования в области искусственного интеллекта были сосредоточены на безопасности AV.
Новые модели Cosmos — Cosmos Predict- 2, Cosmos Transfer- 1 NIM и Cosmos Reason — обеспечивают дальнейшее повышение безопасности платформы Halos, позволяя разработчикам создавать разнообразные, управляемые и реалистичные сценарии для обучения и проверки AV-систем.Эти модели, обученные на основе массивных мультимодальных наборов данных, включая данные о вождении, расширяют возможности моделирования, обеспечивая надежный охват сценариев, включая редкие и критически важные для безопасности события, и в то же время поддерживают настройку после обучения для специализированных задач AV.
На CVPR компания NVIDIA была признана победителем конкурса Autonomous Grand Challenge, что подчеркнуло ее лидерство в развитии сквозных AV-процессов. В этой задаче использовались надежные метаданные и функциональная совместимость OpenUSD для моделирования входных сигналов датчиков и траекторий движения транспортных средств в условиях низкой реактивности, что позволило достичь самых современных результатов в области безопасности и соответствия требованиям.
Узнайте больше о том, как разработчики используют такие инструменты, как CARLA, Cosmos и Omniverse, для улучшения AV-моделирования в этой прямой трансляции:
Послушайте, как директор NVIDIA по исследованиям автономных транспортных средств Марко Павоне рассказывает о подкасте NVIDIA AI. как цифровые двойники и высокоточное моделирование улучшают тестирование транспортных средств, ускоряют разработку и снижают риски в реальных условиях.
Подключитесь к миру OpenUSD
Узнайте больше о том, что ждет AV-симуляцию в будущем с помощью Откройте USD, посмотрев повтор выступления основателя и генерального директора NVIDIA Дженсена Хуанга на GTC Paris.
Ищете новые возможности узнать больше об OpenUSD в режиме реального времени? Не пропустите занятия и лабораторные работы, которые пройдут на выставке SIGGRAPH 2025 с 10 по 14 августа.
Узнайте, почему разработчики и специалисты по 3D-технологиям используют OpenUSD, и узнайте, как оптимизировать рабочие процессы в 3D с помощью самостоятельной учебной программы “Изучай OpenUSD” для 3D-разработчиков и специалистов-практиков, которая доступна бесплатно через NVIDIA Deep Учебный институт.
Ознакомьтесь с форумом Alliance for OpenUSD и веб-сайтом AOUSD.
Будьте в курсе событий, подписавшись на новости NVIDIA Omniverse, присоединяйтесь к сообществу и следите за новостями NVIDIA Omniverse на >Instagram, LinkedIn, Medium и X.
Другие новости: