 |
 |
 |
 |
 |
 |
 |
 |
NVIDIA выпускает новые модели искусственного интеллекта и инструменты для разработчиков для развития экосистемы автономных транспортных средств
Системы автономного управления транспортными средствами (AV) эволюционируют от множества различных моделей к единой сквозной архитектуре, которая выполняет действия по управлению автомобилем непосредственно на основе данных датчиков. Этот переход к использованию более крупных моделей резко повышает спрос на высококачественные, физически обоснованные сенсорные данные для обучения, тестирования и валидации.Чтобы ускорить разработку AV-архитектур следующего поколения, NVIDIA выпустила NVIDIA Cosmos Predict-2 — новую модель world foundation с улучшенными возможностями прогнозирования будущего состояния мира для генерации высококачественных синтетических данных, а также новые инструменты для разработчиков.
Cosmos Predict-2 является частью платформы NVIDIA Cosmos, которая предоставляет разработчикам технологии для решения самых сложных задач при комплексной разработке AV-приложений. Лидеры отрасли, такие как Oxa, Plus и Uber, используют модели Cosmos для быстрого масштабирования генерации синтетических данных для разработки AV-приложений.
Cosmos Predict-2 ускоряет AV-обучение
Основываясь на Cosmos Predict—1, который был разработан для прогнозирования и генерации будущих состояний мира с использованием текстовых, графических и видео—подсказок, Cosmos Predict-2 лучше понимает контекст из текстовых и визуальных данных, что приводит к меньшему количеству галлюцинаций и более насыщенным деталям в создаваемых видеороликах.
Cosmos Predict-2 улучшает соответствие текста и придает знаку «стоп» на перекрестке более понятный смысл.
Используя новейшие методы оптимизации, Cosmos Predict-2 значительно ускоряет генерацию синтетических данных в системах NVIDIA GB200 NVL72 и NVIDIA DGX Cloud.
Посттренинговый Cosmos открывает новые источники обучающих данных
С помощью посттренинговых моделей Cosmos на основе AV-данных разработчики могут создавать видеоролики, которые точно соответствуют существующим физическим условиям и траекториям движения транспортных средств, а также создавать мультитренинговыепросматривайте видео с помощью видеозаписи с одним просмотром, например видеозаписи с видеорегистратора. Возможность преобразовывать общедоступные данные с видеорегистраторов в данные с нескольких камер дает разработчикам доступ к новым источникам данных для обучения видеосвязи. Эти видеозаписи с несколькими видами могут также использоваться для замены реальных данных с камер, полученных с неисправных или закрытых датчиков.
https://blogs.nvidia.com/wp-content/uploads/2025/06/sakura-2.mp4
Модели Cosmos, прошедшие последующее обучение, генерируют видео для нескольких просмотров, что значительно расширяет наборы данных для обучения AV.Исследовательская группа NVIDIA провела последипломное обучение моделей Cosmos на основе 20 000 часов реальных данных о вождении. Используя специальные модели AV для создания видеоданных с несколькими режимами просмотра, команда улучшила производительность моделей в сложных условиях, таких как туман и дождь.
AV-экосистема продвигается вперед с помощью Cosmos Predict
AV-компании уже интегрировали Cosmos Predict для масштабирования и ускорения разработки транспортных средств.
Компания Autonomous trucking leader Plus, которая разрабатывает свое решение на платформе NVIDIA DRIVE AGX, использует данные Cosmos Predict на основе данных о грузоперевозках для создания высокореалистичных синтетических сценариев вождения для ускорения масштабной коммерциализации своих автономных решений. Компания Oxa, производящая программное обеспечение для видеоиндустрии, также использует Cosmos Predict для поддержки создания видео с несколькими камерами с высокой точностью воспроизведения и временной согласованностью.
Новые модели NVIDIA и микросервисы NIM расширяют возможности AV-разработчиков
В дополнение к Cosmos Predict-2 компания NVIDIA сегодня также анонсировала Cosmos Transfer в качестве предварительного просмотра микросервиса NVIDIA NIM для упрощения развертывания на графических процессорах центров обработки данных. https://blogs.nvidia.com/wp-content/uploads/2025/06/FixerVideo_CVPRBlog.mp4
NuRec Fixer заполняет пробелы в данных о движениях для улучшения нейронных реконструкций.
CARLA, ведущий в мире AV-симулятор с открытым исходным кодом, интегрирует Cosmos Transfer и NVIDIA NuRec — набор интерфейсов прикладного программирования и инструментов для нейронной реконструкции и рендеринга — в свою последнюю версию. Это позволит базе пользователей CARLA, насчитывающей более 150 000 AV-разработчиков, создавать сцены искусственного моделирования и точки обзора с высокой точностью и создавать бесконечные вариации освещения, погоды и рельефа местности, используя простые подсказки.Разработчики могут опробовать этот конвейер, используя данные с открытым исходным кодом, доступные в наборе данных NVIDIA Physical AI. Последний выпуск набора данных включает 40 000 клипов, сгенерированных с помощью Cosmos, а также образцы реконструированных сцен для нейронного рендеринга. С помощью этой последней версии CARLA разработчики могут создавать новые траектории, изменять положение датчиков и моделировать приводы.
Такие масштабируемые конвейеры генерации данных открывают возможности для разработки комплексных архитектур AV-моделей, что недавно продемонстрировала вторая подряд победа NVIDIA Research в конкурсе End-to-End Autonomous Grand Challenge на CVPR.
Этот конкурс предоставил исследователям возможность возможность изучить новые способы реагирования на непредвиденные ситуации — помимо использования только реальных данных о вождении автомобиля человеком — для ускорения разработки более интеллектуальных AV—систем.
NVIDIA Halos обеспечивает комплексную безопасность AV-систем.
Для в целях повышения эксплуатационной безопасности AV—систем компания NVIDIA ранее в этом году представила NVIDIA Halos — комплексную платформу безопасности, которая объединяет весь арсенал автомобильного оборудования и программного обеспечения компании с новейшими разработками в области искусственного интеллекта, направленными на обеспечение безопасности AV.
Bosch, Easyrain и Nuro являются последние лидеры автомобильной отрасли присоединятся к инспекционной лаборатории NVIDIA Halos AI Systems, чтобы убедиться в надежной интеграции своих продуктов с технологиями NVIDIA и повысить безопасность аудиовизуальных систем. В число участников лаборатории, объявленных ранее в этом году, входят Continental, Ficosa, OMNIVISION, onsemi и Sony Semiconductor Solutions.
Смотрите основной доклад основателя и генерального директора NVIDIA Дженсена Хуанга на конференции VivaTech в Париже и ознакомьтесь с сессиями GTC Paris.
Другие новости: