 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
NVIDIA представила открытый набор данных физического искусственного интеллекта для продвижения робототехники и разработки автономных транспортных средств
Обучение автономных роботов и транспортных средств взаимодействию с физическим миром требует огромного количества высококачественных данных. Чтобы дать исследователям и разработчикам преимущество, NVIDIA выпускает массивный набор данных с открытым исходным кодом для создания физического ИИ следующего поколения.
На глобальной конференции по ИИ NVIDIA GTC, которая проходит на этой неделе в Сан-Хосе, Калифорния, было объявлено об этом коммерческом, предварительно-проверенный набор данных может помочь исследователям и разработчикам запустить физические проекты с использованием искусственного интеллекта, которые может быть чрезвычайно сложно начать с нуля. Разработчики могут либо напрямую использовать набор данных для предварительной подготовки моделей, тестирования и валидации, либо использовать его во время посттренинга для точной настройки моделей world foundation, ускоряя процесс развертывания.Исходный набор данных теперь доступен на Hugging Face, предлагая разработчикам 15 терабайт данных, представляющих более 320 000 траекторий для обучения робототехнике, а также до 1000 ресурсов с универсальным описанием сцен (OpenUSD), включая коллекцию SimReady. В ближайшее время появятся специальные данные для поддержки комплексной разработки автономных транспортных средств (AV), которые будут включать в себя 20-секундные видеоролики с различными сценариями дорожного движения, охватывающие более 1000 городов в США и двух десятках европейских стран.
Набор данных для физического ИИ от NVIDIA включает в себя сотни готовых ресурсов SimReady для разработки сложных сценариев.
Со временем этот набор данных будет расширяться и станет крупнейшим в мире унифицированным и открытым набором данных для разработки физического ИИ. Это может быть использовано для разработки моделей искусственного интеллекта для управления роботами, которые безопасно маневрируют на складах, человекоподобных роботов, которые поддерживают хирургов во время процедур, и беспилотных летательных аппаратов, которые могут перемещаться по сложным дорожным ситуациям, таким как зоны строительства.Предполагается, что набор данных физического ИИ NVIDIA будет содержать подмножество реальных и синтетических данных, которые NVIDIA использует для обучения, тестирования и валидации физического ИИ для платформы разработки моделей мира NVIDIA Cosmos, стека программного обеспечения NVIDIA DRIVE AV, платформы разработки роботов NVIDIA Isaac AI и других приложений. платформа приложений NVIDIA Metropolis для умных городов.Среди первых разработчиков — Центр DeepDrive в Беркли при Калифорнийском университете в Беркли, Лаборатория безопасного искусственного интеллекта Карнеги-Меллона и Институт контекстуальной робототехники при Калифорнийском университете в Сан-Диего.“Мы можем многое сделать с этим набором данных, например, обучающие прогностические модели искусственного интеллекта, которые помогают автономным транспортным средствам лучше отслеживать передвижения уязвимых участников дорожного движения, таких как пешеходы, для повышения безопасности”, — сказал Хенрик Кристенсен, директор нескольких лабораторий робототехники и автономных транспортных средств в UCSD. “Набор данных, который предоставляет разнообразный набор сред и более длинные фрагменты, чем существующие ресурсы с открытым исходным кодом, будет чрезвычайно полезен для развития робототехники и AV-исследований”.
Удовлетворяя потребность в физических данных искусственного интеллекта
Набор данных физического ИИ от NVIDIA может помочь разработчикам масштабировать производительность ИИ во время предварительного обучения, когда больше данных помогает построить более надежную модель, и во время посттренинга, когда модель ИИ обучается на дополнительных данных, чтобы улучшить ее производительность в конкретном случае использования.
Сбор, обработка и аннотирование набор данных, который охватывает различные сценарии и точно отражает физику и вариативность реального мира, отнимает много времени, что является узким местом для большинства разработчиков. Для академических исследователей и небольших предприятий управление парком транспортных средств в течение нескольких месяцев для сбора данных для автономного искусственного интеллекта транспортных средств нецелесообразно и затратно, а поскольку большая часть собранных видеоматериалов проходит без происшествий, обычно для обучения используется всего 10% данных.Но такой масштаб сбора данных необходим для создания безопасных, точных моделей коммерческого уровня. Робототехнические модели NVIDIA Isaac GR00T снимают тысячи часов видеороликов для последующего обучения — например, модель GR00T N1 была обучена на обширном наборе данных о гуманоидах, состоящем из реальных и синтетических данных. Для разработки комплексной модели искусственного интеллекта NVIDIA DRIVE AV для автономных транспортных средств требуются десятки тысяч часов данных о вождении.
https://blogs.nvidia.com/wp-content/uploads/2025/03/rgb_5sec-1.mp4
Этот открытый набор данных содержит тысячи часов многокамерной видеосъемки беспрецедентного разнообразия и масштаба. и география — принесут особую пользу исследованиям в области безопасности, поскольку позволят провести новую работу по выявлению отклонений и оценке эффективности обобщения моделей. Эти усилия способствуют созданию полноценной системы AV-безопасности NVIDIA Halos.
В дополнение к использованию набора данных физического ИИ NVIDIA для удовлетворения своих потребностей в данных, разработчики могут еще больше ускорить разработку ИИ с помощью таких инструментов, как NVIDIA NeMo Curator, которые эффективно обрабатывают обширные наборы данных для обучения моделей и настройки. Используя NeMo Curator, всего за две недели на графических процессорах NVIDIA Blackwell можно обработать 20 миллионов часов видео, по сравнению с 3,4 годами на неоптимизированных процессорных конвейерах.Разработчики робототехники также могут воспользоваться новой технологией NVIDIA Isaac GR00T blueprint для генерации движений при синтетических манипуляциях — эталонным рабочим процессом, основанным на NVIDIA Omniverse и NVIDIA Cosmos, который использует небольшое количество демонстраций на людях для создания огромного количества синтетических траекторий движения для манипуляций роботом.
Университетские лаборатории планируют внедрить набор данных для разработки искусственного интеллекта
В состав лабораторий робототехники UCSD входят команды, специализирующиеся на медицинских приложениях, гуманоидах и домашних вспомогательных технологиях. Кристенсен ожидает, что робототехнические данные набора данных физического ИИ могут помочь в разработке семантических моделей ИИ, которые будут понимать контекст таких пространств, как дома, гостиничные номера и больницы.“Одна из наших целей — достичь такого уровня понимания, при котором, если бы робота попросили убрать ваши продукты, он бы точно знал, какие продукты следует положить в холодильник, а какие — в кладовую”, — сказал он.В области автономных транспортных средств лаборатория Кристенсена могла бы применить этот набор данных для обучения моделей искусственного интеллекта понимать намерения различных участников дорожного движения и прогнозировать наилучшие действия. Его исследовательские группы могли бы также использовать этот набор данных для разработки цифровых двойников, которые моделируют экстремальные ситуации и сложные погодные условия. Эти модели могут быть использованы для обучения и тестирования моделей автономного вождения в ситуациях, которые редко встречаются в реальных условиях.В Berkeley DeepDrive, ведущем исследовательском центре по искусственному интеллекту для автономных систем, набор данных может помочь в разработке моделей политики и мировых базовых моделей для автономных транспортных средств.“Разнообразие данных невероятно важно для обучения базовых моделей”, — сказал Вэй Чжань, содиректор Berkeley DeepDrive. “Этот набор данных может помочь в проведении самых современных исследований для команд государственного и частного секторов, разрабатывающих модели искусственного интеллекта для автономных транспортных средств и робототехники”.
Исследователи из Лаборатории безопасного искусственного интеллекта Университета Карнеги-Меллона планируют использовать этот набор данных для продвижения своей работы по оценке и сертификации безопасности самоуправляемые автомобили. Команда планирует протестировать, как базовая модель физического ИИ, обученная на этом наборе данных, работает в среде моделирования с редкими условиями, и сравнить ее производительность с моделью AV, обученной на существующих наборах данных.“Этот набор данных охватывает различные типы дорог и географические регионы, различную инфраструктуру, различные погодные условия”, — сказал Дин Чжао, доцент CMU и руководитель лаборатории безопасного искусственного интеллекта. “Их разнообразие может оказаться весьма ценным для того, чтобы помочь нам разработать модель с возможностями причинно-следственного анализа в физическом мире, которая понимает крайние случаи и проблемы с ”длинным хвостом»».
Получите доступ к набору данных физического искусственного интеллекта NVIDIA на Hugging Face. Получите базовые знания на таких курсах, как Learn OpenUSD learning path и Robotics Fundamentals learning path. А чтобы узнать больше о последних достижениях в области физического искусственного интеллекта, ознакомьтесь с основным докладом основателя и генерального директора NVIDIA Дженсена Хуанга.
Смотрите уведомление, касающееся информации о программном продукте.
Другие новости: