Sony разработала новый стандарт этичного искусственного интеллекта
Sony AI выпустила набор данных, который проверяет честность и предвзятость моделей искусственного интеллекта. Он называется Fair Human-Centric Image Benchmark (FHIBE, произносится как «Фиби»). Компания описывает его как «первый общедоступный, разнообразный по всему миру набор данных об изображениях человека, основанный на согласии, для оценки предвзятости в широком спектре задач компьютерного зрения». Другими словами, он проверяет, насколько справедливо современные модели искусственного интеллекта относятся к людям. Спойлер: Sony не удалось найти ни одного набора данных от какой-либо компании, который полностью соответствовал бы ее критериям.
Sony утверждает, что FHIBE может решить проблемы этики и предвзятости в индустрии искусственного интеллекта. Набор данных включает изображения почти 2000 добровольцев из более чем 80 стран. Все их изображения были опубликованы с согласия, чего нельзя сказать о распространенной практике сбора больших объемов веб—данных. Участники FHIBE могут удалить свои снимки в любое время. К их фотографиям прилагаются примечания с указанием демографических и физических характеристик, факторов окружающей среды и даже настроек камеры. Этот инструмент «подтвердил ранее задокументированные ошибки» в современных моделях искусственного интеллекта. Но Sony утверждает, что FHIBE также может предоставить подробную диагностику факторов, которые привели к этим ошибкам. Один из примеров: некоторые модели показали меньшую точность при определении людей, использующих местоимения «она», а FHIBE выделила большую вариативность причесок как фактор, который ранее упускался из виду. FHIBE также установила, что современные модели искусственного интеллекта укрепляют стереотипы, когда им задают нейтральные вопросы о роде занятий испытуемого. Протестированные модели были особенно ориентированы «на конкретные группы местоимений и предков», описывая испытуемых как секс-работников, наркоторговцев или воров. А когда моделям задавали вопрос о том, какие преступления совершил тот или иной человек, они иногда демонстрировали «токсическую реакцию в большей степени у лиц африканского или азиатского происхождения, у тех, у кого кожа темнее, и у тех, кто идентифицирует себя как «он». »Sony AI утверждает, что FHIBE доказывает, что этичный, разнообразный и справедливый сбор данных возможен. В настоящее время инструмент доступен для широкой публики и со временем будет обновляться. Статья с изложением результатов исследования была опубликована в Nature в среду.
Первоначально эта статья появилась на Engadget по адресу https://www. engadget. com/ai/sony-has-a-new-benchmark-for-ethical-ai-160045574. html?src=rss
Другие статьи: