Противникам, использующим Искусственный интеллект, требуется защита, управляемая искусственным интеллектом
МНЕНИЕ — Использование искусственного интеллекта противниками стало предметом многочисленных спекуляций. Никто не сомневается, что преступники и государственные деятели будут злоупотреблять этой технологией, но бывает трудно отделить шумиху от реальности. Используя нашу уникальную видимость, Google Threat Intelligence Group (GTIG) смогла отслеживать использование искусственного интеллекта участниками угроз, но темпы изменений затрудняют даже прогнозирование ближайшего будущего. Однако сейчас мы наблюдаем признаки новых изменений в использовании противниками и намеки на то, что может произойти в ближайшем будущем. Но самое главное, что у защитного ИИ есть возможности, которые помогут нам справиться с этими будущими угрозами.
Эволюция на данный момент
В течение последних восьми лет GTIG наблюдала, как активность с использованием искусственного интеллекта превратилась из нового трюка для вечеринки в основной инструмент в арсенале участников угроз. В первые дни мы обнаружили, что злоумышленники используют зарождающуюся технологию для расширения своих возможностей в области социальной инженерии и проведения информационных кампаний. Злоумышленники быстро злоупотребили возможностью создавать поддельные текстовые, аудио- и видеоматериалы. Например, некоторые злоумышленники используют изображения несуществующих людей GAN для создания поддельных личностей в Интернете в целях социальной инженерии или информационных кампаний (это исключает использование реальных фотографий в этих операциях, которые часто могут быть сорваны при проверке фотографии). Плохая подделка Владимира Зеленского была создана в попытке убедить украинцев, что он капитулировал в первые часы полномасштабного российского вторжения в 2022 году. Кроме того, сообщается, что в государственной и преступной деятельности использовались глубокие подделки. Исследуя использование Gemini злоумышленниками, мы получили дополнительную информацию о том, как используется искусственный интеллект. Мы наблюдали, как злоумышленники использовали Gemini для решения различных задач, таких как проведение исследований и написание кода. Иранские злоумышленники использовали его для обработки сообщений об ошибках и создания кода на python для очистки веб-сайтов. Они также использовали его для исследования уязвимостей, а также для изучения военных и правительственных организаций, на которые они нацелены. Северокорейские актеры также пытались использовать Gemini для помощи в написании сценариев, разработке полезной нагрузки и обходе средств защиты. Кроме того, ИТ-работники КНДР используют искусственный интеллект для создания резюме и создания поддельных удостоверений личности.
Одним из наиболее интересных способов использования Gemini злоумышленниками является обеспечение более глубокого доступа во время вторжений. В этих случаях участники кибершпионажа China-nexus, похоже, достигают определенного этапа вторжения, когда им требуется техническая консультация о том, как наилучшим образом выполнить следующий шаг. С этой целью они обратились за советом по таким проблемам, как запись паролей в VMware vCenter или подписание подключаемого модуля для Microsoft Outlook и его бесшумное развертывание со своей позиции в сети.
Однако Gemini не является идеальным инструментом для злоумышленников, поскольку ограждения существуют для предотвращения злоупотреблений ими, что сводит на нет многие варианты их использования. К сожалению, криминальный рынок теперь предлагает свои собственные модели и связанные с ними инструменты, которые не ограничены рамками и специально созданы для вредоносной деятельности. В настоящее время существует несколько готовых инструментов, которые помогают в таких задачах, как разработка вредоносных программ, фишинг и использование уязвимостей. Общей темой этих инструментов является возможность стимулировать усилия менее технически подготовленных участников. Хотя некоторые из этих вариантов использования ИИ являются новыми (например, глубокие подделки), большинство из них ранее были доступны другими способами или могли быть получены при наличии достаточных ресурсов. Можно было редактировать фотографии, переводить электронные письма, связанные с социальной инженерией, и обучать навыкам по старинке. До недавнего времени мы не видели многих вариантов использования, которые могли бы изменить правила игры.
Хотя ранее мы уже видели несколько экспериментальных образцов, вредоносные программы с поддержкой искусственного интеллекта только начали внедряться злоумышленниками, и есть некоторые свидетельства того, что это может быть полезным средством избежать обнаружения. Тем не менее, есть основания для оптимизма в отношении перспектив использования искусственного интеллекта для предотвращения такого рода действий. В августе этого года вредоносное ПО, использующее LLM, было использовано в Украине российским агентом по кибершпионажу APT28. Он обратился к LLM с открытым исходным кодом через API, чтобы создавать команды на лету и избегать статического обнаружения. Недавно мы видели вариацию на эту тему от другого участника в рамках инцидентов в цепочке поставок NPM. Эта вредоносная программа использовала интерфейсы командной строки LLM на компьютере жертвы, чтобы оставаться незамеченной. В последнем случае ни один из поставщиков средств безопасности не отметил вредоносное ПО в VirusTotal как вредоносное, но, что интересно, оно было помечено как “серьезная угроза безопасности” с помощью функции VirusTotal Code Insight, которая сама по себе является возможностью LLM. По мере того, как вредоносные программы, улучшенные с помощью ИИ, становятся все более распространенными, мы будем лучше понимать, что нужно для их предотвращения и насколько ИИ может быть полезен для борьбы с ними.
Краткое описание Cipher привносит контекст экспертного уровня в истории национальной и глобальной безопасности. Никогда еще не было так важно понимать, что происходит в мире. Повысьте свой доступ к эксклюзивному контенту, став подписчиком.
Дополнительные возможности
В дополнение к вредоносному ПО с поддержкой искусственного интеллекта есть два дополнительных варианта использования искусственного интеллекта, которые, как мы ожидаем, в ближайшее время будут использованы злоумышленниками: обнаружение новых уязвимостей и автоматизированная деятельность по вторжению. Несмотря на то, что все еще имеются скудные признаки использования этих возможностей противником, защитники используют и разрабатывают соответствующие возможности, которые доказывают, что они возможны. Кроме того, мы не ожидаем, что использование этих возможностей будет полностью прозрачным. Из-за ограничений противники вряд ли будут использовать общепринятые публичные модели для этих целей, лишая нас возможности наблюдать за их внедрением. Способность искусственного интеллекта обнаруживать ранее неизвестные уязвимости в программном обеспечении в настоящее время хорошо зарекомендовала себя благодаря нескольким защитным мерам, направленным на выявление этих недостатков до появления противников. Собственный Google BigSleep, искусственный интеллект, созданный специально для этой задачи, обнаружил более 20 уязвимостей, которые привели к необходимости упреждающего исправления. В двух случаях Big Sleep использовался совместно с intelligence для выявления уязвимостей нулевого дня, поскольку злоумышленники использовали их для атак. К сожалению, BigSleep и аналогичные усилия являются весомым доказательством возможностей, которыми злоумышленники могут и почти наверняка будут злоупотреблять, чтобы обнаруживайте и используйте уязвимости нулевого дня. Нулевые дни — это благо для тех, кто создает угрозы, которые нацеливаются на исследователей, внедряются в технологические компании и тратят огромные средства на их раскрытие. Государственные структуры, располагающие ресурсами для проведения исследований и разработок в этой области, не упустят очевидную возможность использовать LLMS.
Еще одним перспективным применением agentic AI является автоматизация действий по вторжению. Эта возможность была предсказана вышеупомянутыми операторами кибершпионажа China-nexus, которые обратились за помощью к Gemini во время активных вторжений. Применение технологии agentic в этом случае использования в некоторой степени очевидно: агент, который может автоматически использовать эту помощь для прохождения целевых сетей и достижения целей вторжения без прямого вмешательства оператора. Уже предпринимаются многочисленные усилия по созданию таких возможностей для защиты, и, по крайней мере, одно связанное с этим мероприятие с открытым исходным кодом стало предметом обсуждения в криминальном сообществе. Эти разработки могут радикально изменить задачу, стоящую перед защитниками. Без активного использования ИИ для поиска уязвимостей мы можем ожидать, что масштабы проблемы «нулевого дня» значительно возрастут, поскольку злоумышленники будут использовать технологию для этой цели. Автоматизированные вторжения, вероятно, также повлияют на масштабы деятельности защитников, поскольку люди будут заменены множеством агентов. Эта работа также будет проходить быстрее. Агенты смогут быстрее реагировать на «нулевые дни» или обнаруживать краткосрочные слабые места в обороне. В обоих случаях искусственный интеллект предлагает наиболее понятное решение для защитников. BigSleep и аналогичные решения будут необходимы для того, чтобы выявлять уязвимости быстрее, чем их противники, перехватывая инициативу. В том же духе Google только что опубликовал подробную информацию об агенте CodeMender, который может автоматически устранять уязвимости и повышать безопасность кода. Агентурные решения также могут стать лучшим решением для автоматизированных вторжений: без этой технологии нам будет сложно действовать так же быстро или справляться с потоком атак.
Последствия
Темпы внедрения искусственного интеллекта противниками будут определяться имеющимися в их распоряжении ресурсами и возможности, которые предоставляет технология. Самые искушенные участники не станут медлить с внедрением этих возможностей, но за их деятельностью, как всегда, будет труднее всего наблюдать. Чтобы подготовиться с умом, мы должны предвидеть их активность и начать действовать уже сейчас. Киберзащитникам придется прийти к тому же выводу, к которому они уже пришли в других областях, связанных с конфликтами: решение проблемы нападения с использованием искусственного интеллекта — это защита с использованием искусственного интеллекта.
Кто это читает? Более 500 тысяч самых влиятельных экспертов по национальной безопасности в мире. Нужен полный доступ к тому, что читают эксперты?
Подробнее о взглядах, перспективах и анализе национальной безопасности, подготовленных экспертами, читайте в Сводке Cipher Brief, потому что национальная безопасность — это дело каждого.
Другие новости: