Проблема компрометации системы распознавания изображений путем целенаправленной фальсификации обучающего множества

Работа посвящена проблеме безопасности систем распознавания изображений, основанных на использовании нейронных сетей. Подобные системы применяются в различных областях и крайне важно обеспечить их безопасность от атак, направленных на методы искусственного интеллекта. Рассмотрены сверточная нейронная сеть ResNet18, проверочное множество ImageNet для распознавания объектов на изображении и отнесения его к классу и состязательные атаки, которые направлены на изменение изображения, обрабатываемые данной нейронной сетью. Сверточные нейронные сети детектируют и сегментируют объекты, которые находятся на изображениях. Атака совершалась на этапе детектирования для того, чтобы не распознавалось присутствие объектов на изображении, а также на этапе сегментации, измененное изображение относило распознанный объект к другому классу. Реализована серия экспериментов, которая показала, как состязательная атака изменяет разные изображения. Для этого взяты изображения с животными и на них совершена состязательная атака, анализ результатов позволил определить количество итераций, необходимых для совершения успешной атаки. Также проведено сравнение исходных изображений с их модифицированными в ходе атаки версиями.

1. Мурзина Д.О., Долженкова И.В. Применение систем искусственного интеллекта. Форум молодых ученых. 2017;(12):1313–1316.

2. Аликперова Н.В. Искусственный интеллект в здравоохранении: риски и возможности. Здоровье мегаполиса. 2023;4(3):41–49. https://doi.org/10.47619/2713-2617.zm.2023.v.4i3;41-49.

3. Прокопеня А.С., Азаров И.С. Сверточные нейронные сети для распознавания изображений. BIG DATA and Advanced Analytics. 2020;(6-1):271–280.

4. Назаров А.В., Марьенков А.Н., Калиев А.Б. Выявление поведенческих признаков работы вируса-шифровальщика на основе анализа изменений значений параметров компьютерной системы. Прикаспийский журнал: управление и высокие технологии. 2018;(1):196–204.

5. Марьенков А.Н., Кузнецова В.Ю., Гелагаев Т.М. Применение технологий распознавания лиц в системах контроля и управления доступом. Прикаспийский журнал: управление и высокие технологии. 2021;(1):83–90. https://doi.org/10.21672/2074-1707.2021.53.1.083-090.

6. Алексеенко Ю.В. Разработка системы распознавания изображений на основе сверточных нейронных сетей. Евразийский Союз Ученых. 2017;(7-1):8–11.

7. Демина Р.Ю., Ажмухамедов И.М. Повышение качества классификации объектов на основе введения новой метрики кластеризации. Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2019;(4):106–114. https://doi.org/10.24143/2072-9502-2019-4-106-114.

8. Чехонина Е.А., Костюмов В.В. Обзор состязательных атак и методов защиты для детекторов объектов. International Journal of Open Information Technologies. 2023;11(7):11–20.

9. Sai Abhishek A.V., Gurrala V.R., Sahoo L. Resnet18 Model With Sequential Layer For Computing Accuracy On Image Classification Dataset. International Journal of Creative Research Thoughts. 2022;10(5):176–181.

10. Сикорский О.С. Обзор свёрточных нейронных сетей для задачи классификации изображений. В сборнике: Двадцатый научно-практический семинар «Новые информационные технологии в автоматизированных системах»: Материалы двадцатого научно-практического семинара, 20 апреля 2017 года, Москва, Россия. Москва: Московский институт электроники и математики им. А.Н. Тихонова; 2017. С. 37–42.