References

moitvivt

Моделирование, оптимизация и информационные технологии

Modeling, Optimization and Information Technology

2310-6018

Издательство

10.26102/2310-6018/2022.36.1.006

935

Анализ методов обеспечения безопасности систем машинного обучения

Analysis of methods for machine learning system security

Бобров

Никита Дмитриевич

Bobrov

Nikita Dmitrievich

bobrov.nd@mail.com aff-1

0000-0002-6832-9991

Чекмарев

Максим Алексеевич

Chekmarev

Maxim Alekseevich

max.chek13@gmail.com aff-2

Клюев

Станислав Геннадьевич

Klyuev

Stanislav Gennadievich

s.g.klyuev@mail.ru aff-3

Краснодарское высшее военное училище им С.М. Штеменко Krasnodar Higher Military School

01 01 2026

1 1

10.26102/2310-6018/2022.36.1.006

2026

This work is licensed under a Creative Commons Attribution 4.0 International License

Применение систем машинного обучения является эффективным способом решения задач, оперирующих с большими объемами данных, что способствует их повсеместному внедрению в различные сферы деятельности. Вместе с тем, в настоящее время такие системы уязвимы перед злонамеренными манипуляциями, которые могут привести к нарушению целостности и конфиденциальности, что подтверждается внесением данных угроз Федеральной службой по техническому и экспертному контролю (ФСТЭК России) в Банк данных угроз безопасности информации в декабре 2020 года. В этих условиях обеспечение безопасного применения систем машинного обучения на всех этапах жизненного цикла является важной задачей. Этим обусловлена актуальность исследования. В статье рассмотрены существующие методы обеспечения безопасности, предлагаемые различными исследователями и описанные в научной литературе, их недостатки и перспективы дальнейшего применения. В связи с этим данная обзорная статья направлена на определение проблем исследования в области обеспечения безопасности систем машинного обучения с целью дальнейшей разработки технических и научных решений по данному вопросу. Материалы статьи представляют практическую ценность для специалистов по информационной безопасности и разработчиков систем машинного обучения.

The employment of machine learning systems is an effective way to achieve goals, operating with large amounts of data, which contributes to their widespread implementation in various fields of activity. At the same time, such systems are currently vulnerable to malicious manipulations that can lead to a violation of integrity and confidentiality, which is confirmed by the fact that these threats were included in the Information Security Threats Databank by the Federal Service for Technical and Expert Control (FSTEC) in December 2020. Under these conditions, ensuring the safe use of machine learning systems at all stages of the life cycle is an important task. This explains the relevance of the study. The paper discusses the existing security methods, proposed by various researchers and described in the scientific literature, their shortcomings, and prospects for further application. In this respect, this review article aims to identify research issues, relating to machine learning system security, with a view to subsequent development of technical and scientific solutions, regarding the matter. The materials of the article are of practical value for information security specialists and developers of machine learning systems.

машинное обучение вредоносное воздействие целостность конфиденциальность обеспечение безопасности

machine learning malicious impact integrity confidentiality security

Исследование выполнено без спонсорской поддержки.

The study was performed without external funding.

References 1

Чекмарев М.А., Клюев С.Г., Шадский В.В. Моделирование нарушений безопасности в системах машинного обучения. Научно-технический вестник информационных технологий, механики и оптики. 2021;21(4):592–598. DOI: 10.17586/2226-1494-2021-21-4-592–598.

Nelson B., Barreno M., Chi F.J., Joseph A.D., Rubinstein B.I.P., Saini U., Sutton C., Tygar J.D., Xia K. Exploiting machine learning to subvert your spam filter. Proc. of First USENIX Workshop on Large-Scale Exploits and Emergent Threats. 2008. Доступно по: https://people.eecs.berkeley.edu/~tygar/papers/SML/Spam_filter.pdf (дата обращения: 09.12.2021).

Biggio B., Nelson B., Laskov P. Poisoning attacks against support vector machines. Proc. of the 29th International Conference on Machine Learning (ICML 2012). 2012;1807–1814. Доступно по: https://icml.cc/2012/papers/880.pdf (дата обращения: 09.12.2021).

Gu, Tianyu & Liu, Kang & Dolan-Gavitt, Brendan & Garg, Siddharth. BadNets: Evaluating Backdooring Attacks on Deep Neural Networks. IEEE Access. 2019;7:47230–47244. DOI: 10.1109/ACCESS.2019.2909068.

Koh P., Steinhardt J., Liang P. Stronger Data Poisoning Attacks Break Data Sanitization Defenses. arXiv preprint arXiv: 1811.00741, 208. Режим доступа: https://arxiv.org/pdf/1811.00741.pdf (дата обращения: 09.12.2021).

Huang X., Kwiatkowska M., Wang S., Wu M. Safety Verification of Deep Neural Networks. Computer Aided Verification. CAV 2017. Lecture Notes in Computer Science. 2017;10426. DOI: 10.1007/978-3-319-63387-9_1.

Tjeng V., Xiao K., Tedrake R. Evaluating Robustness of Neural Networks with Mixed Integer Programming. arXiv preprint arXiv: 1711.07356. Режим доступа: https://arxiv.org/pdf/1711.07356 (дата обращения: 09.12.2021).

Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A. Towards Deep Learning Models Resistant to Adversarial Attacks. arXiv preprint arXiv: 1706.06083. Режим доступа: https://arxiv.org/pdf/1706.06083 (дата обращения: 09.12.2021).

Carlini N., Wagner D. Defensive Distillation is Not Robust to Adversarial Examples. arXiv preprint arXiv: 1607.04311. Режим доступа: https://arxiv.org/pdf/1607.04311 (дата обращения: 09.12.2021).

Goodfellow I., Shlens J., Szegedy C. Explaining and harnessing adversarial examples. arXiv preprint arXiv: 1412.6572. Режим доступа: https://arxiv.org/pdf/1412.6572 (дата обращения: 09.12.2021).

Paudice A., Muñoz-González L., György A., Lupu E. Detection of Adversarial Training Examples in Poisoning Attacks through Anomaly Detection. arXiv preprint arXiv: 1802.03041. Режим доступа: https://arxiv.org/pdf/1802.03041 (дата обращения: 09.12.2021).

Steinhardt J., Koh P.W., Liang P. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems. 2017;30:3518–3530.

Nelson B., Barreno M., Jack Chi F., Joseph A.D., Rubinstein BIP, Saini U., Sutton C., Tygar JD, Xia K. Misleading learners: co-opting your spam filter. Springer. 2009;17–51. DOI: 10.1007/978-0-387-88735-7_2.

Suciu O., Marginean R., Kaya Y., Daumé H., Dumitras T. Technical Report: When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks. arXiv preprint arXiv: 1803.06975v2. Режим доступа: https://arxiv.org/pdf/1803.06975.pdf (дата обращения: 09.12.2021).

Carlini N., Liu C., Erlingsson Ú., Kos J., Song D. The secret sharer: Evaluating and testing unintended memorization in neural networks. Proc. of the 28th USENIX Security Symposium. 2019;267–284.

Ateniese G., Mancini L.V., Spognardi A., Villani A., Vitali D., Felici G. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers. International Journal of Security and Networks. 2015;10(3):137–150. DOI: 10.1504/IJSN.2015.071829.

Tramèr F., Zhang F., Juels A., Reiter M.K., Ristenpart T. Stealing machine learning models via prediction APIs. Proc. of the 25th USENIX Conference on Security Symposium. 2016;601–608.

Fredrikson M., Jha S., Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures. Proc. of the 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015;1322–1333. DOI: 10.1145/2810103.2813677.

The authors declare that there are no conflicts of interest present.