Языковые модели и онтологии, угрозы безопасности в распределенной системе

Исследования в области больших языковых моделей (Large Language Models) и систем обработки естественного языка (Natural Language Processing) активизировались из-за появления новых, латентных и серьезных рисков, например, нарушений процессов генерации вывода, вредоносных запросов в автоматическом режиме. Разрабатываются синергетические сценарии применения больших языковых моделей. Основная гипотеза, учитываемая в данном исследовании – возможность страховки (с заданной вероятностью) от генерации запрещенного контента и его «подмешивания» к пользовательскому запросу, учет онтологических свойств и связей для улучшения качества поиска в практических задачах, например, с помощью библиотеки онтологий. Использованы методы анализа-синтеза, моделирования-прогнозирования, экспертно-эвристические, теории вероятностей и принятия решений. Основные результаты статьи: 1) аналитика по проблемам применения больших языковых моделей в достижении устойчивости в инфраструктуре системы (предложена таблица ключевых методов); 2) предложена языковая модель устойчивости сетевой инфраструктуры на основе оценок распределений при подмешивании слов, в которой использован байесовский метод; 3) предложена и исследована аналогичная языковая модель на основе экспертно-эвристического подхода к оценке рисков (неопределенностей в системе), в частности, с использованием информационно-энтропийного подхода. Исследование можно развивать, усложняя модели (гипотезы) и «глубину» учета рисков.

1. Liu Y., Deng G., Li Y. et al. Prompt Injection attack against LLM-integrated Applications. URL: https://doi.org/10.48550/arXiv.2306.05499 [Accessed 14th June 2024].

2. Martínez Torres J., Iglesias Comesaña C., García-Nieto P.J. Review: machine learning techniques applied to cybersecurity. International Journal of Machine Learning and Cybernetics. 2019;10(10):2823–2836. https://doi.org/10.1007/s13042-018-00906-1

3. Кузьминов И.Ф., Бахтин П.Д., Тимофеев А.А. и др. Современные технологии обработки естественного языка для решения задач стратегической аналитики. Искусственный интеллект и принятие решений. 2020;(1):3–16. https://doi.org/10.14357/20718594200101

4. Мударова Р.М., Намиот Д.Е. Противодействие атакам типа инъекция подсказок на большие языковые модели. International Journal of Open Information Technologies. 2024;12(5):39–48.

5. Юргель В.Ю. Сложности моделирования естественного языка. Вестник науки и образования. 2019;(23-1):12–14.

6. Fang H., Fang G., Yu T., Li P. Efficient Greedy Coordinate Descent via Variable Partitioning. In: 37th Conference on Uncertainty in Artificial Intelligence (UAI 2021): Proceedings, 27–30 July 2021, Toronto, Canada, USA. PMLR; 2021. pp. 547–557.

7. Chen X., Zhang N., Xie X. et al. KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction. In: WWW '22: Proceedings of the ACM Web Conference 2022, 25–29 April 2022, Lyon, France. New York: Association for Computing Machinery; 2022. pp. 2778–2788. https://doi.org/10.1145/3485447.3511998

8. Фридман А.Я. Онтология проектирования ситуационных цифровых двойников для моделирования структурной безопасности индустриально-природных комплексов. Онтология проектирования. 2024;14(1):29–41. https://doi.org/10.18287/2223-9537-2024-14-1-29-41

9. Dauphin Y.N., Fan A., Auli M., Grangier D. Language Modeling with Gated Convolutional Networks. In: 34th International Conference on Machine Learning: Proceedings, 6–11 August 2017, Sydney, Australia. 2017. pp. 933–941.

10. Kaziev M.V., Medvedeva L.B., Tyutrin N.O., Khizbullin F.F., Takhumova V.O. Improvement and modeling of the company's activity based on the innovative KPI system. Journal of Fundamental and Applied Sciences. 2018;10(5S):1406–1415.