Языковые модели и онтологии, угрозы безопасности в распределенной системе
Работая с нашим сайтом, вы даете свое согласие на использование файлов cookie. Это необходимо для нормального функционирования сайта, показа целевой рекламы и анализа трафика. Статистика использования сайта отправляется в «Яндекс» и «Google»
Научный журнал Моделирование, оптимизация и информационные технологииThe scientific journal Modeling, Optimization and Information Technology
cетевое издание
issn 2310-6018

Языковые модели и онтологии, угрозы безопасности в распределенной системе

Донских Н.И.  

УДК 004.056.5
DOI: 10.26102/2310-6018/2024.46.3.016

  • Аннотация
  • Список литературы
  • Об авторах

Исследования в области больших языковых моделей (Large Language Models) и систем обработки естественного языка (Natural Language Processing) активизировались из-за появления новых, латентных и серьезных рисков, например, нарушений процессов генерации вывода, вредоносных запросов в автоматическом режиме. Разрабатываются синергетические сценарии применения больших языковых моделей. Основная гипотеза, учитываемая в данном исследовании – возможность страховки (с заданной вероятностью) от генерации запрещенного контента и его «подмешивания» к пользовательскому запросу, учет онтологических свойств и связей для улучшения качества поиска в практических задачах, например, с помощью библиотеки онтологий. Использованы методы анализа-синтеза, моделирования-прогнозирования, экспертно-эвристические, теории вероятностей и принятия решений. Основные результаты статьи: 1) аналитика по проблемам применения больших языковых моделей в достижении устойчивости в инфраструктуре системы (предложена таблица ключевых методов); 2) предложена языковая модель устойчивости сетевой инфраструктуры на основе оценок распределений при подмешивании слов, в которой использован байесовский метод; 3) предложена и исследована аналогичная языковая модель на основе экспертно-эвристического подхода к оценке рисков (неопределенностей в системе), в частности, с использованием информационно-энтропийного подхода. Исследование можно развивать, усложняя модели (гипотезы) и «глубину» учета рисков.

1. Liu Y., Deng G., Li Y. et al. Prompt Injection attack against LLM-integrated Applications. URL: https://doi.org/10.48550/arXiv.2306.05499 [Accessed 14th June 2024].

2. Martínez Torres J., Iglesias Comesaña C., García-Nieto P.J. Review: machine learning techniques applied to cybersecurity. International Journal of Machine Learning and Cybernetics. 2019;10(10):2823–2836. https://doi.org/10.1007/s13042-018-00906-1

3. Кузьминов И.Ф., Бахтин П.Д., Тимофеев А.А. и др. Современные технологии обработки естественного языка для решения задач стратегической аналитики. Искусственный интеллект и принятие решений. 2020;(1):3–16. https://doi.org/10.14357/20718594200101

4. Мударова Р.М., Намиот Д.Е. Противодействие атакам типа инъекция подсказок на большие языковые модели. International Journal of Open Information Technologies. 2024;12(5):39–48.

5. Юргель В.Ю. Сложности моделирования естественного языка. Вестник науки и образования. 2019;(23-1):12–14.

6. Fang H., Fang G., Yu T., Li P. Efficient Greedy Coordinate Descent via Variable Partitioning. In: 37th Conference on Uncertainty in Artificial Intelligence (UAI 2021): Proceedings, 27–30 July 2021, Toronto, Canada, USA. PMLR; 2021. pp. 547–557.

7. Chen X., Zhang N., Xie X. et al. KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction. In: WWW '22: Proceedings of the ACM Web Conference 2022, 25–29 April 2022, Lyon, France. New York: Association for Computing Machinery; 2022. pp. 2778–2788. https://doi.org/10.1145/3485447.3511998

8. Фридман А.Я. Онтология проектирования ситуационных цифровых двойников для моделирования структурной безопасности индустриально-природных комплексов. Онтология проектирования. 2024;14(1):29–41. https://doi.org/10.18287/2223-9537-2024-14-1-29-41

9. Dauphin Y.N., Fan A., Auli M., Grangier D. Language Modeling with Gated Convolutional Networks. In: 34th International Conference on Machine Learning: Proceedings, 6–11 August 2017, Sydney, Australia. 2017. pp. 933–941.

10. Kaziev M.V., Medvedeva L.B., Tyutrin N.O., Khizbullin F.F., Takhumova V.O. Improvement and modeling of the company's activity based on the innovative KPI system. Journal of Fundamental and Applied Sciences. 2018;10(5S):1406–1415.

Донских Никита Игоревич

Финансовый университет при Правительстве Российской Федерации

Москва, Россия

Ключевые слова: большие языковые модели, устойчивость, риски, информационная безопасность, управление

Для цитирования: Донских Н.И. Языковые модели и онтологии, угрозы безопасности в распределенной системе. Моделирование, оптимизация и информационные технологии. 2024;12(3). URL: https://moitvivt.ru/ru/journal/pdf?id=1634 DOI: 10.26102/2310-6018/2024.46.3.016

99

Полный текст статьи в PDF

Поступила в редакцию 17.07.2024

Поступила после рецензирования 30.07.2024

Принята к публикации 02.08.2024

Опубликована 30.09.2024