Об оценке стоимости запросов и разработке приложения для обработки ресурсоемких запросов

Быстрый рост объема хранимых данных обусловливает необходимость интеграции инструментов мониторинга, анализа и оптимизации запросов к базам данных для своевременного и корректного установления наиболее ресурсоемких из них. Эти обстоятельства определяют актуальность разработки программных инструментов для оценки причин медленных запросов с формированием различных вариантов оптимизации. В данной работе исследованы причины, влияющие на ресурсоемкость запросов выборки данных. Показаны основания для медленных запросов, такие как качество собранной статистики, использования индексов, указаний плану запроса, структуры запроса, корректность настройки параметров инициализации базы данных, а также возможные варианты решения выявленных причин. Исследование представляет интерес с точки зрения объяснения основ физических операций, обеспечиваемых подсистемой выполнения запросов, которая интерпретирует процедурный план исполнения запроса, оптимизируя стоимость. Для решения задачи ускорения медленных запросов на основе корректного процедурного плана предлагается разработка приложения, учитывающего состав анализируемых стоимостных, объемных и временных характеристик запросов для их оптимизации. Описаны результаты тестирования разработанной системы, позволяющей повысить производительность запросов. Оценивалась скорость выполнения запроса по следующим метрикам: операция доступа к данным, стоимость выражения, стоимость операции ввода/вывода, время процессора, затраченное время на обработку всей выборки. Выполнение экспериментов по оценке корректности выявления медленных запросов подтверждает целесообразность применения на практике результатов проведенных исследований и разработанного приложения.

1. Belattar S., Abdoun O., El khatir H. New learning approach for unsupervised neural networks model with application to agriculture field. International Journal of Advanced Computer Science and Applications. 2020;11(5):360–369.

2. Kim W. On optimizing an SQL-Like Nested Query. ACM Transactions on Database Systems (TODS). 1982;7(3):443-469.

3. Lukichev M., Barashev D. XML query algebra for cost-based optimization. SYRCODIS*07 The Fourth Spring Young Researchers Colloquium on Databases and Information Systems. 2007. URL: http://ceur-ws.org/Vol-256 (дата обращения: 21.09.2023).

4. Maher, M., Wang, J. Optimizing queries in extended relational databases. In: Ibrahim M., Küng J., Revell N. (eds) Database and Expert Systems Applications. DEXA 2000. Lecture Notes in Computer Science. 2000;1873. DOI: 10.1007/3-540-44469-6_36.

5. May N., Moerkotte G. Normalization and translation of XQuery. Advanced Applications and Structures in XML Processing: Label Streams, Semantics Utilization and Data Query Technologies. Hershey, Igi Global Publishing; 2010. 500 p. DOI: 10.4018/978-1-61520-727-5.

6. Кузнецов С.Д., Мендкович Н.А. Оптимизация конъюнктов условий в составе запросов. Моделирование и анализ информационных систем. 2011;18(3):144–154.

7. Nurmatova E.V., Gusev V.V., Kotliar V.V. Analysis of the features of the optimal logical structure of distributed databases. Selected Papers of the 8th International Conference "Distributed Computing and Grid-technologies in Science and Education", 2018;2267:579–584. URL: https://ceur-ws.org/Vol-2267. (дата обращения: 21.09.2023).

8. Новиков Б.А., Горшкова Е.А., Графеева Н.Г. Основы технологий баз данных. 2-е изд. М.: ДМК Пресс; 2020. 582 с.

9. Борчук Л.Е. Совершенствование процесса настройки запросов пользователей на основе асимптотических оценок затрат ресурсов. Информационные технологии. 2008;6:6–11.

10. Борчук Л.Е., Кузьмин А.А. Оценка времени выполнения запроса в реляционной СУБД на основе асимптотических моделей затрат ресурсов. Наукоемкие технологии. 2008;4:61–64.

11. Домбровская Г., Новиков Б., Бейликова А. Оптимизация запросов в PostgreSQL. М.: ДМК Пресс; 2022. 278 с.

12. Зайцев Е.И., Нурматова Е.В. О подходе к управлению знаниями и разработке мультиагентной системы представления и обработки знаний. Russian Technological Journal. 2023;11(4):16–25. DOI:10.32362/2500-316X-2023-11-4-16-25.

13. Кузнецов С.Д., Мендкович Н.А. Новые алгоритмы лексической оптимизации запросов. Модели и анализ информационных систем. 2009;16(4):22–33.

14. Мендкович Н.А., Кузнецов С.Д. Оптимизация конъюнктов условий в составе запросов. Модели и анализ информационных систем. 2011;18(3):144–154.

15. Мендкович Н.А. Об эффективности минимизирующего подхода к оптимизации запросов. Моделирование и анализ информационных систем. 2016;23(2):153–163. DOI: 10.18255/1818-1015-2016-2-153-163.

16. Мосин С.В., Зыкин С.В. Кэширование запросов к реляционной базе данных с использованием областей истинности. Моделирование и анализ информационных систем. 2015;22(2):248–258. DOI: 10.18255/1818-1015-2015-2-248-258.

17. Нурматова Е.В. Анализ процедурного плана sql-запроса. Опорный образовательный центр. Иннополис. 2021;2:116–121.

18. Иванов О. Машинное обучение для планирования запросов. Открытые системы. СУБД. 2016. URL: https://www.osp.ru/os/2016/01/13048650 (дата обращения: 21.09.2023).

19. Пашинин О.В. Оптимизация запросов к базам данных. Математические структуры и моделирование. 2017;17:100–107.

20. Хайлан A.M., Польщиков К.А., Алгазали С.M.M. Обнаружение ресурсоемких запросов к базам данных на основе применения самоорганизующихся карт и нечеткого вывода. Экономика. Информатика. 2021:48(3):578–593. DOI: 10.52575/2687-0932-2021-48-3-578-593.

21. Wang S., Rundensteiner E.A., Mani M. Optimization of nested xquery expressions with orderby clauses. Data & Knowledge Engineering. 2007;60(2):303–325. DOI: 10.1016/j.datak.2006.03.004.