Разработка программного комплекса для управления базой данных в поисковом сервисе с применением организационных систем

В статье рассмотрена реализация системы управления базой данных, которая интересна тем, что позволяет производить быстрый поиск по статичным и неизменяемым данным, в том числе при большом объеме этих данных. Для получения результатов были с нуля разработаны программы для обработки и унификации файлов, их объединения и индексирования, а также для поиска по проиндексированным данным. Использованы методы распараллеливания, бинарного поиска, интерполяционного поиска, mmap-отображения, кластеризации, кэширования, прямой и обратной индексации, слияния, LZ-архивирования и B-деревьев. Была создана поисковая система, позволяющая выполнять тысячи поисковых запросов в секунду и работать с базами данных, размером в несколько терабайт. Актуальность исследования обусловлена необходимостью выполнения большого числа операций поиска по большим массивам данных. В связи с этим данная статья направлена на раскрытие и реализацию наиболее эффективных механизмов такого поиска. Ведущим подходом к исследованию данной проблемы является практическая реализация различных поисковых алгоритмов и их дальнейшая оптимизация для получения наиболее быстрых методов поиска. Представлены готовые алгоритмы обработки данных и дальнейших методов поиска по ним. Материалы статьи представляют собой практическую ценность для специалистов, решающих задачи, связанные с большими данными и выполняющие поисковые запросы по ним. В настоящее время такая разработка по усовершенствованию баз данных необходима из-за постоянно увеличивающегося потока цифровой информации, которую надо правильно собирать, обрабатывать, анализировать и хранить.

1. Шевский В.С., Шичкина Ю.А. Технология выполнения поисковых запросов к базе данных на основе метода индексации данных CW-tree. Моделирование, оптимизация и информационные технологии. 2021;9(1). https://doi.org/10.26102/2310-6018/2021.32.1.014

2. Zobel J., Moffat A. Inverted files for text search engines. ACM Computing Surveys. 2006;38(2). https://doi.org/10.1145/1132956.1132959

3. Голицына О.Л., Партыка Т.Л., Попов И.И. Основы проектирования баз данных. Москва: Форум; 2012. 415 с.

4. Мохов В.А. Бинарная оптимизация: задачи и алгоритмы. Известия высших учебных заведений. Северо-Кавказский регион. Технические науки. 2022;(2):12–19. https://doi.org/10.17213/1560-3644-2022-2-12-19

5. Демихов М.А. Методы нечеткого поиска в информационных системах. Моделирование, оптимизация и информационные технологии. 2015;3(2). URL: https://moit.vivt.ru/wp-content/uploads/2015/06/Demikhov_2_15_2.pdf

6. Hsu J.-Ch., Hsu Ch.-H., Chen S.C., Chung Ye.Ch. Correlation Aware Technique for SQL to NoSQL Transformation. In: 2014 7th International Conference on Ubi-Media Computing and Workshops, 12–14 July 2014, Ulaanbaatar, Mongolia. IEEE; 2014. pp. 43–46. https://doi.org/10.1109/U-MEDIA.2014.27

7. Pinto Y. A Framework for Systematic Database Denormalization. Global Journal of Computer Science and Technology. 2009;9(4):44–52.

8. Mehmood A. ASH Search: Binary Search Optimization. International Journal of Computer Applications. 2019;178(15):10–17. https://doi.org/10.5120/ijca2019918788

9. Демихов М.А. Характеристики алгоритмов поиска в современных поисковых системах. Моделирование, оптимизация и информационные технологии. 2015;3(2). URL: https://moit.vivt.ru/wp-content/uploads/2015/06/Demikhov_2_15_1.pdf

10. Sedgewick R., Wayne K. Algorithms: Part I, 4th Edition. New Jersey: Pearson Education, Inc.; 2014. 932 p.

11. Новиков Б.А., Горшкова Е.А., Графеева Н.Г. Основы технологий баз данных. Москва: ДМК Пресс; 2020. 582 с.