Архитектура программного модуля сбора и обработки временных рядов зонтичной системы мониторинга ИТ-инфраструктуры

Статья посвящена проблеме сбора временных рядов зонтичной системы мониторинга ИТ-инфраструктуры с последующей обработкой полученных данных в режиме реального времени. Актуальность исследования обусловлена возрастающим интересом к системам подобного класса со стороны крупных предприятий и организаций с высокой степенью цифровизации производственных процессов. В свою очередь, организация процесса сбора такой информации обусловлена рядом особенностей: во-первых, программные модули должны проектироваться с учетом значительной нагрузки (сбор и обработка порядка 10 млн значений временных рядов в минуту); во-вторых, сбор данных зачастую осуществляется не с конечных устройств, а из других систем мониторинга. Также требуется учитывать современное состояние ИТ-инфраструктуры, характеризующееся своим динамизмом, вызванным развитием и повсеместным внедрением технологий аппаратной виртуализации, контейнеризации приложений и автоматизированного управления конфигурациями. На основе сравнения подходов к сбору и обработки временных рядов, реализованных в различных средствах мониторинга, в работе делается вывод о перспективности применения и развития в зонтичных системах мониторинга Prometheus-подхода. Авторы предлагают свой вариант адаптации и развития данного подхода. Отличительными чертами предложенного варианта являются мультистатусная модель порогов с временем жизни, а также опосредованная установка связей между объектами в ресурно-сервисной модели и собранной метрической информацией, что позволяет реализовать требуемую предприятиями функциональность сбора и обработки временных рядов для зонтичной системы мониторинга в условиях высокой нагрузки и динамизма современной ИТ-инфраструктуры. В завершении приводятся результаты предварительных испытаний разработанного программного модуля, а также делается заключение о возможности использования предложенного авторами подхода для реализации функции контроля степени покрытия мониторинга объектов. В настоящее время описанный вариант архитектуры используется в коммерческом программном продукте «MONQ» и проходит апробацию в ряде ключевых российских предприятий.

1. Большаков М.А., Михайлов Г.В. Средства мониторинга ИТ-инфраструктуры ГВЦ ОАО "РЖД". Научные разработки: евразийский регион: международная научная конференция теоретических и прикладных разработок, 20 мая 2019, Москва. Уфа: Инфинити; 2019. С. 225–230.

2. Горшков С. Три шага к дата-центричной архитектуре. Открытые системы. СУБД. 2019;4:26.

3. Лазарева Н.Б. Оптимальный выбор системы мониторинга для различных типов ИТ-инфраструктур. Инженерный вестник Дона. 2022;4:60–69.

4. Иванова Е.В., Цымблер М.Л. Обзор современных систем обработки временных рядов. Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2020;9(4):79–97.

5. Намиот Д.Е. Базы данных временных рядов в системах "Интернета вещей". Прикладная информатика. 2017;12(2):79–87.

6. Valialkin А. High-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB. Medium. 2018. URL: https://valyala.medium.com/high-cardinality-tsdb-benchmarks-victoriametrics-vs-timescaledb-vs-influxdb-13e6ee64dd6b [дата обращения: 10.04.2023].

7. Valialkin A. Measuring vertical scalability for time series databases in Google Cloud. Medium. 2019. URL: https://valyala.medium.com/measuring-vertical-scalability-for-time-series-databases-in-google-cloud-92550d78d8ae [дата обращения: 10.04.2023].

8. Valialkin A. Prometheus vs VictoriaMetrics benchmark on node_exporter metrics. Medium. 2020. URL: https://valyala.medium.com/prometheus-vs-victoriametrics-benchmark-on-node-exporter-metrics-4ca29c75590f [дата обращения: 10.04.2023].

9. Дубровин М.Г. Концепция проактивного мониторинга и управления объектами ИТ-инфраструктуры. ИТНОУ: Информационные технологии в науке, образовании и управлении. 2020;1:44–49.

10. Gartner Ranking & Review of IT-infrastructure monitoring tools. URL: https://www.gartner.com/reviews/market/it-infrastructure-monitoring-tools [дата обращения: 10.04.2023].

11. Brazil B. Prometheus: Up & Running: Infrastructure and Application Performance Monitoring. O'Reilly Media; 2018. 386 p.

12. X5 Group запускает платформу мониторинга ИТ-ландшафта на базе ИИ. Сетевое издание CNews. 2023 URL: https://www.cnews.ru/news/line/2023-02-13_x5_group_zapuskaet_platformu [дата обращения: 10.04.2023].