Математическая модель обнаружения аномальных наблюдений с использованием анализа чувствительности нейронной сети

Переход к цифровизации в различных сферах экономической и социальной деятельности сопровождается возникновением больших массивов данных, обрабатывая которые, необходимо выявлять определенные зависимости, строить модели процессов и систем. Актуальной является задача поиска аномальных значений в больших массивах данных. Существующие алгоритмы выявления аномалий основываются на использовании различных подходов и имеют свои преимущества и недостатки. Однако базовые схемы работы всех методов схожи – на начальном этапе происходит разделение данных на типичные для системы или процесса и те, которые не вписываются в общую картину, затем происходят структурная и параметрическая идентификация модели, на заключительном этапе обученная модель используется для разделения данных. Для повышения точности работы алгоритмов возможны их модификации, учитывающие структуру данных или позволяющие комбинировать разнородные математические модели. В статье приводится описание комбинированного подхода к построению системы обнаружения аномальных реализаций на основе алгоритма изолирующего леса и последовательного применения нейросетевого классификатора. Для снижения размерности входного вектора нейросетевой модели синтезирован и описан подход к анализу чувствительности по факторам нейросетевой модели, основанный на применении анализа конечных изменений. Приведен численный пример, показывающий адекватность применимости предлагаемого подхода к анализу данных.

1. Parmar J. D., Patel J. T. Anomaly Detection in Data Mining: A Review. International Journal of Advanced Research in Computer Science and Software Engineering. (2017);7(4):32-40.

2. Liu F. T., Ting K. M., Zhou Z. H. Isolation forest. IEEE International Conference on Data Mining, ICDM (2008).

3. Liu F. T., Ting K. M., Zhou Z. H. Isolation-Based Anomaly Detection. ACM Trans. Knowl. Discov. Data. (2012).

4. Розенвассер Е. Н., Юсупов Р. М. Чувствительность систем управления. Москва: Наука. (1981).

5. Saltelli A., Ratto M., Andres T., Campolongo F., Cariboni J., Gatelli D., Saisana M., Tarantola S. Global Sensitivity Analysis – The Primer. John Wiley & Sons, Hoboken (2008).

6. Saltelli A., Tarantola S., Campolongo F. Sensitivity analysis as an ingredient of modeling. Stat. Sci. (2000); 15(4):377–395.

7. Kurowicka D., Cooke R. Uncertainty Analysis with High Dimensional Dependence Modelling. Wiley. (2006).

8. Cacuci D. G. Sensitivity and Uncertainty Analysis Theory. Chapman and Hall/CRC. (2005).

9. Hamby D. M. A review of techniques for parameter sensitivity analysis of environmental models. Environ. Monit. Assess. (1994); 32(2):135–154.

10. Box G. E. P., Meyer R. D. An analysis for unreplicated fractional factorials. Technometrics. (1986);28:11–18.

11. Dean A. M., Lewis S. M. Screening: Methods for Experimentation in Industry, Drug Discovery and Genetics. Springer, New York. (2006).

12. Overstall A. M., Woods D. C. Multivariate emulation of computer simulators: model selection and diagnostics with application to a humanitarian relief model. J. Roy. Statist. Soc. C. (2016).

13. Bandura R. Composite indicators and rankings: inventory 2011. Tech. rep., United Nations Development Programme – Office of Development Studies.

14. neural network model. Proceedings of the 29th Chinese Control and Decision Conference, CCDC. (2017).

15. Блюмин С. Л., Суханов В. Ф., Чеботарев С. В. Экономический факторный анализ. Липецк: Издательство ЛЭГИ. (2004).

16. Blyumin S. L., Borovkova G. S., Serova K. V., Sysoev A. S. Analysis of finite fluctuations for solving big data management problems. Application of Information and Communication Technologies (AICT), 9th International Conference. (2015).

17. Сысоев А. С., Шеглеватых Р. В. Методы обнаружения аномалий в больших данных медицинской природы. Современные сложные системы управления HTCS'2018: сборник трудов XIII Международной научно-практической конференции. (2018).

18. Sysoev A., Ciurlia A., Sheglevatych R., Blyumin S. Sensitivity Analysis of Neural Network Models: Applying Methods of Analysis of Finite Fluctuations. Periodica Polytechnica Electrical Engineering and Computer Science [Internet]. (2019) [cited 2020];63(4):306-11. Available from: https://pp.bme.hu/eecs/article/view/14654