Объяснимый искусственный интеллект и методы интерпретации результатов

Системы искусственного интеллекта используются во многих сферах обеспечения жизни человека, будь то, например, финансы или медицина. С каждым годом интеллектуальные системы обрабатывают все больше и больше данных и принимают все больше и больше решений. Эти решения оказывают все большее влияние на судьбы людей. Краеугольным камнем становится недоверие к полностью нечеловеческим, автономным системам искусственного интеллекта. Ключ недоверия кроется в непонимании того, почему интеллектуальные системы принимают то или иное решение, исходя из каких убеждений такие системы действуют (и есть ли у них свои собственные убеждения или только те, что им передали разработчики). Для решения проблемы «недоверия» к таким системам стали применять методы объяснимого искусственного интеллекта. В этой статье представлен краткий обзор методов, получивших наибольшую популярность в академической среде (методы PDP, SHAP, LIME, DeepLIFT, permutation importance, ICE plots). На примере практических упражнений продемонстрирована легкость применения методов PDP и SHAP, а также удобство «чтения» графических результатов работы этих методов, которые объясняют построенные дерево решений и случайный лес на примере небольшого набора данных о продажах

1. Transparency and Responsibility in Artificial Intelligence. Deloitte. Доступно по: https://www2.deloitte.com/content/dam/Deloitte/nl/Documents/innovatie/deloitte-nl-innovation-bringing-transparency-and-ethics-into-ai.pdf (дата обращения: 10.06.2021)

2. Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A Review of Ma-chine Learning Interpretability Methods. Entropy. 2021:23(18). Доступно по: https://www.mdpi.com/1099-4300/23/1/18/pdf DOI: 10.3390/e23010018 (дата обращения: 10.06.2021)

3. Rosenfeld A., Richardson A. Explainability in human–agent systems. Autonomous Agents and Multi-Agent Systems. 2019;33(6):673-705. Доступно по: https://www.researchgate.net/publication/333084339_Explainability_in_human-agent_systems DOI: 10.1007/s10458-019-09408-y (дата обращения: 10.06.2021)

4. Lundberg S. M., Lee S. I. Consistent feature attribution for tree ensembles. Proceedings of the ICML Workshop on Human Interpretability in Machine Learning (WHI’2017). 2017. Доступно по: https://arxiv.org/abs/1706.06060 (дата обращения: 10.06.2021)

5. Lundberg S. M., Lee S. I. A Unified Approach to Interpreting Model Predictions. Pro-ceedings of the Neural Information Processing Systems (NIPS). 2017. Доступно по: https://arxiv.org/abs/1705.07874 (дата обращения: 10.06.2021)

6. Friedman J. H. Greedy function approximation: a gradient boosting machine. Annals of statistics. 2001;29(5):1189-1232. Доступно по: https://statweb.stanford.edu/~jhf/ftp/trebst.pdf (дата обращения: 10.06.2021)

7. Ribeiro M. T., Singh S., Guestrin C. “Why should i trust you?" Explaining the predic-tions of any classifier. Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016;1135-1144. DOI: 10.1145/2939672.2939778

8. Shrikumar A., Greenside P., Kundaje A. Learning important features through propagat-ing activation differences. Proceedings of the 34th International Conference on Machine Learn-ing (PMLR). 2017;70:3145-3153.

9. Goldstein A. et al. Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation. Journal of Computational and Graphical Statistics. 2015;24(1):44-65. DOI: 10.1080/10618600.2014.907095

10. Machine Learning Explainability. Permutation Importance. Доступно по: https://www.kaggle.com/dansbecker/permutation-importance (дата обращения: 10.06.2021)

11. Machine Learning Explainability Course. Partial Dependence Plots. Доступно по: https://www.kaggle.com/dansbecker/partial-plots (дата обращения: 10.06.2021)

12. Machine Learning Explainability. SHAP Values, Доступно по: https://www.kaggle.com/dansbecker/shap-values (дата обращения: 10.06.2021)