В статье рассматривается проблема повышения точности искусственных нейронных сетей при решении задач классификации состояний объектов различной физической природы. Эту проблему предлагается сформулировать как проблему выбора типа функции активации в искусственных нейронных сетях и рассматривать ее с позиции теории нечетких множеств. В этой связи разработана математическая модель адаптивной функции активации искусственного нейрона, использующая нечеткую логическую систему с интервальными нечеткими множествами второго типа. Эта функция отличается от обыкновенных функций активации, применяемых в нейросетевых моделях тем, что область ее входных значений ограничена, и при этом позволяет оптимизировать параметры, определяющие форму кривой в процессе обучения искусственной нейронной сети. С целью снижения вычислительной сложности нейро-нечеткой модели с нечеткой функцией активации предложена ее модификация, заключающаяся в применении математической функции гиперболического тангенса для нормализации значений вектора, подаваемого на вход нечеткой функции. Разработано алгоритмическое обеспечение для двух архитектур нейро-нечетких классификаторов – рекуррентного нейро-нечеткого классификатора и сверточного нейро-нечеткого классификатора. Проведено два эксперимента по классификации медико-биологических и текстовых объектов, в которых сравнивались показатели точности моделей нейро-нечетких классификаторов и аналогичных по структуре классификаторов без нечеткой функции активации, и при этом подтверждено повышение точности искусственных нейронных сетей, в составе которых используются нечеткие функции активации.
1. Ломакина Л.С., Субботин А.Н. Классификация потоковых данных на основе байесовского критерия. Моделирование, оптимизация и информационные технологии. 2020;8(1). Доступно по: https://moit.vivt.ru/wp-content/uploads/2020/02/LomakinaSubbotin_1_20_1.pdf DOI: 10.26102/2310-6018/2020.28.1.034.
2. Sonoda S., Murata N. Neural network with unbounded activation functions is universal approximator. Applied and Computational Harmonic Analysis. 2017;43(2):233–268. DOI: 10.1016/j.acha.2015.12.005.
3. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь; 1982. 432 с.
4. Kumbasar T. Robust stability analysis and systematic design of single-input interval type-2 fuzzy logic controllers. IEEE Transactions on Fuzzy Systems. 2015;24(3):675–694. DOI: 10.1109/TFUZZ.2015.2471805.
5. Liang Q., Mendel J.M. Interval type-2 fuzzy logic systems: theory and design. IEEE Transactions on Fuzzy systems. 2000;8(5):535–550. DOI: 10.1109/91.873577.
6. Beke A., Kumbasar T. Learning with type-2 fuzzy activation functions to improve the performance of deep neural networks. Engineering Applications of Artificial Intelligence. 2019;85:372–384. DOI: 10.1016/j.engappai.2019.06.016.
7. Greff K., Srivastava R.K., Koutník J., Steunebrink B.R., Schmidhuber J. LSTM: A search space odyssey. IEEE transactions on neural networks and learning systems. 2016;28(10):2222–2232. DOI: 10.1109/TNNLS.2016.2582924.
8. Lomakina L.S., Surkova A.S., Zhevnerchuk D.V., Chernobaev I.D., et al. Conceptual modeling of heterogeneous data for geoinformation systems. Proc. of the Thirteenth International MEDCOAST Congress on Coastal and Marine Sciences, Engineering, Management and Conservation (MEDCOAST 2019). 2019;1:77–89.
9. Ломакина Л.С., Чернобаев И.Д., Киселев Ю.Н. Алгоритмическое обеспечение нейро-нечеткой классификации состояний объектов сложной структуры. Труды Международного научно-технического конгресса «Интеллектуальные системы и информационные технологии - 2021» («ИС & ИТ-2021», «IS&IT’21»). 2021;475–481.
10. Surkova A., Skorynin S., Chernobaev I. Word embedding and cognitive linguistic models in text classification tasks. Proc. of the XI International Scientific Conference Communicative Strategies of the Information Society. 2019;1–6. DOI: 10.1145/3373722.3373778
11. Mistry J., Chuguransky S., Williams L., Qureshi M., Salazar G.A., Sonnhammer E.L., Tosatto S.C., Paladin L., Raj S. Richardson L.J., Finn R.D. Pfam: The protein families database in 2021. Nucleic Acids Research. 2021;49(D1):D412–419. DOI: 10.1093/nar/gkaa913
12. Maas A., Daly R.E., Pham P.T., Huang D., Ng A.Y., Potts C. Learning word vectors for sentiment analysis. Proc. of the 49th annual meeting of the association for computational linguistics: Human language technologies. 2011;142–150.
Ломакина Любовь Сергеевна
доктор технических наук, профессор
Нижегородский Государственный Технический Университет им. Р.Е. Алексеева
Нижний Новгород, Российская Федерация
Чернобаев Игорь Дмитриевич
ООО СВТЕКНН
Нижегородский Государственный Технический Университет им. Р.Е. Алексеева
Нижний Новгород, Российская Федерация
