Сравнительный анализ результатов, полученных при решении задачи анализа тональности текста с помощью сверточной и рекуррентной нейронных сетей

В современном мире существуют различные средства коммуникации: электронные устройства, web- и мобильные приложения (интернет-форумы, чаты, блоги, социальные сети). В результате возникает огромное количество информации о самих пользователях, их отношении к другим людям, событиям, происходящим в мире. Данная информация может быть полезна при моделировании процессов, происходящих в обществе, прогнозировании поведения людей. В связи с тем, что информация, находящаяся в интернете, во многих случаях представлена в виде текста на естественном языке, необходимо использовать методы компьютерной лингвистики. Например, по тексту требуется определить, какую эмоцию он несет. Для этого достаточно будет классифицировать эмоцию на позитивную и негативную. В работе дан анализ подходов, которые могут при этом использоваться: сверточные нейронные сети (Convolutional Neural Networks) и рекурентные нейронные сети (Recurrent Neural Network). Авторами составлен алгоритм обработки текста на естественном языке. Созданный в работе программным образом алгоритм реализуется с помощью Word2Vec, SQLite, Python: Gensim, Keras, функция активации ReLU, функция оптимизации Adam. Даны рекомендации по предварительной обработке текста на естественом языке (приведение к нижнему регистру, замена «ё» на «е», замена ссылок на токен «URL», замена упоминания пользователя на токен «USER», удаление знаков пунктуации), чтобы осуществлять полноценный анализ тональности текста. Показаны основные этапы алгоритма анализа тональности текста. В статье продемонстрирован пример фрагментов программного кода, описывающих работу ключевых этапов алгоритма. Проведено сравнение результатов применения сверточной нейронной сети и рекуррентной нейронной сети. Они продемонстрировали, что, с точки зрения определения позитивной, негативной, нейтральной тональности, лучшими характеристиками по точности обладает сверточная нейронная сеть.

1. Рубцова Ю. Автоматическое построение и анализ корпуса коротких текстов (постов микроблогов) для задачи разработки и тренировки тонового классификатора. Инженерия знаний и технологии семантического веба. 2012;1(2):109-116.

2. Семина Т.А. Анализ тональности текста: современные подходы и существующие проблемы. Прикладное языкознание, перевод, переводоведение. 2020;2(2):47-64.

3. Сикорский О.С. Обзор свёрточных нейронных сетей для задачи классификации изображений. Новые информационные технологии в автоматизированных системах. 2017;17(4):17-26.

4. Рубцова Ю.В. Построение корпуса текстов для настройки тонового классификатора. Программные продукты и системы. 2015;1(109):72-78.

5. Бендерская Е.Н., Никитин К.В. Рекуррентная нейронная сеть как динамическая система и подходы к ее обучению. Информатика, телекоммуникации и управление. 2013;3(3):29-40.

6. Немальцев А.С. Использование рекуррентных нейронных сетей для анализа необработанного многоязычного текста. Международный журнал гуманитарных и естественных наук. 2020;3(2):55-59.

7. Cliche M. Twitter Sentiment Analysis with CNNs and LSTMs. Proceedings of the 11th International Workshop on Semantic Evaluation. 2017;11(24):573-580.

8. Mikolov T. Distributed Representations of Words and Phrases and Their Compositionality. Advances in Neural Information Processing Systems. 2013;5(11):3111-3119.

9. Rosenthal S., Farra N., Nakov P. Sentiment Analysis in Twitter. Proceedings of the 11th International Workshop on Semantic Evaluation. 2017;11(24):502-518.

10. Zhang Y., Wallace B. Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv preprint arXiv: 1510.03820. 2015.