Применение нейросетевых методов идентификации характеристик речевого потока на примере построения цифровых профилей пользователей финансовых услуг

В статье рассматривается применение нейросетевых методов для идентификации характеристик речевого потока с целью построения расширенных цифровых профилей пользователей финансовых услуг. Актуальность исследования обусловлена развитием дистанционных форм банковского и микрофинансового обслуживания, при которых речевая коммуникация становится одним из значимых источников информации о клиенте. Описаны основные просодические характеристики речи, включая темп, громкость, высоту тона, паузы и ритмику, а также рассмотрена их связь с психологическими типами личности по методике «7 радикалов» В.В. Пономаренко. Особое внимание уделено нейросетевому подходу к анализу речевого сигнала: предварительной цифровой обработке аудиозаписи, выделению акустических признаков, формированию вектора просодических параметров и последующей классификации психологических радикалов с использованием современных архитектур CNN, LSTM и механизмов внимания. Представлена информационная технология принятия решений в банковской и микрофинансовой сферах, предусматривающая включение модуля анализа речевой информации в систему построения цифрового профиля клиента. Показано, что использование вероятностного подхода и многокритериального анализа позволяет повысить объективность оценки личности, снизить субъективную неопределенность при взаимодействии с заемщиком и повысить точность кредитного скоринга. Сделан вывод о перспективности применения нейросетевого анализа речевых характеристик для управления финансовыми рисками и персонализации финансовых услуг.

1. Сафуанов Ф.С., Назарова Е.А. Сравнительный анализ различных методов составления психологического портрета предполагаемого преступника. Психология и право. 2011;(3):33–43.

2. Петраевский В.А., Кравец А.Г. Метод интеллектуального анализа текстовой информации для психиатрической диагностики. Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2024;(2):95–104.

3. Демина Р.Ю., Ашимов М.М., Лепехин Д.А., Есауленко В.Н. Формирование обучающего множества на основе данных должников, хранимых коллекторским агентством. Прикаспийский журнал: управление и высокие технологии. 2025;(3):38–45.

4. Кузнецова В.Ю. Информационная технология принятия решений в микрофинансовой организации. Системная инженерия и информационные технологии. 2023;5(3):27–41.

5. Пономаренко В.В. Практическая характерология с элементами прогнозирования и управления поведением: методика «7 радикалов». Москва: Принт Про; 2017. 206 с.

6. Yang Y., Qin Y., Fan Y., Zhang Zh. Unlocking the Power of Voice for Financial Risk Prediction: A Theory-Driven Deep Learning Design Approach. MIS Quarterly. 2023;47(1):63–96. https://doi.org/10.25300/MISQ/2022/17062

7. Акай О.М. Вычислительное моделирование просодико-синтаксических корреляций в русской устной речи: методы машинного обучения и лингвистический анализ. В сборнике: Русская грамматика: полипарадигмальность как методологический принцип современных научных исследований: Материалы IX Международного научного симпозиума, 23–27 сентября 2025 года, Иркутск, Россия. Иркутск: Издательство ИГУ; 2025. С. 416–422.

8. Chen X., Yu X., Chang L., et al. The Sound of Risk: A Multimodal Physics-Informed Acoustic Model for Forecasting Market Volatility and Enhancing Market Interpretability. arXiv. URL: https://arxiv.org/abs/2508.18653 [Accessed 19th August 2026].

9. Кузовлев К.Д., Кузнецова В.Ю. Методика выявления психоэмоционального воздействия в аудиопотоке на основе нейросетевого анализа. Инженерный вестник Дона. 2026;(6). URL: https://ivdon.ru/ru/magazine/archive/n6y2026/11269

10. Trigeorgis G., Ringeval F., Brueckner R., et al. Adieu features? End-to-end speech emotion recognition using a deep convolutional recurrent network. In: Proceedings of the 2016 IEEE International Conference on Acoustics, Speech and Signal Processing, 20–25 March 2016, Shanghai, China. IEEE; 2016. P. 5200–5204. https://doi.org/10.1109/ICASSP.2016.7472669

11. Schuller B.W., Steidl S., Batliner A., et al. The INTERSPEECH 2013 computational paralinguistics challenge: Social signals, conflict, emotion, autism. In: Proceedings of the 14th Annual Conference of the International Speech Communication Association, 25–29 August 2013, Lyon, France. ISCA; 2013. P. 148–152. https://doi.org/10.21437/Interspeech.2013-56

12. Zhao J., Mao X., Chen L. Speech emotion recognition using deep 1D & 2D CNN LSTM networks. Biomedical Signal Processing and Control. 2019;47(4):312–323. https://doi.org/10.1016/j.bspc.2018.08.035

13. Mirsamadi S., Barsoum E., Zhang Ch. Automatic speech emotion recognition using recurrent neural networks with local attention. In: Proceedings of the 2017 IEEE International Conference on Acoustics, Speech and Signal Processing, 05–09 March 2017, New Orleans, LA, USA. IEEE; 2017. P. 2227–2231. https://doi.org/10.1109/ICASSP.2017.7952552

14. Марьенков А.Н., Кривенко А.И. Сбор и обработка текстовых данных в контексте оценки социальных настроений: методологические аспекты. Инженерный вестник Дона. 2022;(7). URL: https://ivdon.ru/ru/magazine/archive/n7y2022/7797