moitvivt Моделирование, оптимизация и информационные технологии Modeling, Optimization and Information Technology 2310-6018 Издательство 10.26102/2310-6018/2022.37.2.026 1175 Генерация жанровых музыкальных композиций по эмоциональному состоянию человека Generation of genre musical compositions according to the emotional state of a person Никитин Никита Андреевич Nikitin Nikita Andreevich set.enter@mail.ru aff-1 0000-0003-4854-7462 Орлова Юлия Александровна Orlova Yulia Aleksandrovna yulia.orlova@gmail.com aff-2 0000-0002-7372-8364 Розалиев Владимир Леонидович Rozaliev Vladimir Leonidovich vladimir.rozaliev@gmail.com aff-3 Волгоградский Государственный Технический Университет Volgograd State Technical University Волгоградский государственный технический университет Volgograd State Technical University Волгоградский Государственный Технический Университет Volgograd State Technical University 01 01 2026 1 1 10.26102/2310-6018/2022.37.2.026 Copyright © Авторы, 2026 2026 This work is licensed under a Creative Commons Attribution 4.0 International License

Резюме. Данная работа направлена на исследование и разработку математического и программного обеспечения для автоматизации и поддержки технического творчества путем автоматизированной генерации музыкальных произведений различных жанров, основанных на эмоциональном состоянии человека (пользователя). В основе работы лежит метод генерации музыкального материала с использованием искусственных нейронных сетей. Для генерации музыки была выбрана рекуррентная нейронная сеть с долгой краткосрочной памятью (LSTM), поскольку именно такой тип сетей позволяет учитывать иерархичность и созависимость музыкальных данных. Работа содержит подробное описание процесса сбора обучающих данных, процесса обучения сети, ее использование для генерации музыки, а также описание архитектуры сети. Кроме этого, дается описание обобщенного метода получения эмоционального состояния человека путем анализа изображения с использованием принципов теста Люшера. Для синтеза звуков по готовому музыкальному материалу в работе используется метод сэмплинга. Именно этот метод позволяет получить звучание музыкальных инструментов, приближенное к реалистичному, также данный метод сравнительно прост в реализации. Также статья включает описание процесса проектирования и разработки программного обеспечения для подтверждения описанных алгоритмов и методов, а именно веб-сайта для генерации музыкальной композиции путем анализа изображения.

The aim of this article is research and development of algorithms and software for automation and support of technical creativity process by automated generation of musical compositions of different genres, based on the emotional state of a person. It relies on the method of generating musical material with the aid of artificial neural networks. To generate music, a recurrent neural network with long-short term memory is chosen because this is the type of neural networks that helps to take into account the hierarchy and codependency of musical data. The paper contains a detailed description of training data collection process, the process of neural network training, its use for generating musical compositions as well as an illustration of the network architecture. In addition, it outlines a generalized method for obtaining the emotional state of a person by analyzing an image by utilizing the principles of the Luscher test. For the synthesis of sounds with the help of the prefabricated musical material, the sampling method is applied. It is this method that makes it possible to emulate the realistic sound of musical instruments, which is also relatively easy to implement. Furthermore, the article includes a description of the software design and development process with a view to confirming the algorithms and methods under review, namely a website for generation musical composition by analyzing an image.

 программная генерация музыки Spotify API сэмплинг рекуррентные нейронные сети схемы соотнесения цвета и ноты automated musical generation Spotify API sampling recurrent neural network correlation schemes between color and pitches Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-37-90004. The reported study was funded by RFBR according to the research project No. 20-37-90004. References Chereshniuk I Algorithmic composition and its role in modern musical education. Art education. 3:65–68. Ariza C. Two Pioneering Projects from the Early History of Computer-Aided Algorithmic Composition. Computer Music Journal. MIT Press. 2012;3:40–56. Никитин Н.А. Автоматизированный синтез музыкальных композиций на основе рекуррентных нейронных сетей. Искусственный интеллект в решении актуальных социальных и экономических проблем ХХI века : сб. ст. по материалам Четвёртой всерос. науч.-практ. конф., проводимой в рамках Пермского естественнонаучного форума «Математика и глобальные вызовы XXI века». 2019:80–85. Doornbusch P. Gerhard Nierhaus: Algorithmic Composition: Paradigms of Automated Music Generation. Computer Music Journal 2014;4. Graves A., Jaitly N., Mohamed A. Hybrid speech recognition with deep bidirectional LSTM. Automatic Speech Recognition and Understanding (ASRU). IEEE Workshop on IEEE. 2013;273–278. Jain A., Murty M., Flynn P. Data clustering: A review. ACM Computing Surveys. 1999;31:264–323. Никитин Н.А. Разработка методов для синтеза музыкальных композиций на основе интуитивного и эмоционального подходов. Программная инженерия: современные тенденции развития и применения (ПИ–2020): сб. материалов IV всерос. науч.-практ. конф. 2020:54–61. Feynman L et al. Automatic Stylistic Composition of Bach Chorales with Deep LSTM ISMIR. 2017. Raffel C. Learning-Based Methods for Comparing Sequences, with Applications to Audio-to-MIDI Alignment and Matching. Doctoral thesis, Columbia Uniersity. 2016;161–163. Bertin-Mahieux Th, Ellis D, Whitman B and Lamere P The Million Song Dataset Proceedings of the 12th International Conference on Music Information Retrieval (ISMIR). 2011:591–596. Bengio Y., Simard P., Frasconi P. Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks. 1994;5(2):157–166, DOI: 10.1109/72.279181. Hochreiter S., Schmidhuber J. Long short-term memory. Neural Computation1997;9:1735–1780.

The authors declare that there are no conflicts of interest present.