Генерация жанровых музыкальных композиций по эмоциональному состоянию человека

Резюме. Данная работа направлена на исследование и разработку математического и программного обеспечения для автоматизации и поддержки технического творчества путем автоматизированной генерации музыкальных произведений различных жанров, основанных на эмоциональном состоянии человека (пользователя). В основе работы лежит метод генерации музыкального материала с использованием искусственных нейронных сетей. Для генерации музыки была выбрана рекуррентная нейронная сеть с долгой краткосрочной памятью (LSTM), поскольку именно такой тип сетей позволяет учитывать иерархичность и созависимость музыкальных данных. Работа содержит подробное описание процесса сбора обучающих данных, процесса обучения сети, ее использование для генерации музыки, а также описание архитектуры сети. Кроме этого, дается описание обобщенного метода получения эмоционального состояния человека путем анализа изображения с использованием принципов теста Люшера. Для синтеза звуков по готовому музыкальному материалу в работе используется метод сэмплинга. Именно этот метод позволяет получить звучание музыкальных инструментов, приближенное к реалистичному, также данный метод сравнительно прост в реализации. Также статья включает описание процесса проектирования и разработки программного обеспечения для подтверждения описанных алгоритмов и методов, а именно веб-сайта для генерации музыкальной композиции путем анализа изображения.

1. Chereshniuk I Algorithmic composition and its role in modern musical education. Art education. 3:65–68.

2. Ariza C. Two Pioneering Projects from the Early History of Computer-Aided Algorithmic Composition. Computer Music Journal. MIT Press. 2012;3:40–56.

3. Никитин Н.А. Автоматизированный синтез музыкальных композиций на основе рекуррентных нейронных сетей. Искусственный интеллект в решении актуальных социальных и экономических проблем ХХI века : сб. ст. по материалам Четвёртой всерос. науч.-практ. конф., проводимой в рамках Пермского естественнонаучного форума «Математика и глобальные вызовы XXI века». 2019:80–85.

4. Doornbusch P. Gerhard Nierhaus: Algorithmic Composition: Paradigms of Automated Music Generation. Computer Music Journal 2014;4.

5. Graves A., Jaitly N., Mohamed A. Hybrid speech recognition with deep bidirectional LSTM. Automatic Speech Recognition and Understanding (ASRU). IEEE Workshop on IEEE. 2013;273–278.

6. Jain A., Murty M., Flynn P. Data clustering: A review. ACM Computing Surveys. 1999;31:264–323.

7. Никитин Н.А. Разработка методов для синтеза музыкальных композиций на основе интуитивного и эмоционального подходов. Программная инженерия: современные тенденции развития и применения (ПИ–2020): сб. материалов IV всерос. науч.-практ. конф. 2020:54–61.

8. Feynman L et al. Automatic Stylistic Composition of Bach Chorales with Deep LSTM ISMIR. 2017.

9. Raffel C. Learning-Based Methods for Comparing Sequences, with Applications to Audio-to-MIDI Alignment and Matching. Doctoral thesis, Columbia Uniersity. 2016;161–163.

10. Bertin-Mahieux Th, Ellis D, Whitman B and Lamere P The Million Song Dataset Proceedings of the 12th International Conference on Music Information Retrieval (ISMIR). 2011:591–596.

11. Bengio Y., Simard P., Frasconi P. Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks. 1994;5(2):157–166, DOI: 10.1109/72.279181.

12. Hochreiter S., Schmidhuber J. Long short-term memory. Neural Computation1997;9:1735–1780.