Методы определения нетиповых объектов в музыкальном ряде

В статье рассматриваются современные методы автоматического обнаружения нетиповых (аномальных) музыкальных событий в музыкальном ряде, таких как неожиданные смены гармонии, нехарактерные интервалы, ритмические сбои или нарушения музыкального стиля, которые позволяют автоматизировать данный процесс и оптимизировать время работы специалистов. Задача выявления аномалий актуальна в музыкальной аналитике, цифровой реставрации, генеративной музыке и адаптивных рекомендациях. В работе используются как традиционные признаки (Chroma Features, MFCC, Tempogram, RMS-energy, Spectral Contrast), так и современные методы анализа последовательностей (self-similarity matrices, latent space embeddings). В качестве исходных данных применялись разнообразные MIDI-корпусы и аудиозаписи различных жанров, приведенные к единому частотному и временному масштабу. Были опробованы методы обучения с учителем и без него, включая кластеризацию, автоэнкодеры, нейросетевые классификаторы и алгоритмы изоляции аномалий (isolation forests). Полученные результаты демонстрируют, что наибольшую эффективность показывает гибридный подход, сочетающий структурные музыкальные признаки с методами глубокого обучения. Новизна работы заключается в комплексном сравнении традиционных и нейросетевых подходов для разных типов аномалий на едином корпусе данных. Практическая апробация показала перспективность предлагаемого метода для систем автоматического мониторинга музыкального контента и повышения качества музыкальных рекомендаций. В дальнейшем планируется расширение исследования на мультимодальные музыкальные данные и обработку в режиме реального времени.

1. Müller M. Fundamentals of Music Processing: Audio, Analysis, Algorithms, Applications. Cham: Springer; 2015. 487 p. https://doi.org/10.1007/978-3-319-21945-5

2. Tzanetakis G., Cook P. Musical Genre Classification of Audio Signals. IEEE Transactions on Speech and Audio Processing. 2002;10(5):293–302. https://doi.org/10.1109/TSA.2002.800560

3. Choi K., Fazekas G., Sandler M.B., Cho K. Convolutional Recurrent Neural Networks for Music Classification. In: 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 05–09 March 2017, New Orleans, LA, USA. IEEE; 2017. P. 2392–2396. https://doi.org/10.1109/ICASSP.2017.7952585

4. Huang Yu-S., Yang Yi-H. Pop Music Transformer: Beat-Based Modeling and Generation of Expressive Pop Piano Compositions. In: MM '20: Proceedings of the 28th ACM International Conference on Multimedia, 12–16 October 2020, Seattle, WA, USA. New York: Association for Computing Machinery; 2020. P. 1180–1188. https://doi.org/10.1145/3394171.3413671

5. Luo Yi.-J., Su L. Learning Domain-Adaptive Latent Representations of Music Signals Using Variational Autoencoders. In: Proceedings of the 19th International Society for Music Information Retrieval Conference (ISMIR), 23–27 September 2018, Paris, France. 2018. P. 653–660.

6. Foote J. Visualizing Music and Audio Using Self-Similarity. In: MULTIMEDIA '99: Proceedings of the 7th ACM international Conference on Multimedia (Part 1), 30 October – 5 November 1999, Orlando, FL, USA. New York: Association for Computing Machinery; 1999. P. 77–80. https://doi.org/10.1145/319463.319472

7. Peeters G., Angulo F. SSM-Net: Feature Learning for Music Structure Analysis Using a Self‑Similarity‑Matrix Based Loss. In: ISMIR 2022: Proceedings of the 23rd International Society for Music Information Retrieval Conference, 04–08 December 2022, Bengaluru, India. 2022. https://arxiv.org/abs/2211.08141

8. McFee B., Ellis D. Analyzing Song Structure with Spectral Clustering. In: ISMIR 2014: Proceedings of the 15th International Society for Music Information Retrieval Conference, 27–31 October 2014, Taipei, Taiwan. 2014. P. 405–410.

9. Sigtia S., Benetos E., Dixon S. An End-to-End Neural Network for Polyphonic Piano Music Transcription. IEEE/ACM Transactions on Audio, Speech, and Language Processing. 2016;24(5):927–939. https://doi.org/10.1109/TASLP.2016.2533858

10. Lattner S., Grachten M., Widmer G. Learning Transposition-Invariant Interval Features from Symbolic Music and Audio. In: Proceedings of the 19th International Society for Music Information Retrieval Conference (ISMIR), 23–27 September 2018, Paris, France. 2018. https://doi.org/10.48550/arXiv.1806.08236