Распознавание эмоций на изображениях и искусственные иммунные системы
Работая с нашим сайтом, вы даете свое согласие на использование файлов cookie. Это необходимо для нормального функционирования сайта, показа целевой рекламы и анализа трафика. Статистика использования сайта отправляется в «Яндекс» и «Google»
Научный журнал Моделирование, оптимизация и информационные технологииThe scientific journal Modeling, Optimization and Information Technology
cетевое издание
issn 2310-6018

Распознавание эмоций на изображениях и искусственные иммунные системы

idНуриахметов А.И. Богданова Д.Р.  

УДК 004.93
DOI: 10.26102/2310-6018/2021.34.3.010

  • Аннотация
  • Список литературы
  • Об авторах

В статье приведены результаты применения одного из методов искусственных иммунных систем к задаче распознавания эмоций человека по его мимике на изображениях. Искусственные иммунные системы – специальная концепция, в основе которой лежат различные принципы естественной иммунной системы млекопитающих. За счет своего разнообразия, подобным системам удалось достигнуть высоких результатов во множестве различных задач. Поэтому весьма интересным является вопрос об их эффективности в такой задаче, как распознавание эмоций. Так, в данном исследовании, используя один из методов искусственных иммунных систем, удалось достигнуть максимальной точности в 80 % для задачи распознавания 7 базовых эмоций Пола Экмана. Эти показатели были достигнуты на наборе данных Cohn–Kanade+. Для построения подобной системы, в исследовательской работе были рассмотрены наиболее популярные подходы к распознаванию эмоций на изображениях, а также ключевые концепции типизации эмоций. В предлагаемой модели использовался подход на основе компьютерного зрения, с использованием лицевой разметки по 68 точкам. Полученные координаты точек лица были преобразованы в 136 вещественных признаков, а затем, их число было сокращено до 25 признаков при помощи метода главных компонент. Дальнейшим направлением исследования будет являться поиск наиболее эффективного метода из класса методов искусственных иммунных систем для задачи распознавания эмоций на изображениях.

1. Нуриахметов А. И., Богданова Д. Р. Искусственные иммунные системы и распознавание эмоций. Оригинальные исследования. 2020;10(12):174-184. Доступно по: https://ores.su/ru/journals/oris-jrn/2020-oris-12-2020/a230163. (дата обращения: 15.03.2021)

2. Lindquist K. A., Siegel E. H., Quigley K. S., Barrett L. F. The hundred-year emotion war: are emotions natural kinds or psychological constructions? Comment on Lench, Flores, and Bench (2011). 2013. DOI: 10.1037/a0029038

3. Wundt W. M., Judd C. H. Outlines of psychology. Engelmann. 1902.

4. Russell J. A. A circumplex model of affect. Journal of personality and social psychology. 1980;39(6):1161. DOI: 10.1037/h0077714

5. Jack R. E., Garrod O. G. B., Schyns P. G. Dynamic facial expressions of emotion transmit an evolving hierarchy of signals over time. Current biology. 2014;24(2):187-192. DOI:10.1016/j.cub.2013.11.064

6. James W. The principles of psychology. Cosimo, Inc. 2007.

7. Friesen E., Ekman P. Facial action coding system: a technique for the measurement of facial movement. Psychology. 1978.

8. Bartlett M. S., Hager J. C., Ekman P., Sejnowski T. J. Measuring facial expressions by computer image analysis. Psychophysiology. 1999;36(2):253-263. DOI: 10.1017/s0048577299971664

9. Saha C., Ahmed W., Mitra S., Mazumdar D., Mitra S. Facial Expressions: A Cross‐Cultural Study. Emotion Recognition. 2015:69-87. DOI: 10.1002/9781118910566.ch3

10. Tarnowski P., Kołodziej M., Majkowski A., Rak R. J. Emotion recognition using facial expressions. Procedia Computer Science. 2017;108:1175-1184. DOI:10.1016/j.procs.2017.05.025

11. Бобе А. С., Конышев Д. В., Воротников С. А. Система распознавания базовых эмоций на основе анализа двигательных единиц лица. Инженерный журнал: наука и инновации. 2016;9(57). Доступно по: http://engjournal.ru/catalog/mesc/rmrs/1530.html DOI: 10.18698/2308-6033-2016-09-1530 (Дата обращения 20.04.2021)

12. Golzadeh H., Faria D. R., Manso L. J., Ekárt A., Buckingham C. D. Emotion recognition using spatiotemporal features from facial expression landmarks. 2018 International Conference on Intelligent Systems (IS). 2018:789-794 DOI: 10.1109/IS.2018.8710573

13. Munasinghe M. I. Facial expression recognition using facial landmarks and random forest classifier. 2018 IEEE/ACIS 17th International Conference on Computer and Information Science (ICIS). 2018:423-427. DOI: 10.1109/ICIS.2018.8466510

14. Fama K. Automatic Analysis of Facial Action. 2018.

15. Lucey P., Cohn J. F., Kanade T., Saragih J., Ambadar Z., Matthews I. The extended cohn-kanade dataset (ck+): A complete dataset for action unit and emotion-specified expression. 2010 IEEE computer society conference on computer vision and pattern recognition-workshops. 2010:94-101. DOI: 10.1109/CVPRW.2010.5543262

16. Zuiderveld K. Contrast limited adaptive histogram equalization. Graphics gems. 1994:474-485. DOI: 10.1016/B978-0-12-336156-1.50061-6

17. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features. Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. 2001;1:I-I. DOI: 10.1109/CVPR.2001.990517

18. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees. Proceedings of the IEEE conference on computer vision and pattern recognition 2014. 2014:1867-1874. DOI: 10.13140/2.1.1212.2243

19. Çeliktutan O., Ulukaya S., Sankur B. A comparative study of face landmarking techniques. EURASIP Journal on Image and Video Processing. 2013;2013(1):1-27. DOI: 10.1186/1687-5281-2013-13

20. Rohith R. S., Pratiba D., Ramakanth P. K. Facial Expression Recognition using Facial Landmarks: A Novel Approach. Advances in Science, Technology and Engineering Systems Journal. 2020;5(5):24-28. DOI: 10.25046/aj050504

21. Schmidt B. H. Artificial Immune Systems: Applications, Multi-Class Classification, Optimizations, and Analysis. 2017.

Нуриахметов Артур Ильшатович

Email: nu7530@mail.ru

ORCID |

Уфимский государственный авиационный технический университет

Уфа, Российская Федерация

Богданова Диана Радиковна
Кандидат технических наук Доцент
Email: dianochka7bog@mail.ru

WoS |

Уфимский государственный авиационный технический университет

Уфа, Российская Федерация

Ключевые слова: искусственная иммунная система, распознавание эмоций, разметка лица, компьютерное зрение, концепции типизации эмоций, обработка изображений

Для цитирования: Нуриахметов А.И. Богданова Д.Р. Распознавание эмоций на изображениях и искусственные иммунные системы. Моделирование, оптимизация и информационные технологии. 2021;9(3). Доступно по: https://moitvivt.ru/ru/journal/pdf?id=1000 DOI: 10.26102/2310-6018/2021.34.3.010

578

Полный текст статьи в PDF

Поступила в редакцию 07.06.2021

Поступила после рецензирования 14.09.2021

Принята к публикации 23.09.2021

Опубликована 04.10.2021