Вопросы радиоэлектроники. 2019; : 57-63
Семантические процессоры серии «Мультикор» для анализа эмоционального состояния человека
https://doi.org/10.21778/2218-5453-2019-8-57-63Аннотация
В статье представлено программно-аппаратное решение задачи анализа эмоционального состояния людей в общественных местах с использованием умных камер. Описываются технологии создания умных камер для семантического анализа изображений на основе вычислительных ядер российского производства ELcore. Рассмотрены этапы семантического анализа изображений с целью обнаружения лиц и распознавания их эмоционального состояния, выделены и реализованы наиболее ресурсоемкие алгоритмы на DSP-ядрах ELcore, разработанных НПЦ «ЭЛВИС». Общий тракт обработки изображений на DSP-ядрах ELcore с целью обнаружения лиц и распознавания эмоционального состояния составляет не более 32 мс. Это соответствует требованиям по обработке сигналов в реальном времени и может быть использовано в камерах для «умных» экосистем.
Список литературы
1. Ekman P., Cordaro D. What is meant by calling emotions basic? // Emotion Review. 2011. Vol. 3. No. 4. P. 364–370.
2. Овсянников В. В. К вопросу о классификации эмоции: категориальный и многомерный подходы // Финансовая аналитика: проблемы и решения. 2013. № 37. С. 37–48.
3. Deng D., Zhou Y., Pi J., Shi B. E. Multimodal utterance level affect analysis using visual, audio and text features [Электронный ресурс]. URL: https://arxiv.org/pdf/1805.00625.pdf (дата обращения: 31.05.2019).
4. Yanakova E., Ishkova T., Belyaev A., Koldaev V., Kolobanova M. Facial recognition technology on ELcore semantic processors for smart cameras // IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). 2019. P. 1848–1851.
5. Savoiu A., Wong J. Recognizing facial expressions using deep learning [Электронный ресурс]. URL: http://cs231n.stanford.edu/reports/2017/pdfs/224.pdf (дата обращения: 31.05.2019).
6. Khorrami P., Le Paine T., Brady K., Dagli C., Huang T. S. How deep neural neural networks can improve emotion recognition on video data [Электронный ресурс]. URL: https://arxiv.org/pdf/1602.07377.pdf (дата обращения: 31.05.2019).
7. A github repo of the openSMILE feature extraction tool [Электронный ресурс]. URL: https://github.com/naxingyu/opensmile (дата обращения: 31.05.2019).
Issues of radio electronics. 2019; : 57-63
Semantic processors of Multicore series for analysis of human emotional condition
https://doi.org/10.21778/2218-5453-2019-8-57-63Abstract
This article presents a software and hardware solution to the problem of analyzing the emotional state of people in public places by analyzing the emotional state of people using smart cameras. The article describes technologies for creating smart cameras for semantic image analysis based on the Russian ELcore cores. The stages of semantic image analysis with the purpose of detecting faces and recognizing their emotional state are considered, the most resource‑intensive algorithms on DSP‑cores ELcore, developed by R&D Center ELVEES, are identified and implemented. The general path of image processing on DSPcores of ELcore for the purpose of detecting faces and recognizing the emotional state is no more than 32 ms. It meets the requirements for real‑time signal processing and can be used in cameras for «smart» ecosystems.
References
1. Ekman P., Cordaro D. What is meant by calling emotions basic? // Emotion Review. 2011. Vol. 3. No. 4. P. 364–370.
2. Ovsyannikov V. V. K voprosu o klassifikatsii emotsii: kategorial'nyi i mnogomernyi podkhody // Finansovaya analitika: problemy i resheniya. 2013. № 37. S. 37–48.
3. Deng D., Zhou Y., Pi J., Shi B. E. Multimodal utterance level affect analysis using visual, audio and text features [Elektronnyi resurs]. URL: https://arxiv.org/pdf/1805.00625.pdf (data obrashcheniya: 31.05.2019).
4. Yanakova E., Ishkova T., Belyaev A., Koldaev V., Kolobanova M. Facial recognition technology on ELcore semantic processors for smart cameras // IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). 2019. P. 1848–1851.
5. Savoiu A., Wong J. Recognizing facial expressions using deep learning [Elektronnyi resurs]. URL: http://cs231n.stanford.edu/reports/2017/pdfs/224.pdf (data obrashcheniya: 31.05.2019).
6. Khorrami P., Le Paine T., Brady K., Dagli C., Huang T. S. How deep neural neural networks can improve emotion recognition on video data [Elektronnyi resurs]. URL: https://arxiv.org/pdf/1602.07377.pdf (data obrashcheniya: 31.05.2019).
7. A github repo of the openSMILE feature extraction tool [Elektronnyi resurs]. URL: https://github.com/naxingyu/opensmile (data obrashcheniya: 31.05.2019).
