Разработка метода распознавания эмоций по речевому сигналу

Цель исследования – автоматическое распознавание эмоций говорящего, основанное на обработке звукозаписей, предназначенных для использования в системах сигнализации при работе с операторами локомотивных бригад и диспетчерских служб.
Методы. Распознавание эмоций человека в последние годы является быстроразвивающейся областью исследований. Особенности речевого тракта, например мощность звука, формантные частоты, применяются для обнаружения некоторых эмоций с хорошей точностью. Использован метод определения энергии сигнала с выделением доминирующей частоты. В работе разработан программный код, на основе которого приведен анализ четырех эмоций: гнев, радость, страх и спокойствие. Самый важный и сложный шаг – это определение признаков наиболее подходящих для различения эмоций и наличие баз данных. Сбор баз данных является сложной задачей, требующей проявления искренности эмоций. Зачастую сбор базы данных происходит в искусственной среде, и речь может звучать постановочно, для исключения таких проблем необходимо использовать записи колл-центров.
Результаты. Получены и обработаны записи базовых эмоциональных состояний, такие как гнев, радость, грусть, страх и удивление, которые являются наиболее частым случаем исследования. Разработанный программный код позволяет приблизится к автоматическому определению эмоций по речевому сигналу. Для анализа речевых записей в выборках использовались показатели энергии сигнала и выделения доминирующей частоты.
Заключение. Реализуемый метод контроля эмоционального состояния человека оператора по речевому сигналу находит широкое применение в профилактике и улучшении показателей психофизиологической профпригодности работников локомотивных бригад, сохранения их профессионального здоровья. Отчетливые различия наблюдаются в характеристиках всех видов эмоций.

1. Adjectives grouping in a dimensionality affective clustering model for fuzzy perceptual evaluation / W. Huang, Q. Wu, N. Dey, A. Ashour, S. J. Fong, R. González-Crespo // Int. J. Interact. Multimedia. Artif. Intell. 2020. Vol. 6, N 2. P. 10. https://doi.org/10.9781/ijimai.2020.05.002

2. Xusheng Wang, Xing Chen, Congjun Cao. Human emotion recognition by optimally fusing facial expression and speech feature, Signal Processing // Image Communication. 2020. Vol. 84, N 10. P. 115831. https://doi.org/10.1016/j.image.2020.115831

3. Akçay M. B. O˘guzK. Speech emotion recognition: emotional models, databases, features, preprocessing methods, supporting modalities, and classifiers // Speech. Commun. 2020. N 116. P. 56–76. https://doi.org/10.1016/j.specom.2019.12.001

4. Speech Emotion Recognition with Dual-Sequence LSTM Architecture / J. Wang, M. Xue, R. Culhane, E. Diao, J. Ding, V. Tarokh // 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona, Spain, 2020. P. 6474–6478. https://doi.org/10.1109/ICASSP40776.2020.9054629

5. Recognize basic emotional statesin speech by machine learning techniques using melfrequency cepstral coefficient features / N. Yang, N. Dey, R. S. Sherratt, F. Shi // J. Intell. Fuzzy. Syst. 2020. N 39 (2). P. 1925–1936. https://doi.org/10.3233/jifs-179963

6. Daneshfar F., Kabudian S. J., Neekabadi A. Speech emotion recognition using hybrid spectral-prosodic features of speech signal/ glottal waveform, metaheuristic-based dimensionality reduction, and Gaussian elliptical basis function network classifier // Appl. Acoust. 2020. N 166. P. 107360. https://doi.org/10.1016/j.apacoust.2020.107360

7. Palo H. K., Behera D., Rout B. C. Comparison of classifiers for speech emotion recognition (SER)with discriminative spectral features // Advances in Intelligent Computing and Communication. Proceedings of ICAC. Singapore: Springer, 2020. P. 78–85. https://doi.org/10.1007/978-981-15-2774-6_10

8. Speech emotion classification using attention-based lstm / Y. Xie, R. Liang, Z. Liang, C Huang., C. Zou, B. Schuller // IEEE/ACM Trans. Audio Speech. Lang. Proc. 2019. Vol. 27, N 11. P. 1675–1685. https://doi.org/10.1109/TASLP.2019.2925934

9. Hassouneh A., Mutawa A. M., Murugappan M. Development of a real-time emotion recognition system using facial expressions and EEG based on machine learning and deep neural network methods // InformMed. Unlock. 2020. N 20. P. 100372. https://doi.org/10.1016/j.imu.2020.100372

10. Automatic speech emotion recognition using an optimal combination of features based on EMD-TKEO / L. Kerkeni, Y. Serrestou, K. Raoof, M. Mbarki, M. A. Mahjoub, C. Cleder // Speech. Commun. 2019. N 114. P. 22–35. https://doi.org/10.1016/j.specom.2019.09.002

11. Uddin Md. Zia, Nilsson E. G., Emotion recognition using speech and neural structured learning to facilitate edge intelligence // Engineering Applications of Artificial Intelligence. 2020. Vol. 94. P. 103775. https://doi.org/10.1016/j.engappai.2020.103775

12. Excitation Features of Speech for Emotion Recognition Using Neutral Speech as Reference / S. R. Kadiri, P. Gangamohan, S. V. Gangashetty [et al.] // Circuits. Syst. Signal. Process. 2020. N 39. P. 4459–4481. https://doi.org/10.1007/s00034-020-01377-y

13. Gorshkov Y. G. Visualization of Lung Sounds Based on Multilevel Wavelet Analysis // Scientific Visualization. 2022. Vol. 14, N 2. P. 18–26. https://doi.org/10.26583/sv.14.2.02

14. Кравчук Д. А. Ультразвуковая система контроля психофизиологического состояния машиниста поезда // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2020. Т. 10, № 1. С. 134–142.

15. Распознавание эмоций по характеристикам речевого сигнала (лингвистический, клинический, информационный аспекты) / Л. П. Прокофьева, И. Л. Пластун, Н. В. Филиппова, Л. Ю. Матвеева, Н. С. Пластун // Сибирский филологический журнал. 2021. № 2. С. 325–336.

16. Горшков Ю. Г. Визуализация эмоциональной напряженности человека по речевому сигналу // Научная визуализация. 2023. Т. 15, № 2. C. 102–112.

17. Acoustocardiography with Assessment of Emotional Tension from the Voice / Y. G. Gorshkov, A. K. Volkov, N. A. Voinova [et al.] // Biomed. Eng. 2020. N 53. P. 383–387. https://doi.org/10.1007/s10527-020-09948-8