Анализ методов обработки и исследования речевого сигнала для установления психоэмоционального состояния человека

Целью исследований является всесторонний анализ речевого сигнала для выявления его параметров, наиболее информативных для определения психоэмоционального состояния говорящего. Работа направлена на сравнительное изучение и демонстрацию возможностей различных методов обработки сигналов (на основе анализа функции автокорреляции, спектрального, вейвлет-анализа и аттракторного анализа) в контексте извлечения биомаркеров психоэмоциональных состояний.

Методы. В работе применяется комплекс методов частотно-временного и нелинейного анализа речевого сигнала, реализованных в среде Matlab: автокорреляционный анализ – для оценки периодичности сигнала и определения частоты основного тона, параметры которой (среднее значение, дисперсия, характер изменений) служат биомаркерами эмоций; спектральный анализ (спектрограмма) – для визуализации и анализа изменения спектрального состава сигнала во времени, выявления формант и особенностей артикуляции, связанных с эмоциональной окраской; вейвлет-анализ (с использованием вейвлета Морле) – для исследования локализованных во времени особенностей сигнала на разных частотных масштабах, что позволяет анализировать переходные процессы и распределение энергии по частотным диапазонам; аттракторный анализ (анализ динамических систем) – для реконструкции фазового пространства речевого сигнала и исследования его нелинейной динамики через построение и анализ аттракторов (их формы, сложности, фрактальной размерности).

Результаты. Подтверждена эффективность каждого метода в выявлении специфических биомаркеров эмоционального состояния. Показано, что комплексное применение методов обеспечивает более глубокое и полное понимание речевого сигнала, чем каждый метод в отдельности. Установлено, что аттракторный анализ является наиболее перспективным методом для первичного выявления глубинных изменений, связанных с психоэмоциональным состоянием

Заключение. Комбинированный подход позволяет всесторонне оценивать речевую динамику. Особенно выделен потенциал аттракторного анализа как метода, способного выявлять тонкие нелинейные паттерны, что открывает новые возможности в разработке систем автоматического определения психоэмоционального состояния, диагностики нарушений и создания более естественных человеко-машинных интерфейсов

1. Bhatt S., Jain A., Dev A. Continuous Speech Recognition Technologies ‒ A Review // Recent Developments in Acoustics. Lecture Notes in Mechanical Engineering / ed. by M. Singh, Y. Rafat. Singapore: Springe, 2021. Р. 85–94. https://doi.org/10.1007/978-981-15-5776-7_8

2. Иванов А. А., Смирнова К. Д. Классификация дикторов по полу и возрасту на основе сверточных нейронных сетей и мел-частотных кепстральных коэффициентов //Искусственный интеллект и принятие решений. 2022. № 3. С. 45-56.

3. Mohammed A. A., Nagy A. Fundamental Frequency and Jitter Percent in MDVP and PRAAT // J. Voice. 2023. Vol. 37, N 4. P. 496–503.

4. Панченко А. А., Кравчук Д. А. Диагностика психофизиологического состояния человека на основе речевого сигнала // XXXV сессия Российского акустического общества: сборник трудов конференции. М.: ГЕОС, 2023. С. 112-117. https://doi.org/10.34756/GEOS.2023.17.38436

5. Кравчук Д. А. Ультразвуковая система контроля психофизиологического состояния машиниста поезда // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2020. Т. 10, № 1. С. 134-142.

6. Мырадов М. Т., Назарова С. Н. Современные технологии распознавания речи // Наука и мировоззрение. 2024. № 1 (23). С. 301–305.

7. Катаев М. Ю. Методика распознавания речевых команд в школьных информационных системах // Речевые технологии. 2024. № 1. С. 18–34.

8. Кравчук Д. А. Разработка метода распознавания эмоций по речевому сигналу // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2024. Т. 14, № 2. С. 72-80. https://doi.org/10.21869/2223-1536-2024-14-2-72-80

9. Петров А. С., Козлов А. В. Алгоритм оценки частоты основного тона на основе адаптивной спектральной обработки для задач биометрической идентификации // Информатика, управление и системы связи. 2023. № 1(15). С. 45-54.

10. Семенова Е. А., Иванов П. К. Акустические корреляты дисфонии у профессиональных пользователей голоса: результаты скринингового исследования с использованием мобильных приложений // Вестник оториноларингологии. 2022. Т. 87, № 3. С. 33-40.

11. Калинина М. А., Белова А. Н. Анализ параметров стабильности голоса у детей с двигательными нарушениями с использованием методов машинного обучения // Детская и подростковая реабилитация. 2021. № 4(47). С. 28-35.

12. Методы предварительной обработки речевых сигналов / В. В. Козлов, А. А. Трофимов, Е. А. Фокина, В. Н. Пономарев, Т. О. Жуков // Измерение. Мониторинг. Управление. Контроль. 2023. № 4. С. 43–49. https://doi.org/10.21685/2307-5538-2023-4-5

13. Горшков Ю. Г. Визуализация эмоциональной напряженности человека по речевому сигналу // Научная визуализация. 2023. № 2. С. 102-112.

14. Смирнов И. П., Орлова Ю. С. Применение методов реконструкции фазового пространства для анализа нелинейных динамических систем в биоакустике // Нелинейный мир. 2021. Т. 19, № 4. С. 215-225.

15. Федоров Р. А., Соколова Д. И. Классификация эмоциональных состояний по речи с использованием ансамбля признаков нелинейной динамики и глубоких нейронных сетей // Искусственный интеллект и принятие решений. 2023. № 2. С. 74-85.

16. Qin Ji. Emotional state analysis based on speech recognition signals // Highlights in Science Engineering and Technology. 2022. N 23. P. 58-64.

17. Multi-Modal Speech Emotion Recognition with Temporal-Perceptual Features and Hybrid Deep Learning Models / Y. Zhao, Z. Wang, J. Zhang, B. Schuller // IEEE Transactions on Affective Computing. 2024. Vol. 15, is. 1. P. 234-247.

18. Khan M., Kwon S. A CNN-Assisted Enhanced Audio Signal Processing for Speech Emotion Recognition // Sensors. 2020. Vol. 20, is. 1. P. 183.

19. Pepino L., Riera P., Ferrer L. Emotion Recognition from Speech Using wav2vec 2.0 Embeddings. URL: https://arxiv.org/abs/2104.03502 (дата обращения: 17.12.2025).