Покращення класифікації емоцій за допомогою злиття  сигналів і виділення ознак на основі вейвлетів

Oleksandr Sukholeister; Rostyslav Nakonechny

doi:10.15407/fmmit2024.39.167

Oleksandr Sukholeister
Rostyslav Nakonechny

DOI: https://doi.org/10.15407/fmmit2024.39.167

Ключові слова: Emotion recognition, Continuous Wavelet Transform, EEG, ECG, GSR, Multimodal Fusion, Deep Learning, Affective Computing

Анотація

Розпізнавання емоцій за фізіологічними сигналами, такими як електроенцефалограма (ЕЕГ), електрокардіограма (ЕКГ) та шкірно-гальванічна реакція (ШГР), показало багатообіцяюче застосування в афективних обчисленнях. Це дослідження представляє підхід на основі вейвлетів, який використовує безперервне вейвлет-перетворення (БВП) для вилучення як
зображення, так і числових характеристик із мультимодальних фізіологічних даних. Вилучені ознаки використовуються для навчання та порівняння моделей класифікації, включаючи модель глибокого навчання на основі ResNet-50 і традиційні моделі машинного навчання, такі як опорні векторні машини (ОВМ). Наші результати демонструють, що поєднання вилучення ознак на основі вейвлетів і злиття сигналів значно покращує ефективність класифікації емоцій. Числові характеристики, отримані за допомогою CWT, досягають такої ж або кращої точності, ніж функції на основі зображень. Ця робота підкреслює потенціал методів на основі вейвлетів для розпізнавання емоцій і пропонує шляхи майбутніх досліджень оптимізації мультимодальної обробки та класифікації сигналів.

Посилання

Soleymani, M., Lichtenauer, J., Pun, T., & Pantic, M. (2012). A Multimodal Database for Affect Recognition and Implicit Tagging. IEEE transactions on affective computing, 3(1), 42-55.

Sukholeister, O., Nakonechnyi, A. (2022). Recognition of Mental Disorders from Physiological Signals Analysis. Measuring Equipment and Metrology, 83(4), 11-12

Sukholeister, O., Nakonechnyi, A. (2023). Strategies for Physiological Signal Fusion for Emotion Recognition. Measuring and Computing Devices in Technological Processes, Issue 4, 34-35.

Mohammadi, Z., Frounchi, J., & Amiri, M. (2016). Wavelet-based Emotion Recognition System Using EEG Signal. Neural Computing & Applications, 28, 1985-1990. https://doi.org/10.1007/s00521-015-2149-8

Tawsif, K., Aziz, N. A., Raja, J. E., & Hossen, J. (2022). A Systematic Review on Emotion Recognition System Using Physiological Signals: Data Acquisition and Methodology. Emerging Science Journal, 6(5), 1167-1168.

Wang, Y., Song, W., Tao, W., et al. (2022). A Systematic Review on Affective Computing: Emotion Models, Databases, and Recent Advances. Affective Computing Journal, 21, 1-4.

Ahmad, Z., & Khan, N. (2022). A Survey on Physiological Signal-Based Emotion Recognition. Bioengineering, 9, 688. https://doi.org/10.32920/22734278.v1

Dzedzickis, A., Kaklauskas, A., & Bucinskas, V. (2021). Human Emotion Recognition: Review of Sensors and Methods. Sensors, 20, 592. https://doi.org/10.3390/s20030592

Egger, M., Ley, M., & Hanke, S. (2021). Emotion Recognition from Physiological Signal Analysis: A Review. Electronic Notes in Theoretical Computer Science, 343, 35-55.

Addison, P. S. (2017) The Illustrated Wavelet Transform Handbook. 2nd edn. CRC Press. https://doi.org/10.1201/9781315372556

Bajaj, V., Pachori, R.B. (2015). Detection of Human Emotions Using Features Based on the Multiwavelet Transform of EEG Signals. In: Hassanien, A., Azar, A. (eds) Brain-Computer Interfaces. Intelligent Systems Reference Library, vol 74. Springer, Cham.