Emotional Human-Robot Interaction Using Physiological Signals

Resumen

El campo de la robótica emocional comienza a ser percibido por muchos como una realidad tangible que parece desarrollarse con fuerza en el campo de la investigación pro- moviendo enfoques multidisciplinarios. Los robots emocionales o socialmente inteligentes intentan emular la inteligencia social humana para integrarse en nuestra sociedad de for- ma natural. Para ello, los robots deben ser capaces de aprender tanto a detectar como a reproducir la forma en que los humanos se comunican, ya que en nuestras relaciones personales utilizamos signos emocionales que se expresan en patrones de comunicación no verbales, diferencias en el tono de voz o matices en la semántica del mensaje utilizado. Por lo tanto, el objetivo principal de esta tesis es mejorar la interacción humano-robot para producir una interacción más natural para el usuario, bajo la hipótesis de que el robot puede mejorar su interacción si es capaz de reducir su propia incertidumbre a la hora de detectar los estados emocionales del usuario. Es por ello, que el objetivo se centra en investigar cómo evaluar el estado emocional del usuario añadiendo información rela- cionada con señales electro#siológicas, tales como el pulso, la conductancia de la piel, la electroencefalografía o las expresiones faciales. Sin embargo, la estimación de las emociones en tiempo real plantea un problema que aún no se ha abordado plenamente, como es el reto de #ltrar los artefactos de la actividad neuronal cortical y la extracción de características, al tiempo que se reduce el tiempo de procesamiento y se mantienen los resultados en el reconocimiento. Así pues, los procesos de optimización deben hacer frente a varias etapas, como la eliminación de artefactos, la extracción de características, el suavizado de características y la clasi#cación de patrones, manteniendo al mismo tiempo las limitaciones en tiempo real. Además, la interacción afectiva humano-robot requiere que un robot analice el estado emocional del interlocutor humano e interprete las respuestas emocionales que pueden utilizarse, no sólo en la interacción sino, por ejemplo, para provocar las respuestas terapéuticas deseadas. Por lo tanto, es necesario ampliar las técnicas experimentales a paradigmas más realistas, en los que se pueda explorar completamente la capacidad de estimación de las emociones. Esta tesis aborda tres problemas metodológicos relacionados con la evaluación de modelos de estimación de emociones en tiempo real y los paradigmas experimentales empleados para ello. Primero, Las señales de EEG son ampliamente afectados por los artefactos. Por lo tanto, debe desarrollarse un proceso de señales de EEG en tiempo real. La estimación de las emociones de valencia debe hacerse con señales de EEG usando una metodología de ligera en términos de recursos de computación. Además, debe ser robusto respecto de los resultados de clasificación usando una baja densidad de electrodos. Segundo, las señales GSR y BVP se consideran una fuente fiable para la estimación de la dimensión emocional arousal. La metodología debe abordar los artefactos ruidosos, en particular las señales de BVP, que son muy sensibles a los movimientos de la muñeca. La adquisición de estas señales puede hacerse con un dispositivo de bajo costo. También se consideran las expresiones faciales y se propone una mehodología que funciona en tiempo real. Tercero, debe diseñarse un escenario realista, o al menos cercano a él, para evaluar adecuadamente la metodología propuesta en el marco de un paradigma de HRI afectivo. Además, debe realizarse un método de evaluación estadística apropiado, la validación cruzada estándar no es adecuada para las series cronológicas, sino que deben utilizarse estrategias de validación "Leave-One-Out". He aplicado las metodologías de estimación de emociones en diferentes escenarios. Primero con la base de datos SEED de señales de EEG, bajo un paradigma experimental de estimulación con emociones constantes. Segundo, sobre una base de datos propia empleando como estímulo dinámico una película dramática. Finalmente, una base de datos propia empleando como estímulo dinámico una historia afectiva contada por un robot, durante la cual al usuario se le va requiriendo un feedback de su estado emocional. ---------------------------------------------------------- Summary: The field of emotional robotics is beginning to be perceived by many as a tangible reality that seems to be developing strongly in the field of research promoting multidisciplinary approaches. Emotional or socially intelligent robots try to emulate human social intelligence to integrate into our society naturally. To do this, robots must be able to learn both to detect and to reproduce the way humans communicate, since in our relationships we use emotional signs that are expressed in non-verbal communication patterns, differences in tone of voice, or nuances in the semantics of the message used. Therefore, the main objective of this thesis is to improve human-robot interaction to produce a more natural interaction for the user, under the hypothesis that the robot can improve its interaction if it can reduce its uncertainty when detecting the user's emotional states. Therefore, the aim is to investigate how to assess the user's emotional state by adding information related to electrophysiological signals, such as pulse, skin conductance, electroencephalography, or facial expressions. However, the estimation of emotions in real-time poses a problem that has not yet been fully addressed, such as the challenge of filtering the artifacts of cortical neural activity and feature extraction, while reducing processing time and maintaining the results in recognition. Thus, optimization processes must address several stages, such as artifact removal, feature extraction, feature smoothing, and pattern classification, while maintaining real-time limitations. Also, human-robot affective interaction requires a robot to analyze the emotional state of the human interlocutor and interpret the emotional responses that can be used, not only in the interaction but, for example, to elicit the desired therapeutic responses. Therefore, it is necessary to extend the experimental techniques to more realistic paradigms, in which the capacity of emotion estimation can be fully explored. This thesis addresses three methodological problems related to the evaluation of models for estimating emotions in real-time and the experimental paradigms used to do so. First, EEG signals are widely affected by artifacts. Therefore, real-time EEG signal processing should be developed. Valence emotion estimation should be done with EEG signals using a lightweight methodology in terms of computational resources. Besides, it should be robust to the classification results using a low electrode density. Second, GSR and BVP signals are considered a reliable source for the estimation of the arousal emotional dimension. The methodology should address noisy artifacts, in particular BVP signals, which are very sensitive to wrist movements. The acquisition of these signals can be done with a low-cost device. Facial expressions are also considered and a methodology is proposed that runs in real-time constraints. Third, a realistic scenario, or at least close to it, should be designed to adequately evaluate the proposed methodology within the framework of an affective HRI paradigm. Also, an appropriate statistical evaluation method must be performed, standard cross-validation is not suitable for time series, but "Leave-One-Out" validation strategies must be used. I have applied the methodologies of emotion estimation in different scenarios. First with the SEED database of EEG signals. Second, with our database using a dramatic film as a dynamic stimulus. Finally, a proprietary database using as a dynamic stimulus an emotional story told by a robot, during which the user is required to give feedback on his emotional state.