A methodological approach based on machine learning to generate a multimodal use's affective state model in adaptive educational systems

Resumen

El campo de la computación afectiva ha sido objeto de investigación durante las últimas tres décadas. Dicho campo se centra en cómo los dispositivos electrónicos pueden interactuar con la dimensión emocional del usuario, detectando el estado afectivo del usuario para modelarlo y que pueda ser utilizado de diversas formas. Además, existen estudios que establecen la influencia que las emociones pueden tener sobre el proceso de aprendizaje, lo que plantea un gran número de posibles aplicaciones que el campo de la computación afectiva puede tener para ayudar a estudiantes de plataformas de aprendizaje por ordenador. Existe un creciente número de trabajos que se centran en la detección de emociones mediante el uso de técnicas de aprendizaje automático (o machine learning). Existe además una amplia variedad de fuentes de datos utilizadas en la literatura para detectar el estado afectivo de los usuarios, desde las comúnmente utilizadas señales fisiológicas a dispositivos de interacción como pueden ser el teclado o el ratón. Independientemente de la fuente de datos que utilicen, muchos trabajos siguen un enfoque similar en la detección de estados afectivos: i) recoger datos, ii) generar un etiquetado afectivo para esos datos y iii) utilizar técnicas de aprendizaje automático para generar un modelo predictivo. A pesar de esos puntos comunes, hay una clara falta de análisis comparativo en las metodologías de la literatura relacionada, ya que la mayor parte de los trabajos proponen un enfoque para llevar a cabo dicha detección del estado afectivo, pero no se evalúa el impacto de cada una de las decisiones metodológicas tomadas en los resultados obtenidos. En esta tesis doctoral se ha establecido un plan de investigación para explorar como llevar a cabo la detección de estados afectivos mediante el uso de técnicas de aprendizaje automático (a partir de un enfoque multimodal) y evaluar algunos de los puntos metodológicos afrontados en el diseño de dicha detección. Para ello, se han propuesto tres fases en la investigación: i) en la primera fase se lleva a cabo un análisis exploratorio sobre los distintos puntos metodológicos en la investigación dentro del campo de la detección del estado afectivo desde un punto de vista multimodal para poder llevar a cabo una infraestructura experimental inicial; ii) una fase de transición para establecer un contexto de referencia para guiar el enfoque experimental de los primeros experimentos hacia un escenario más realista y iii) una fase final en la que el enfoque metodológico propuesto es adaptado y evaluado en un escenario realista de aprendizaje, evaluando las nuevas variables metodológicas relacionadas con el enfoque propuesto (un experimento inter-sujeto basado en el entorno de aprendizaje realista). Durante los experimentos llevados a cabo, se han identificado tres dimensiones metodológicas (i.e. caracterización y etiquetado de los estados afectivos, procesado de datos y enfoque experimental) y diversas variables metodológicas incluidas en dichas dimensiones han sido evaluadas: las fuentes de datos a usar, diversos aspectos del etiquetado afectivo de los datos para entrenar los algoritmos de aprendizaje supervisado utilizados (desde el etiquetador hasta la forma en la que se discretizan los valores dimensionales recogidos), los algoritmos de minería de datos utilizados, algunas técnicas de preprocesado aplicadas antes de la generación de los modelos de minería de datos, etc. Además, inspirada en una práctica dentro del campo de affective computing con señales fisiológicas, se propone una forma de normalizar los datos de interacción en base a las habilidades de interacción de cada individuo. Este trabajo pretende, fundamentalmente, definir una metodología (llamada AMO-ML, siglas en inglés de MOdelado Affectivo basado en Aprendizaje Automático) para llevar a cabo predicción de estados afectivos mediante técnicas de aprendizaje automático sobre una combinación de diversas fuentes de datos. También se analizan diferentes aspectos metodológicos encontrados en el campo de la computación afectiva en tres experimentos. Además, la introducción del enfoque de normalización ofrece buenos resultados en la predicción de la valencia (una de las dimensiones a evaluar de los estados afectivos) de los participantes.