Estudio y desarrollo de interfaces sensitivas de realidad virtual y aumentada para invidentes en dispositivos portátiles

Resumen

La visión es el principal sentido usado por el ser humano para comprender el mundo que le rodea, para realizar actividades diarias, para contemplar o deleitarse de la naturaleza, el arte y la familia y cuando este sentido se ha deteriorado en gran medida por alguna enfermedad o accidente, o se ha perdido en su totalidad en el nacimiento, en el desarrollo o de adulto, las personas se vuelven vulnerables, dependientes e inseguras para trabajar, socializar o salir por su propia cuenta. Las tecnologías actuales pueden brindar apoyo para que las personas ciegas sean capaces de explorar el mundo por su cuenta, aumentando su independencia y capacidad de decisión. Las habilidades de las personas ciegas para la comprensión de su entorno y las dificultades a la hora de visitar un nuevo lugar, han sido consideradas durante el desarrollo de este trabajo, para ajustar las aplicaciones desarrolladas a las necesidades y requerimientos del grupo de participantes invidentes, que con el apoyo de la ONCE y el auspicio de la Cátedra Indra-Fundación Addeco, decidieron participar voluntariamente en el proyecto e-Glance. El presente trabajo tiene como objetivo analizar las interfaces sensitivas que contribuyen más significativamente en la comunicación entre el usuario y las aplicaciones, para la adquisición del conocimiento espacial de un entorno desconocido, mediante la implementación de aplicaciones móviles de realidad virtual y aumentada en teléfonos inteligentes y tabletas, y determinar cuál de las interfaces empleadas fueron consideradas más útiles y usables por los participantes en el proyecto. La navegación por exteriores fue descartada, debido al sinnúmero de aplicaciones existentes y el volumen de datos requeridos para su descripción, la navegación por interiores es un tema más reciente, pero que necesita ser determinada en el contexto de las personas ciegas. Al inicio de este estudio investigamos el uso de las interfaces sensitivas durante la exploración anticipada a espacios interiores desconocidos utilizando aplicaciones de realidad virtual y aumentada, de tal forma que su determinación pudo extrapolarse a la navegación por interiores desconocidos en tiempo real. Intentamos con este estudio ser un referente para quienes opten por desarrollar otros sistemas que fomenten la independencia y el desarrollo personal y profesional de las personas ciegas o con severas limitaciones visuales. Con la finalidad de adaptar las soluciones desarrolladas a las necesidades de los usuarios se desarrollaron ocho talleres, con la participación de veinte participantes ciegos y cinco de baja visión; se emplearon registros de observación y videos, previo el consentimiento de los participantes. Se evaluó la eficiencia, eficacia y utilidad de las interfaces implementadas mediante el uso de aplicaciones de realidad virtual y aumentada y además mediante cuestionarios post-test, donde los participantes pudieron valorar la usabilidad de la herramienta y recomendar cambios, en la forma que el sistema entregaba la información. Durante estos talleres se detectaron fallos no observados durante la construcción de la aplicación, que permitieron modificar y optimizar el código. Se utilizó comunicación Wi-Fi y Bluetooth como medios de conexión con los dispositivos conexos y el servidor externo. Sensores láser e infrarrojos fueron empleados como sistemas de rastreo para el seguimiento de la posición de usuario y unas balizas de proximidad como dispositivos complementarios para minimizar el error de deriva que se acumula durante el seguimiento del usuario. El software usado en el desarrollo de las aplicaciones fue Unity 3D, y para el almacenamiento de datos MySQL. Durante el primer taller se determinó la información personal, las capacidades técnicas de los participantes y breves indicios en lo que respecta a la información sobre objetos cercanos y objetos fuera del alcance del bastón. En el segundo taller se definieron las características generales de una aplicación de visita virtual, y durante los siguientes tres talleres se estableció una metodología que permitió construir las aplicaciones de realidad virtual y aumentada con interfaces sensitivas modificables. Se seleccionaron patrones de voz, sonido, vibración y gestos que conformaron las interfaces sensitivas de la aplicación y se crearon tres métodos para adquirir la información del entorno que conformaron las interfaces cognitivas empleadas en visitas virtuales anticipadas. En el sexto taller se introducen sonidos 3D en las aplicaciones con objeto de determinar si las respuestas auditivas virtuales generadas en Unity son efectivas durante la navegación en interiores, se emplearon respuestas auditivas lineales, logarítmicas y personalizadas, usando como información la voz femenina, el pitido de 440Hz y el sonido de un instrumento musical. En el séptimo taller se pidió a cinco participantes evaluar la herramienta de exploración final, sin resultados concretos por inobservancia del entrenamiento programado. En el octavo taller se evaluaron las aplicaciones de realidad aumentada como ayudas de navegación a través de un laberinto, usando rutas pre-establecidas, con el objetivo de evaluar la influencia de las interfaces sensitivas en la reducción de la carga cognitiva de los participantes y en la eficiencia de la navegación. Los resultados obtenidos indicaron que durante la exploración de proximidad, una velocidad aumentada en la reproducción de la voz, distancias expresadas en metros, frecuencias iguales o inferiores a los 500Hz en la interfaz de pitidos y gestos simples sobre la pantalla táctil, mejoraron la efectividad y eficacia del proceso de exploración. Además se determinó que los sonidos 3D con respuesta personalizada en donde se usa el pitido como fuente para la localización de objetos y estructuras y la voz para brindar información complementaria, mejoraron la precisión en la localización de puntos objetivos. También se obtuvo que el pitido y la voz como interfaces sensitivas para la navegación guiada, logró reducir la carga mental de los usuarios con leve pérdida cognitiva en un 70% y un aumento en la eficiencia del 50%. El desarrollo de esta investigación, podría extenderse a grupos más complejos y numerosos de personas con severas limitaciones visuales y posiblemente a personas mayores con leve desorientación espacial o pérdida cognitiva.