A non-feature based method for automatic image registration relying on depth-dependent planar projective trasformations

Abstract

Este estudio de investigación presenta un método que aporta soluciones a los problemas relacionados con la fusión sensorial de imágenes enfocada a la combinación de cámaras de Tiempo de Vuelo (ToF) y de color (RGB) de alta resolución. Entre ellos, la desalineación en el registro de imágenes, en muchos casos producida por el ruido en las medidas de profundidad de la cámara ToF. Dado que ambas cámaras no tienen la capacidad de adquirir imágenes con patrones similares, el registro se realiza mediante la transformación homogénea entre las cámaras, para la cual se utilizan las medidas de profundidad de la cámara ToF. El ruido en las medidas se corrige mediante el filtrado de las mismas, que suele producir el sobrealisamiento de los datos originales y en consecuencia, se reduce la exactitud del registro de imágenes. De igual manera, para la obtención de mapas de alta resolución de color de profundidad se emplean técnicas de interpolación, las cuales producen el sobrealisamiento de los datos. Esta propuesta presenta una nueva estrategia para el registro de imágenes que no cuentan con características similares, la cual está basada en Transformaciones Proyectivas Planas y en las medidas de profundidad de la cámara ToF. Dichas medidas son utilizadas como características virtuales para el cómputo de una tabla de búsqueda de homografías, las cuales dependen de las medidas de profundidad, llamada en inglés depth-dependent homography lookup table (Hlut). Los elementos de la Hlut se calculan mediante una discretización virtual del espacio 3D en nplanos, los cuales se encuentran dispuestos frente al sistema y paralelos a éste. A continuación, se obtienen las homografías más robustas mediante las transformaciones entre las vistas de las cámaras y los planos. Estas homografías tienen la capacidad de transferir puntos que pertenecen a varios i-planos virtuales consecutivos pertenecientes a nplanos, y que se encuentran delimitados por un rango de distancia determinado. Mediante este procedimiento se obtienen mapas de color y de profundidad de baja resolución y, además, una máscara de etiquetas de homografías, denominada masklrgb, en el sistema de coordenadas de las imágenes RGB. Los valores de dicha máscara, se corresponden con las homografías utilizadas para la transformación de los datos. Debido a la gran diferencia entre las resoluciones de las cámaras, entre cada par de puntos adyacentes en la imagen ToF, existen varios puntos sin transformar en la imagen de color. Por ello, la máscara de etiquetas masklrgb, ha sido creada con el objetivo de ser utilizada como una herramienta en la resolución de este problema. En este trabajo se presenta una primera estrategia para el uso de esta máscara, la cual está basada en el algoritmo de vecinos más próximos. Con ella se consigue la clasificación de los puntos vacíos de la máscara masklrgb, dando como resultado una máscara completa de etiquetas de homografías en el plano imagen de color. De esta manera, se obtiene un mapa de color y de profundidad de alta resolución mediante la transformación inversa de las homografías, que permiten transferir puntos desde el plano imagen de color al plano imagen ToF. Además de ello, este proceso puede ser adaptado al funcionamiento de sistemas robóticos con requerimientos de tiempos real. La evaluación de la exactitud del método propuesto tanto en resultados numéricos como visuales ha sido estudiada desde dos puntos de vista. El primero, mediante una evaluación comparativa entre el método Hlut y el de la calibración estándar de las cámaras, para el cual se han estudiado tres escenarios de datos: ideales (sin ruido), originales y filtrados. El segundo punto de vista, comprende la validación del método propuesto en dos aplicaciones de sistemas robóticos. Una de ellas en entornos de interiores y enfocada a la detección del movimiento de personas. La segunda, se orienta a entornos de exteriores y aborda la localización y detección de frutas en campos de cultivos.