MOMUE: Manipulación Móvil para Entornos Exteriores no Estructurados

RTI2018-094279-B-I00, Ministerio de Ciencia, Innovación y Universidades.
1/1/2019 – 31/12/2021.
logo
    • Investigadores: Francisco A. Candelas (IP), Santiago T. Puente, (IP), Pablo Gil, Fernando Torres.
    • Técnicos contratados: Víctor de Gea, Carmen Ballester, Alejando Olivas
    • Colaboradores: Iván Del Pino, Miguel Ángel Muñoz
  • Este proyecto está orientado a avanzar en la investigación y el desarrollo de la manipulación robótica inteligente en entornos exteriores no estructurados, haciendo uso de un robot manipulador móvil. Aunque, en los últimos años, se ha avanzado mucho en el desarrollo de nuevos sistemas de manipulación, como pueden ser manos robóticas, y de las técnicas para controlar estas de una forma más inteligente, estos avances han estado orientados principalmente a la realización de tareas en entornos muy estructurados, donde los objetos a manipular y, sobre todo, el espacio de trabajo, están bien definidos. En cambio, la manipulación robótica en entornos dinámicos, y que por eso son poco o nada estructurados, requiere actualmente de un mayor estudio e investigación. Es en este ámbito donde se enmarca el presente proyecto, que tiene el propósito de conseguir la manipulación inteligente y autónoma de objetos durante el desarrollo de tareas complejas, en espacios abiertos exteriores que implican entornos de trabajo que cambian, y sin marcas artificiales añadidas que faciliten la localización u orientación. Además de investigar en las técnicas que permitan aplicar la manipulación inteligente sobre un sistema móvil y autónomo, en el proyecto propuesto también se considera el desarrollo de un prototipo, compuesto por un brazo robot con su manipulador robótico, instalado sobre una plataforma móvil, sobre el que se aplicarán y evaluarán las técnicas investigadas en aplicaciones reales.

    Para el desarrollo del proyecto hay que considerar que, un robot que opera en un entorno de trabajo de exteriores debe ser capaz de adaptarse a un entorno dinámico y no estructurado. Por ello, la plataforma de manipulación móvil deberá incorporar sistemas sensoriales adecuados que doten al robot de la capacidad perceptiva necesaria para buscar, detectar, y manipular objetos no conocidos a priori. También será necesario dotarla de capacidades de navegación autónoma en espacios abiertos, fuera de calles o pistas señalizadas, a partir de técnicas, no sólo de localización, sino también de percepción del entorno. Así, se investigará, por una parte, en adaptar los sistemas visión, control visual y manipulación, en los que los investigadores solicitantes han trabajado anteriormente en entornos estructurados, a situaciones más flexibles, para su utilización en exteriores. Por otra parte, se abordará el problema de la navegación autónoma en los entornos abiertos no estructurados, así como, la presencia del humano para realizar una supervisión de las tareas de manipulación, si fuese necesario.

    1. Investigación en técnicas percepción multimodal (táctil, visión, fuerza) para agarre en entornos exteriores no estructurados. Para la realización de este objetivo, se plantea la trasferencia del conocimiento del grupo de investigación en manipulación de objetos para entornos industriales y conocidos a su extrapolación a entornos no estructurados. Para ello se partirá de las técnicas de manipulación diestra basadas en selección de puntos de agarre para objetos estáticos, y se crearán algoritmos de visión/táctil con aprendizaje para adaptar la pose del manipulador robótico y llevar a cabo un agarre óptimo del objeto, independientemente de su material de fabricación (rígido, flexible), de la textura de su superficie (rugoso, liso) y de las vistas disponibles (vistas parciales por oclusiones, iluminación, geométricas).
    2. Investigar en nuevas técnicas para el posicionado de un manipulador móvil para ejecutar agarre y transporte de objetos en entornos no estructurados. Este objetivo busca profundizar en las técnicas que permiten un posicionamiento conjunto de la plataforma móvil y del brazo manipulador que monta, haciendo uso del sistema multisensorial de la plataforma (propioceptivos y exteroceptivos). Para ello se van a desarrollar métodos basados en técnicas de visión 2D/3D, aprendizaje automático y control visual que permitan monitorizar el posicionamiento de los objetos durante las tereas de acercamiento y agarre.
    3. Investigación en sistemas de planificación y ejecución de misiones. Este objetivo contempla la planificación a alto nivel de las tareas necesarias para llevar a cabo misiones de recogida de objetos en exteriores, así como, la ejecución de las acciones para realizarlas. Las tareas incluyen la localización, agarre y transporte de objetos en espacios abiertos, mientras que las acciones consideran los algoritmos para localizarse y posicionarse (estimación de trayectorias) en un entorno cambiante (escenas con elementos dinámicos). Para ello se hará uso de técnicas de percepción móvil de cara a detectar elementos estáticos y dinámicos que alteren la percepción del mapa de la escena, y de esta manera, conseguir que la plataforma replanifique las acciones necesarias para completar la misión según las especificaciones del operador.
    4. Diseño y puesta en marcha de una plataforma de manipulación móvil en entornos exteriores. Aunque este objetivo no se planteaba como tal en la solicitud del proyecto, se trata de una tarea importante y necesaria para abordar la parte experimental y de aplicación del proyecto y así completar los otros objetivos. Consiste en la adaptación de una plataforma móvil (BLUE) disponible en el grupo de investigación solicitante, y apta para desenvolverse en entornos de exteriores, de forma que incorporase un brazo manipulador y la funcionalidad necesaria para llevar a cabo operaciones de manipulación móvil en entornos exteriores.
    • Objetivo 1. Este objetivo ya se ha alcanzado. Se ha conseguido adaptar técnicas manipulación diestra a entornos no estructurados usando diferentes sensores, y especialmente visión. Los algoritmos se han probado con casos prácticos, con el brazo robot instalado temporalmente en un laboratorio, o mediante simulación. Actualmente se está trabajando en evaluar los algoritmos de manipulación con objetos reales.
    • Objetivo 2. Se han diseñado e implementado algoritmos para localizar los objetos en la escena y determinar su posterior agarre. Este trabajo se ha realizado mediante simulación, faltando las pruebas con el sistema real, así como el desarrollo e implementación de los algoritmos de acercamiento al objeto a manipular por parte de la plataforma móvil.
    • Objetivo 3. Se han concluido las fases de desarrollo de las tareas de localización y navegación que permiten desplazar la plataforma hasta una zona de trabajo deseada, a falta de llevar a cabo pruebas de campo. La navegación también considera la percepción del entorno con detección y seguimiento de los objetos estáticos y dinámicos de la escena 3D del entorno a la plataforma móvil, de forma que la ejecución de las trayectorias funciona en un entorno dinámico, como se pretendía. Falta completar aspectos del planificador de misiones, como es su interfaz de usuario y evaluar en conjunto los diferentes niveles de planificación de misiones y navegación, así como abordar la integración de la planificación de misiones con la manipulación móvil y las pruebas de campo correspondientes.
    • Objetivo 4. Aunque con un retraso en su inicio, ya se completó el desarrollo del prototipo de plataforma movil robotizada a partir del vehículo BLUE. Además de la plataforma móvil real, se ha desarrollado un modelo para Gazebo que incluye la plataforma móvil, el brazo robot y los principales sensores, lo que ha facilitado evaluar algoritmos sin usar el equipamiento real.
  • El grupo AUROVA ha aportado al proyecto el robot móvil BLUE, sobre el que se está construyendo la plataforma de manipulación móvil. BLUE ha sido desarrollado por el grupo de investigadores solicitante para abordar la investigación en robótica móvil para entornos no estructurados, y dispone de unas características muy interesantes: es un vehículo de 4 ruedas con dirección tipo Ackermann; tiene capacidad para desplazar una carga útil de hasta 600Kg a velocidades de 5Km/h; puede circular tanto por terrenos irregulares como pavimentados gracias a sus cuatro ruedas neumáticas; tiene freno de emergencia; y se alimenta a partir de 2 baterías de 70A/h que proporcionan una gran autonomía. Entre los sensores que incluye la plataforma, destacan los siguientes:

    • LiDAR 3D Velodyne VLP-16 Puck. Campo de visión de 360º en horizontal con resolución de 0,2º, y 30º en vertical con resolución de 2º (16 capas).
    • Receptores GNSS Ublox C94-M8P. Conjunto de dos receptores GNSS multiconstelación (GPS, GLONASS, Galileo) y enlace de radio UHF, que implementan algoritmos corrección diferencial en diferentes modos. Un receptor está instalado sobre BLUE, y el otro en una posición de coordenadas geográficas perfectamente conocidas.
    • Unidad de medida inercial (IMU) MTi-630 de XSNENS. Más que una IMU, este módulo industrial es un AHRS (Attitude and Heading Reference System), dado que, además de disponer sensores para ofrecer medidas en 9 DOF (acelerómetro, giroscopio y magnetómetro), incluye un procesador que proporciona información de posición filtrada, de gran precisión y calibrada respecto a una referencia.
    • Múltiples cámaras RGBD modelo RealSense D435 de Intel.

    A parte de la plataforma móvil, gracias al proyecto se ha podido adquirir un brazo robótico UR5e OEM de Universal Robots. Se trata de un robot ligero que se puede instalar sobre la plataforma móvil BLUE, alimentándolo a partir de las baterías, con un espacio de trabajo que cubre un área razonable en torno a la parte trasera de la plataforma móvil, de forma que con su herramienta se podrán llevar a cabo las operaciones de manipulación. El robot ha sido equipado con un a pinza 2F-140 de Robotiq adquirida previamente por el grupo AUROVA.

  • Publicaciones SCI:

    1. Iván del Pino, Miguel Á. Muñoz-Bañon, Saúl Cova-Rocamora, Miguel Á. Contreras, Francisco A. Candelas, Fernando Torres. “Deeper in BLUE: Development of a roBot for Localization in Unstructured Environments”. Journal of Intelligent and Robotic Systems (Springer), Vol. 98, pp. 207–225, 2019. ISSN: 0921-0296. DOI: https://doi.org/10.1007/s10846-019-00983-6 (FI 2,259 JCR 2019, Clarivate Analytics).
    2. Miguel Á. Muñoz–Bañón, Iván del Pino, Francisco A. Candelas, Fernando Torres. “Framework for Fast Experimental Testing of Autonomous Navigation Algorithms”. Applied Sciences (MDPI), Special Issue Mobile Robots Navigation, 2019, Vol. 9 (10), pp. 109-131. EISSN 2076-3417. DOI: https://doi.org/10.3390/app9101997 (FI 2,474 JCR 2019, Clarivate Analytics).
    3. B.S. Zapata-Impata, P. Gil, Y. Mezouar, F. Torres. “Generation of Tactile Data from 3D Vision and Target Robotic Grasps”. IEEE Transactions on Haptics, 2020. En proceso de publicación. DOI: https://doi.org/10.1109/TOH.2020.3011899 (FI 3,099 JCR 2019, Clarivate Analytics).

    Otras publicaciones:

    1. Santiago T. Puente, Lucía Más, Fernando Torres, Francisco A. Candelas, “Virtualization of Robotic Hands Using Mobile Devices”. Robotics, Special Issue Robotics in Spain 2019 (MDPI), Vol. 8, 81, 2019. ISSN 2218-6581. DOI: https://doi.org/10.3390/robotics8030081  (Citescore 2,5 SCOPUS).
    2. [5] B.S. Zapata-Impata, P. Gil, F. Torres. “Tactile-Driven Grasp Stability and Slip Prediction”. Robotics, Special Issue Robotics in Spain 2019 (MDPI), Vol. 8(4), 85, 2019. ISSN 2218-6581. DOI: https://doi.org/10.3390/robotics8040085 (Citescore 2,5 SCOPUS).

    Controbuciones a conngresos:

    1. Puente, S.T.; Más, L.; Torres, F; Candelas, F.A. “Teleoperación de manos robóticas mediante virtualización en Unity 3D para dispositivos móviles”. Jornadas Nacionales de Robótica (Spanish Robotics Conference), 13-14 junio 2019, Alicante. Comunicación oral. Actas de las Jornadas Nacionales de Robótica, pp. 169-174, ISBN: 978-84-09-12133-5.
    2. BS Zapata-Impata, P Gil, F Torres. “Predicción de la estabilidad en tareas de agarre robótico con información táctil”. Jornadas Nacionales de Robótica (Spanish Robotics Conference), 13-14 junio 2019, Alicante. Comunicación oral. Actas de las Jornadas Nacionales de Robótica, pp. 249-256, ISBN: 978-84-09-12133-5.
    3. B.S. Zapata-Impata, P. Gil, F. Torres. “vision2tactile: Feeling Touch by Sight”. Workshop on Closing the Reality Gap in Sim2real Transfer for Robotic Manipulation, Robotics Science and Systems (RSS) Conference, Freiburg (Alemania), 23 junio 2019. Comunicación con póster.
    4. Alejandro Olivas González, Fernando Torres Medina. "Detection and Classification of Obstacles Using a 2D LiDAR Sensor". Fifth International Conference on Advances in Sensors, Actuators, Metering and Sensing (ALLSENSORS 2020), 21-25 noviembre 2020, Valencia. ISBN: 978-1-61208-766-5