Módulo de visión multimodal para plataformas robóticas

STMicroelectronics y Leopard Imaging han presentado un módulo de visión multimodal diseñado para robots humanoides y sistemas robóticos avanzados, integrando captura de imagen, detección de profundidad y seguimiento de movimiento en una arquitectura compacta y eficiente para sistemas de IA en el borde.

Percepción integrada para sistemas robóticos
El módulo responde a una necesidad clave en la visión robótica: integrar múltiples modalidades sensoriales en una única cadena de datos sincronizada. Al combinar imagen 2D, detección de profundidad 3D y medición inercial del movimiento, los robots pueden interpretar su entorno con mayor precisión contextual.

Este enfoque permite aplicaciones en manufactura, producción automotriz, logística, almacenamiento y robótica de servicios, donde las máquinas operan en entornos dinámicos y no estructurados. La arquitectura se alinea con la evolución del automotive data ecosystem y la robótica industrial, donde la fusión de sensores es esencial para la toma de decisiones en tiempo real.

El módulo ha sido diseñado considerando las restricciones de tamaño, peso y consumo energético (SWaP) propias de los robots humanoides.

Integración nativa con el ecosistema robótico de NVIDIA
Una característica clave es su compatibilidad con la plataforma robótica de NVIDIA. La integración del NVIDIA Holoscan Sensor Bridge permite la transmisión de datos a velocidades de varios gigabits a través de Ethernet, facilitando la ingestión en tiempo real de datos sensoriales en plataformas NVIDIA Jetson.

Esta arquitectura simplifica el diseño del sistema mediante conectividad plug-and-play, reduciendo la necesidad de interfaces personalizadas. Además, el módulo es totalmente compatible con la plataforma NVIDIA Isaac, que proporciona modelos de IA, herramientas de simulación y bibliotecas de desarrollo.

La disponibilidad de APIs, sistemas de compilación y algoritmos de IA preconfigurados acelera los ciclos de desarrollo. Las capacidades de simulación, como la aleatorización de dominio y los modelos de sensores, ayudan a reducir la brecha entre la simulación y el comportamiento real de los robots.

Arquitectura de fusión sensorial y especificaciones técnicas
El módulo integra tres tecnologías principales de detección, cada una enfocada en un aspecto específico de la percepción robótica:

Sensor de visión - El sistema incorpora el sensor de imagen VB1940 RGB-IR con una resolución de 5,1 megapíxeles y soporte para modos rolling shutter y global shutter. Esta combinación permite capturar objetos en movimiento rápido sin distorsión, manteniendo calidad de imagen en diferentes condiciones de iluminación.

También se ofrece una variante adicional, V943 de la familia BrightSense, para aplicaciones industriales y de gran volumen, disponible en versiones monocromáticas o RGB-IR.

Sensor de movimiento - La medición de movimiento se realiza mediante la unidad de medición inercial LSM6DSV16X de 6 ejes, que integra un núcleo de aprendizaje automático (MLC). Este permite ejecutar procesamiento de IA en el borde, junto con funciones de fusión de sensores de bajo consumo (SFLP).

La tecnología Qvar de detección electrostática añade capacidades de interacción mediante detección de usuario.

Sensor de profundidad 3D - La percepción de profundidad se basa en el módulo LiDAR dToF VL53L9CX, que proporciona medición de distancias de hasta 9 metros. Opera con una resolución de 54 × 42 zonas (aproximadamente 2.300 puntos).

Con un campo de visión de 55° × 42° y una resolución angular cercana a 1°, permite detectar objetos pequeños y mapear entornos complejos. Su velocidad de hasta 100 fps posibilita la reconstrucción 3D en tiempo real.

Impulso al desarrollo de sistemas de IA física
La integración de sensores sincronizados con transmisión de datos de alta velocidad permite a los robots procesar su entorno en tiempo real. Esta capacidad es esencial en sistemas de IA física, donde percepción, decisión y acción deben ejecutarse con baja latencia.

Al estandarizar la integración de sensores dentro del ecosistema NVIDIA, el módulo reduce la complejidad del desarrollo y facilita la escalabilidad en aplicaciones robóticas. La combinación de hardware, software y herramientas de simulación acelera los ciclos de desarrollo y validación.

Este avance refleja una tendencia creciente hacia plataformas integradas de sensores y computación, donde la interoperabilidad y la coherencia de datos son fundamentales para el progreso de sistemas autónomos y semiautónomos.

Editado por la periodista industrial Sucithra Mani con la ayuda de IA.

www.st.com