La monitorización en el automóvil con imágenes en 3D ya es una realidad gracias a la tecnología ToF

La tecnología está haciendo que nuestros dispositivos sean más interactivos de forma tridimensional. Los sistemas de visión son un habilitador clave a este respecto, ya que trabajar en tres dimensiones introduce la percepción de profundidad, y eso añade una gran cantidad de contexto a una escena.

La vida animal generalmente se basa en la visión estereoscópica para proporcionar una percepción de profundidad, pero en términos de visión artificial, las opciones se amplían para incluir luz estructurada y tiempo de vuelo (ToF). La luz estructurada funciona sobre la base de la medición de deformaciones en un patrón conocido, reflejado por un objeto en el campo de visión; Las sombras proyectadas por los edificios en un día soleado ilustran el concepto, pero son muy poco del esfuerzo de procesamiento requerido para dar sentido a las formas creadas. El cerebro es particularmente hábil para procesar escenas que contienen patrones de luz estructurados, pero imitar esto en un sistema de visión requiere unos niveles similares de recursos informáticos. Por otro lado, ToF puede ser un poco más difícil de entender, pero requiere una capacidad de procesamiento mucho menor para implementarlo artificialmente, lo que lo hace viable en muchas más aplicaciones. El uso de ToF para identificar y monitorizar objetos en movimiento en un campo de visión, con un alto nivel de resolución y en 3D, significa que es especialmente adecuado para detectar gestos con las manos en el espacio libre. Los fabricantes de automóviles ahora están explorando este concepto para proporcionar una forma de HMI sin contacto para los conductores.

El principio detrás de ToF consiste en medir el desplazamiento de fase de una señal modulada y, a este respecto, la forma en que se comporta la luz es similar a la forma en que se comporta cualquier forma de onda en el espectro de RF en el dominio del tiempo. El tiempo que tarda una onda en recorrer una distancia es predecible, al igual que el cambio de fase que se produce durante ese tiempo; esta información permite calcular el desplazamiento de fase en una señal reflejada. Esta medida corresponderá a la distancia entre la fuente de luz y el sensor. Por ejemplo, medir distancias ópticamente es la forma en que muchas cámaras digitales implementan el enfoque automático, pero la resolución que ofrece el enfoque automático no es adecuada para el reconocimiento de gestos.

Usando una matriz de sensores ópticos para capturar la luz reflejada por un objeto y un procesador para comparar eso con el patrón original, permite a ToF usarse de la misma manera que en una cámara tradicional, pero para ofrecer una alta resolución de percepción de profundidad en lugar de simplemente contraste. Con la incorporación de ópticas adecuadas, la tecnología puede ofrecer un amplio campo de visión y proporcionar excelentes resultados en varias aplicaciones.

Gualtiero Bagnuoli, Marketing Manager Optical Sensors, Melexis.

ToF ahora está siendo utilizado por los fabricantes de automóviles para proporcionar la detección y monitorización de ocupantes de manera discreta. Uno de los requisitos previos para ToF es la fuente de luz modulada y, cuando trabaja en la parte no visible del espectro, esto generalmente significa un LED IR o VCSEL (Vertical Cavity Surface-Emitting Laser). Junto con LUMILEDS y BECOM Bluetechnix, Melexis ha desarrollado un kit de evaluación completo (EVK75024) para sus soluciones ToF, que ofrece a los ingenieros la capacidad de evaluar el rendimiento y la idoneidad de las tecnologías LED y VCSEL para su aplicación.

El EVK se basa en dos dispositivos clave; la matriz de sensores de tiempo de vuelo MLX75024 y el chip de acompañamiento de tiempo de vuelo MLX75123BA. En resumen, el MLX75024 es un sensor de imagen ToF con resolución QVGA (320 x 240 píxeles) en un encapsulado BGA de vidrio de tipo oblea que está calificado para AEC-Q100 (Grado 2). Utiliza la tecnología de píxeles DepthSense de Sony y es adecuado para monitorización del habitáculo, reconocimiento de gestos y visión artificial, así como para otras aplicaciones. El MLX75123BA es el chip complementario dedicado para la matriz de sensores ToF e integra ADCs de alta velocidad para proporcionar datos de sensores digitales a través de un puerto de cámara paralelo. También genera la señal de control utilizada para conducir la fuente de luz.

La elección de si usar VCSEL o LED como la fuente de luz para la detección de ToF dependerá de la aplicación. En algunos casos, la fuente de luz VCSEL más costosa puede ser necesaria para proporcionar una mayor refracción a la luz solar, gracias a su ancho de banda de irradiación que permite el uso de un filtro. Donde la refracción de la luz solar no es tan crítica, los LED pueden ser más apropiados. El ancho de banda más amplio de los LED también puede proporcionar un mayor nivel general de irradiancia, todo lo cual puede ser utilizado por el receptor.

Otra diferencia clave es el tiempo de subida y caída comparativo de las dos fuentes de luz. Los VCSEL tienen un tiempo de subida / caída más corto que los LED, lo que permite una mayor frecuencia de modulación. Con un tiempo de subida / caída naturalmente más largo, los LED están limitados en su amplitud de modulación y, por lo tanto, en la frecuencia de modulación. Sin embargo, al sobrecargar los LED es posible acortar los tiempos de subida / caída de los LED, ampliando así su frecuencia de modulación sin ninguna degradación significativa en la modulación. El chip complementario ToF de MLX75123BA, como se usa en el EVK, admite frecuencias de modulación de entre 12 MHz y 40 MHz.

El kit EVK75024 permite a los ingenieros comprender mejor los parámetros clave involucrados al diseñar una aplicación ToF basada en el sensor Melexis y el chip complementario, utilizando LED IR o VCSEL. El procesamiento posterior de los datos de imagen digital proporcionados por el conjunto de chips se realiza en gran parte por el firmware de EVK, que se ejecuta en un procesador de cuatro núcleos i.MX6, que se aloja en una PCB independiente y se suministra como parte de EVK. En la Figura 1 se muestra un diagrama de bloques del kit.

Figura 1: Diagrama de bloques del EVK75024.

El EVK está diseñado para ser utilizado con un paquete de software complementario que se ejecuta en una PC conectada al kit. El software proporciona una GUI para controlar el kit y visualizar las imágenes que produce, tanto en tiempo real como con la capacidad de realizar y reproducir grabaciones de video. La GUI también proporciona acceso a los parámetros utilizados para configurar el EVK, dos de los cuales son el tiempo de integración del sensor (también conocido como tiempo de exposición) y la potencia de salida de las fuentes de luz IR.

La combinación de estos dos parámetros define el rendimiento del sensor para una escena o entorno dado, basado en gran parte en las dimensiones de la escena. Por ejemplo, el tiempo de integración dependerá de la distancia de interés entre el sensor y el objeto que se detecta. Aunque se capturará la escena completa, independientemente de la distancia desde el sensor, los objetos en el campo de visión que se encuentran dentro de los parámetros sintonizados se detectarán con la mayor precisión en términos de resolución. En este caso, la resolución se refiere a la distancia en lugar del contraste, sin embargo, todavía se representará mediante un histograma (Figura 2).

Figura 2: Captura de pantalla del software de visualización que muestra el interior de un automóvil. La imagen codificada por colores se basa en un histograma que indica la distancia desde el sensor.

En lugar de tener un tiempo de integración fijo, los ingenieros usan el EVK para ajustar el tiempo de integración para lograr la mejor relación señal / ruido (SNR) para el tipo de objeto detectado, su distancia al sensor y las características ambientales. Por lo tanto, será necesario ajustar el tiempo de integración para cada caso de uso y esto solo se puede hacer en un escenario del mundo real, utilizando el EVK y el software de visualización.

El tiempo de integración determina el período de tiempo durante el cual el sensor recoge la luz IR a través de su campo de visión. La cantidad de luz que llega al sensor variará en función de la absorción / refracción de los objetos en la escena, pero también se atenuará en la distancia en función de la ley de la raíz cuadrada, y también se filtrará por el entorno por el que pasa, de modo que el tiempo de integración depende claramente de algo más que la distancia entre los objetos y el sensor.

El tiempo de integración también debe ser ajustado por la cantidad de energía que emiten las fuentes IR. Como un sistema ToF usa luz modulada constantemente, la potencia de la luz emitida se controla predominantemente por la cantidad de corriente que pasa a través de los emisores. Si bien, en general, es cierto que una mayor cantidad de energía que llega al receptor proporcionará una mejor SNR, también es evidente que demasiada energía en el sensor hará que se sature. Es necesario llegar al equilibrio ajustando ambos parámetros, lo que se puede lograr mediante la evaluación de la señal recibida mediante el software de visualización y el ajuste de los parámetros en consecuencia.

Normalmente, se recomienda a los ingenieros que comiencen optimizando la potencia emitida y mantengan el tiempo de integración lo más corto posible, para reducir el impacto que el componente IR de la luz ambiental tendrá en el sensor.

El EVK se conecta al PC huésped a través de una conexión Ethernet o USB. El software Visualizer incluye varias herramientas, incluida la herramienta Model3D, que muestra una nube de puntos 3D que permite visualizar los datos desde cualquier ángulo, sin embargo, la parte principal del software es el propio Visualizer, que muestra los datos de la imagen en forma de histograma de color codificado o en escala de grises, complementado por una gran cantidad de datos que se pueden utilizar en el desarrollo de una aplicación final (Figura 3).

Figura 3: Captura de pantalla de la herramienta Visualizer que muestra dos histogramas de la imagen capturada.

En términos de desarrollo de productos, el EVK se suministra con una API que se puede integrar en una aplicación escrita en C / C ++, que permite que una aplicación obtenga imágenes del EVK75024, así como leer y escribir en los registros para ajustar los parámetros, así como realizar operaciones matemáticas sobre los datos. MATLAB también es compatible, a través del Matlab SDK y el EVK Matlab Visualizer, que incluye ejemplos de cómo capturar y mostrar datos de imágenes utilizando el entorno MATLAB. El EVK está disponible con iluminación LED IR de 80° o campo de visión de iluminación VCSEL de 110°. Como tal, el EVK satisface las necesidades de la gran mayoría de las aplicaciones de imágenes y también se puede utilizar en un producto final.

Como el EVK se proporciona como una cámara completa en un formato comparable al de un producto final, se puede usar para caracterizar completamente una aplicación. Sin embargo, un área en la que el equipo de diseño deberá centrarse al pasar del EVK a un producto desplegable es la estabilidad en el tiempo y la temperatura.

La naturaleza de los LEDs IR es mostrar la deriva sobre la temperatura, específicamente en sus tiempos de encendido y apagado. En la mayoría de las aplicaciones, esto puede no presentar un problema, pero en un sistema de imagen bien ajustado que se basa en la medición de la diferencia de fase entre una fuente y una señal recibida, las discrepancias de tiempo se convierten claramente en una oportunidad para producir errores.

La solución a esto es compensar la deriva en la temperatura, usando un algoritmo de calibración que toma en cuenta estas variaciones sobre la temperatura ambiente y de funcionamiento, y usa esta información cuando procesa la salida del sensor. Esto se puede lograr haciendo un pequeño número de mediciones en una serie de temperaturas. Estas mediciones se pueden usar para construir un modelo de los LED y la variación en los tiempos de encendido / apagado que se mostrarán en todo el rango de temperatura de funcionamiento. Este modelo se puede añadir al código de la aplicación para compensar la deriva. Si bien esta técnica es perfectamente aceptable en la mayoría de las aplicaciones, si se requiere una precisión extrema en todo el rango de temperatura de trabajo, puede ser necesario caracterizar los LED individuales para cada producto como parte del proceso de fabricación y producción.

El firmware proporcionado como parte de EVK incluye un algoritmo de compensación para los LED utilizados en el kit, y Melexis está trabajando actualmente en el desarrollo de una versión desplegable de la pila de software que incluye la capacidad de modificar los parámetros del algoritmo de calibración. El EVK se suministra con archivos de diseño y esquemas para la placa del sensor, la placa de iluminación y la placa de interfaz. La lista de materiales también puede ser suministrada.

El uso del principio de la luz modulada en el tiempo de vuelo para crear imágenes en 3D es ahora una tecnología madura y en la que Melexis puede ofrecer una experiencia particular. El EVK75024 ofrece acceso completo a esta potente tecnología, gracias a la matriz de sensores de tiempo de vuelo QVGA MLX75024 y el chip compañero de tiempo de vuelo MLX75123BA, junto con los LEDs Luxeon IR de LUMILEDS y la óptica necesaria para crear una solución de visión total.

Con la incorporación de un potente entorno GUI, los ingenieros pueden evaluar muy rápidamente ToF en su propia aplicación, y pasar de ese proceso de evaluación al ciclo de diseño y, a partir de ahí, a la producción total. El EVK75024 brinda a los equipos de ingeniería las herramientas que necesitan para aprovechar al máximo el potencial de imágenes en 3D en una amplia gama de aplicaciones, con especial énfasis en la monitorización dentro del automóvil.

Con sede en Italia, Gualtiero Bagnuoli es director de Marketing para sensores ópticos en Melexis. Ha trabajado en la industria informática y más tarde en la industria de la automoción durante más de 10 años. Antes de unirse a Melexis, ocupó cargos de Marketing de automoción con Micronas (ahora TDK). Es licenciado en Ingeniería Electrónica.