A fondo: Holo Lens 2

En todas estas “realidades” digitales, hay un componente virtual que constituye todo o parte de la experiencia interactiva que se ofrece al usuario. Si es todo, hablamos de realidad virtual. Es preciso que este mundo se presente ante los ojos del usuario a través de un sistema que los aísle completamente del entorno real, casi siempre a través de cascos inmersivos que integran sensores de movimiento, pantalla, auriculares o altavoces y otros sensores que registran el movimiento de otras partes del cuerpo tales como manos o pies.

Tiene aplicaciones en ámbitos como el lúdico, con modelos de negocio que empiezan a funcionar bien en el campo de los videojuegos de realidad virtual. HTC con las VIVE y Oculus con las Rift son líderes en este tipo de aplicación de la RV. Compañías como Zero Latency han conseguido poner en funcionamiento un negocio de salas de juego virtual cooperativo, especialmente tras el desarrollo de sistemas de RV autónomos, donde la CPU se lleva en una mochila a la espalda, con lo que no se necesitan complejas conexiones inalámbricas entre los HMDs (gafas de realidad virtual) y los servidores del juego.

La Realidad Virtual precisa de ordenadores muy potentes que sean capaces de renderizar los mundos virtuales con una calidad gráfica suficiente como para que sea creíble, y con una tasa de frames suficiente como para que no maree, así como con una latencia suficientemente baja como para que los movimientos del cuerpo se trasladen al mundo virtual sin retardos.

Es una tecnología muy atractiva en lo que concierne a la experiencia inmersiva, aunque compleja en tanto en cuanto hay que desarrollar los entornos virtuales completos, hasta el más mínimo detalle. Al estar fuera de la realidad, la experiencia tiene que ser creíble.

La Realidad Aumentada, sin embargo, combina la realidad que vemos con nuestros ojos con elementos que “la aumentan” superponiendo información o componentes virtuales, aunque sin ánimo de reemplazar la realidad que percibimos con nuestros sentidos.

En la Kinect, por ejemplo, el eslogan era “el mando eres tú”. En este caso, la realidad de nuestros movimientos se “aumentaba” en forma de movimientos para los personajes de los juegos que se mostraban en la pantalla. En un simulador de vuelo profesional, los mandos son reales, “aumentando” la realidad del uso del panel de control con visualización en la pantalla de escenarios virtuales.

La Realidad Aumentada, sin embargo, es un caso particular de un caso más general que es la Realidad Mixta, que engloba todas aquellas realizaciones que transitan entre la Realidad Virtual y la Realidad “real”. Por decirlo de algún modo, la Realidad Virtual es completamente inventada, mientras que en la Realidad Mixta hay elementos de la vida real integrados en la experiencia de interacción, en mayor o menor medida.

Microsoft ha aglutinado sus proyectos alrededor de las nuevas realidades “digitales” alrededor de la iniciativa Windows Mixed Reality. El “know how” de Microsoft es amplio en el campo, sobre todo, de la Realidad Aumentada, aunque también ofrece compatibilidad con Realidad Virtual a partir de HMDs de terceros, sobre todo para aplicaciones alrededor del gaming.

Además de las propuestas de Realidad Virtual, Microsoft lleva algunos años desarrollando las HoloLens, unas gafas de realidad aumentada capaces de superponer sobre lo que vemos con nuestros propios ojos, elementos virtuales que añaden información u objetos virtuales con los que se puede interactuar sin “salir” del entorno real.

Las Google Glass iban en una dirección similar, pero su capacidad para superponer elementos adicionales sobre la actividad cotidiana estaba limitada por su hardware y por las aplicaciones disponibles, igualmente limitadas por la propia plataforma.

La primera versión de las gafas HoloLens data de 2016. Los elementos superpuestos se ceñían a una parte de las gafas que abarcaba unos 34 grados de ángulo de visión y su resolución era modesta. El resultado del aumento de realidad era interesante, pero no suficientemente convincente como para abordar su uso comercial de un modo generalizado.

Los modelos de uso en campos como la asistencia remota, o la formación o en escenarios avanzados de marketing en puntos de venta o para llevar a cabo demostraciones de productos y soluciones eran prometedores, pero más conceptuales que preparados para integrarse en sistemas en producción.

Eso sí, los escenarios de uso potenciales para la tecnología se mostraron muy diversos y transversales, con aplicaciones en sectores como el educativo, el industrial, el turismo, el marketing y la publicidad, el mantenimiento y soporte técnico, etcétera.

El pasado año, Microsoft presentaba las HoloLens 2. Estas gafas para Realidad Aumentada se basan en la primera generación, pero mejoran en todo aquello que las primeras dejaban a medias. La resolución de la “pantalla” aumenta, así como el ángulo de visión, que pasa a ser de unos 43 grados. Esto se traduce, visto de otro modo, en un aumento de la superficie útil de “proyección” sobre el campo de visión.

Las gafas mejoran en ergonomía, así como en potencia de cálculo y rendimiento tanto de CPU como de GPU. No podemos perder de vista que el procesador, memoria, conectividad y almacenamiento están integradas en las propias gafas. Hay muchos escenarios de uso que requieren de la conectividad cloud, pero las HoloLens 2, al igual que las HoloLens, pueden ejecutar aplicaciones offline si así se requiere.

Microsoft, además, ofrece la herramienta Dynamics 365 Guides para crear entornos de Realidad Aumentada para HoloLens 2 con el foco puesto en la creación de guías paso a paso junto con el uso de técnicas como el reconocimiento de objetos. Otro campo donde Microsoft cuenta con herramientas específicas es el de la asistencia remota, que es una de las aplicaciones de la RA más maduras y preparadas para su despliegue en sistemas en producción, especialmente en el campo del mantenimiento en el sector industrial.

Dynamics 365 Remote Assist es, precisamente, la herramienta que permite “llevar” los conocimientos de personal especializado al lugar donde están los problemas a través de la RA integrada en las HoloLens que esté usando el técnico que haya acudido al lugar de la incidencia.

Además, puede complementarse con asistencia remota en tiempo real, de modo que un operario en el centro de operaciones de la compañía puede guiar en caso de necesidad al técnico en su labor.

Durante la demostración de las HoloLens 2, pudimos asistir a una demostración real de uso de las HoloLens 2 en un escenario de mantenimiento remoto. Es una demostración diseñada por el partner tecnológico de Microsoft en España, Plain Concepts. Esta empresa nace en 2006 como resultado de la alianza de cuatro MVPs de Microsoft con la vocación de ofrecer soluciones tecnológicas usando las herramientas de Microsoft y otras compañías.

Precisamente, este es uno de los ingredientes esenciales de la receta de la Realidad Aumentada en particular y la Realidad Mixta en general. Las gafas por sí solas no sirven de nada si no se cuenta con un ecosistema de servicios y desarrolladores que alimente a la parte “aumentada” de la RA. Hay que identificar elementos de la realidad “real”, procesarlos, superponer la información, ofrecer interactividad, etcétera.

Si se añaden elementos virtuales a la ecuación, es preciso ubicarlos correctamente en el espacio físico, así como interactividad. Por supuesto, existen APIs para ello, por lo que el proceso se simplifica hasta cierto punto, pero sigue siendo necesario contar con un equipo especializado en el diseño, programación y mantenimiento del ecosistema de la Realidad Aumentada.

Además, es preciso integrar la plataforma con otras que ya existan. Por ejemplo, si el equipo técnico que está sobre el terreno realizando una tarea de asistencia o reparación, es conveniente integrar la plataforma ERP o SAP para gestionar pedidos de piezas o añadir el parte de actuación de forma que se pueda facturar correctamente el servicio.

Son solo ejemplos, por supuesto. Pero en el fondo, estos ingredientes, como son la integración, el diseño, la programación o el mantenimiento de la plataforma, son comunes a muchos proyectos. Empresas como Plain Concepts son las encargadas de gestionarlos en el caso de que las empresas no tengan la capacidad o la intención de asumirlos.

Las gafas, como decíamos, tienen un peso muy relevante dentro del ecosistema. Son las responsables, dentro del ecosistema de RA, de ofrecer una experiencia de aumentación de la realidad creíble y útil. Hablamos de que la RA, junto con las HoloLens 2, está ya preparada para su uso en entornos de producción reales.

El aumento del ángulo de visión, junto con el incremento de la resolución de la visualización de los elementos de RA, hace que la experiencia sea mucho mejor que con las primeras HoloLens.

Cuentan con seguimiento de la visión del usuario, lo cual permite interactuar con la RA usando la mirada. Y los usuarios pueden autenticarse usando el reconocimiento de iris. También pueden capturar el espacio 3D a su alrededor gracias a su cámara ToF (Time of Flight) de 1 Mpx, y capturar fotos y vídeos.

La representación de los objetos en pantalla consigue un efecto de visión holográfica en la práctica. Las imágenes superpuestas se generan a través de la Holographic Processing Unit o HPU, y se “proyectan” sobre el área activa de las gafas de tal modo que aparecen correctamente en foco creando el efecto de superposición tridimensional sobre la realidad propiamente dicha.

Pudimos probar las gafas en escenarios aumentados donde la interacción con los elementos añadidos virtualmente era fluida y natural, exenta de latencias apreciables y muy intuitiva. Las gafas cuentan con sensores evolucionados a partir de la tecnología de Kinect, capaces de mapear el entorno real y posicionar correctamente los objetos en el espacio, así como identificar nuestras manos con una notable precisión.

Si estamos viendo una estantería virtual con objetos, podemos cogerlos, soltarlos, voltearlos. Si se caen, se caen sobre el suelo o sobre las superficies de objetos como una mesa. Y todo ello en tiempo real. Y con una calidad gráfica creíble y óptima. No se trata de conseguir una calidad excepcional, pero sí suficiente como para que la interacción sea creíble y con un nivel de detalle que permita identificar etiquetas, texto, elementos gráficos y detalles importantes dentro de la experiencia de un modo correcto.

Las HoloLens 2 ya están preparadas para su integración en procesos de atención remota, asistencia técnica o formación asistida o autónoma. Estos escenarios son ya posibles y con una utilidad real en campos como la educación y formación de profesionales de sectores sumamente variados. Desde el personal técnico de mantenimiento, como ya está poniendo en práctica Thyssenkrupp, hasta el personal encargado de realizar operaciones de mantenimiento en oficinas o instalaciones industriales.

En sectores como la medicina también hay casos de uso interesante, aunque en este caso la complejidad radica en el desarrollo de los escenarios de RA que se necesiten para cada caso concreto. No es lo mismo diseñar una experiencia a partir de modelos CAD/CAM de un motor o una máquina industrial, que, a partir de modelos anatómicos, con una complejidad y casuística mucho mayores. En cualquier caso, el Hospital Gregorio Marañón, junto con la empresa Exobyte, ya han desarrollado un caso de uso en quirófano, donde las HoloLens 2 se emplearon para consultar en tiempo real durante una intervención, los datos médicos del paciente.

En Logística, el uso de las HoloLens 2 es también prometedor. Operaciones de picking, control de stocks, gestión de almacenes o seguimiento de pedidos, la Realidad Aumentada puede aportar ventajas notables si, además, se combina con la gestión de los pedidos automáticamente a través de conexiones con los sistemas de bases de datos usando la identificación automática de códigos de barras o la detección de objetos mediante sistemas de IA.

Retail es otro escenario de uso donde ya es posible pensar en la integración de la Realidad Aumentada y la Realidad Mixta. Es el caso, por ejemplo, de Volvo, que usa las HoloLens para recrear una experiencia de compra interactiva donde el cliente puede “ver” todos los detalles de su futuro coche en el punto de venta así como tomar decisiones.

En el campo de las Utilities, las HoloLens también ofrecen un valor añadido para las tareas de control y mantenimiento de infraestructuras. El uso de la RA, especialmente si se acompaña de herramientas de análisis y predicción, permiten adelantarse a los acontecimientos y prever posibles problemas, así como resolverlos sin comprometer la continuidad del servicio.

La integración de plataformas cloud como Azure es otro de los pilares de desarrollo de las experiencias de RA. Tecnologías como las derivadas del uso de IA, abren la puerta al reconocimiento de objetos, personas, movimientos, así como la identificación de valores provenientes de sensores para la obtención de “insights” estadísticos o en tiempo real.

En este escenario de uso, lo que está en juego es una tendencia cada vez más aceptada y adoptada en la que se cuenta con dispositivos en “el Edge” con una capacidad de procesamiento que les permite ser autónomos en cuanto a funcionamiento, pero con un grado de interacción relevante con la nube, donde se realizan los cálculos y operaciones que requieren de una potencia de cálculo y procesamiento a la altura de la complejidad de las tareas que se estén afrontando en un momento dado.

Tras el “boom” mediático de la Realidad Virtual de hace unos años, que arrastró también a la Realidad Aumentada y propició la llegada de la Realidad Mixta, daba la sensación de que estas tecnologías se habían quedado relegadas a un uso eminentemente lúdico.

Nada más lejos de la realidad: en la industria se están empleado ya estas tecnologías de un modo progresivamente más generalizado. Vuzix o Magic Leap son otras de las empresas que están ofreciendo soluciones en el campo de la Realidad Aumentada y Mixta.

HoloLens 2 mejora HoloLens y llega también con la integración con herramientas como Microsoft Dynamics, así como con Azure, la plataforma cloud de Microsoft. Y con la llegada de partners tecnológicos como Plain Concepts que ven en la Realidad Mixta una puerta abierta para construir soluciones para la industria en sectores progresivamente más diversos.

Se trata de una solución con un coste que solo aquellas empresas que obtengan ahorros significativos a partir del uso de la Realidad Aumentada se pueden permitir tras hacer los correspondientes cálculos sobre el retorno de la inversión y costes operativos. Los precios de HoloLens 2 son aún elevados y a ello hay que sumar el coste del desarrollo de las soluciones RA.