Fujitsu desarrolla la primera tecnología del mundo stream de agregación rápida de datos históricos y de entrada

Los laboratorios de Fujitsu han anunciado el desarrollo de la primera tecnología mundial que permite agregar de forma rápida datos históricos y flujos de entrada de nuevos datos, en un contexto de gran información y sin interrupción. Gracias a ella, se consigue una actualización de alta frecuencia, llegando a obtener un procesamiento de 500.000 registros, 100 veces más rápido que antes.
En la actualidad procesar los datos requiere de una alta velocidad. Por ello, cuando se agregan de forma masiva, se necesita mayores tiempos de cálculo y frecuentes operaciones de actualización que no suelen ser excesivamente rápidas. La nueva tecnología de Fujitsu devuelve los resultados de los cálculos de manera rápida y administra las operaciones de forma instantánea, sin tener que hacer nuevas operaciones de relectura. Esto lo consigue tanto en streaming, como cuando se hace por lotes y así, como ejemplo, en temas de meteorología ahora es posible mostrar el porcentaje de lluvias concentradas en áreas específicas. Además, la utilidad obtenida para pronósticos de tiempo futuro, también puede tener nuevas aplicaciones en campos que requieren la capacidad de procesar datos longitudinales en tiempo real.

Características de la nueva tecnología
Es fruto de la combinación de dos tecnologías:
• La primera se basa en utilizar patrones de la tecnología “Rapid”, gracias a la cual, de una forma eficiente y directa, escoge los elementos pertinentes de un flujo de entrada de datos. La manera convencional comienza por analizar los datos de entrada y acumular temporalmente estos en la memoria. Después se realiza el proceso de extracción. Lo cual lleva a la realización de dos pasos y a necesitar un mayor tiempo de ejecución. Ahora, gracias a este proceso creado por Fujitsu, se pueden extraer los datos saltando sobre los que no sean necesarios y también se puede trabajar sobre estructuras jerárquicas, aportando una gran flexibilidad.
• La segunda se basa en la operación de gestión de la tecnología “Snapshot”. Mediante la cual se devuelven de manera rápida los datos, ya que éstos son cambiantes. En vez de guardarlos a partir de su secuencia en el tiempo, esta tecnología los almacena y clasifica por un orden preestablecido. Se gestionan según una serie de operaciones computarizadas y así no es necesario volver a realizar cálculos sobre todos los datos.

Fujitsu ha probado esta tecnología en un proyecto en el Ministerio de Tierra, Infraestructura, Transporte y Turismo de Japón, en su Oficina de Agua y Gestión de Desastres. En concreto, se ha realizado sobre unas 500.000 localidades de la región de Kansai, en el oeste de Japón, para controlar desastres medioambientales causados por grandes precipitaciones en la región y así poder ejercer un mayor control sobre las altas concentraciones de lluvias.