En un artículo anterior veíamos que en la denominada arquitectura Lambda Big Data una de las capas era la denominada Speed Layer. Se trataba de la capa responsable del procesado en tiempo real de aquellos datos que necesitan ser expuestos de un modo inmediato, y así superar el alto grado de latencia inherente a la capa de almacenamiento y procesado batch.
Se trata pues de realizar el análisis de datos tan pronto como esos datos fluyen en las aplicaciones, sin necesidad de que tengan que ser persistidos en ningún sistema de almacenamiento de modo que se habilite a los usuarios para tomar decisiones en tiempo real basadas en toda la información disponible.
Dado que se trata de facilitar la toma de decisiones en tiempo real basado en el análisis de toda la información disponible, las herramientas de Streaming Analytics deben ser capaces de integrarse con cualquier fuente de datos, sean datos vivos o en movimiento (ej. datos fluyendo por una red) o datos en reposo (ej. ficheros de texto o bases de datos), de modo que el análisis pueda incorporar todas las fuentes de información disponibles.
Debe proporcionar la capacidad para realizar el análisis de los flujos de información mediante filtrados, agregaciones, enriquecimientos de la información o correlaciones de las varias fuentes de datos, etc… y dado los requerimientos de rendimiento y los altos volúmenes de datos el análisis se deberá realizar en memoria. Finalmente la herramienta de Streaming Analytics debe ser capaz de servir los resultados a otros sistemas de almacenamiento tipo Hadoop, base de datos relaciones o NoSQL así como a sistemas de visualización y dashboards.
Dados altos volúmenes de datos que será necesario analizar, otro punto importante es la capacidad de escalado y de procesado en paralelo en entornos distribuidos. Y dada la criticidad de la información siendo analizada, también serán importantes las capacidades que ofrezca referidas a la alta disponibilidad.
Las principales herramientas de Streaming Analytics son Apache Storm, Apache Stark, Software AG Intelligence Business Operations, Vitria Operational Intelligence, SQLstream, SAP Event Stream Processor, IBM InfoSphere Streams, Tibco StreamBase, Informatica platfom for Streaming Analytics.
https://sitiobigdata.com/que-es-streaming-analytics/
Redes sociales