Foro Formación Hadoop
Crear tus propios acumuladores en Apache Spark
Los acumuladores de Spark pueden utilizarse para mucho más que simplemente sumar números. Spark sólo cuantas con acumuladores de int / doble, pero es posible realizar nuestra propia implementación a través de AccumulatorParam.
En el siguiente vídeo podemos ver la creación de un acumulador de tipo HashMap que nos permite llevar la cuenta dinámicamente de todos los accesos que realiza una determina IP a nuestro servidor web.
Código disponible en:
Redes sociales