Foro Formación Hadoop

Crear tus propios acumuladores en Apache Spark

 
Imagen de Fabiola Carrasco
Crear tus propios acumuladores en Apache Spark
de Fabiola Carrasco - jueves, 16 de febrero de 2017, 09:07
 

Los acumuladores de Spark pueden utilizarse para mucho más que simplemente sumar números. Spark sólo cuantas con acumuladores de  int / doble, pero es posible realizar nuestra propia implementación a través de AccumulatorParam

En el siguiente vídeo podemos ver la creación de un acumulador de tipo HashMap que nos permite llevar la cuenta dinámicamente de todos los accesos que realiza una determina IP a nuestro servidor web.

Código disponible en:

https://github.com/formacion-hadoop/spark-contadores

Imagen de Jesús Marcial Méndez Gálvez
Re: Crear tus propios acumuladores en Apache Spark
de Jesús Marcial Méndez Gálvez - domingo, 26 de febrero de 2017, 02:56
 

Excelenteee !!!