Foro Formación Hadoop

Crear tus propios acumuladores en Apache Spark

 
Picture of Fabiola Carrasco
Crear tus propios acumuladores en Apache Spark
by Fabiola Carrasco - Thursday, 16 February 2017, 9:07 AM
 

Los acumuladores de Spark pueden utilizarse para mucho más que simplemente sumar números. Spark sólo cuantas con acumuladores de  int / doble, pero es posible realizar nuestra propia implementación a través de AccumulatorParam

En el siguiente vídeo podemos ver la creación de un acumulador de tipo HashMap que nos permite llevar la cuenta dinámicamente de todos los accesos que realiza una determina IP a nuestro servidor web.

Código disponible en:

https://github.com/formacion-hadoop/spark-contadores

Picture of Jesús Marcial Méndez Gálvez
Re: Crear tus propios acumuladores en Apache Spark
by Jesús Marcial Méndez Gálvez - Sunday, 26 February 2017, 2:56 AM
 

Excelenteee !!!