Foro Formación Hadoop

Ejercicio Explorando Spark streaming

 
Picture of Admin Formación Hadoop
Re: Ejercicio Explorando Spark streaming - Solución
by Admin Formación Hadoop - Monday, 6 November 2017, 9:00 AM
 

Los códigos indicados tanto en python como en scala están preparados para ejecutarlos en la shell de Spark.

Para poder realizar la prueba de Spark Streaming se debe acceder a la shell de Spark de la siguiente manera:

Scala:

spark-shell --master local[2]

Python:

pyspark --master local[2]

 

Por otra parte habrá que abrir otra terminal e indicar el siguiente comando (tal  y como se explica en los enunciados, indicando el puerto que se haya definido en el código de Spark.):

nc -lk 9999

Una vez iniciada la aplicación de Spark Streaming, iremos insertando en esta terminal palabras/líneas y estas líneas serán la entrada de nuestra aplicación de Spark Streaming (wordcount)