Foro Formación Hadoop

Ejercicio Explorando Spark streaming

 
Imagen de Admin Formación Hadoop
Re: Ejercicio Explorando Spark streaming - Solución
de Admin Formación Hadoop - lunes, 6 de noviembre de 2017, 09:00
 

Los códigos indicados tanto en python como en scala están preparados para ejecutarlos en la shell de Spark.

Para poder realizar la prueba de Spark Streaming se debe acceder a la shell de Spark de la siguiente manera:

Scala:

spark-shell --master local[2]

Python:

pyspark --master local[2]

 

Por otra parte habrá que abrir otra terminal e indicar el siguiente comando (tal  y como se explica en los enunciados, indicando el puerto que se haya definido en el código de Spark.):

nc -lk 9999

Una vez iniciada la aplicación de Spark Streaming, iremos insertando en esta terminal palabras/líneas y estas líneas serán la entrada de nuestra aplicación de Spark Streaming (wordcount)