Foro Formación Hadoop
Ejercicio Explorando Spark streaming
Los códigos indicados tanto en python como en scala están preparados para ejecutarlos en la shell de Spark.
Para poder realizar la prueba de Spark Streaming se debe acceder a la shell de Spark de la siguiente manera:
Scala:
spark-shell --master local[2]
Python:
pyspark --master local[2]
Por otra parte habrá que abrir otra terminal e indicar el siguiente comando (tal y como se explica en los enunciados, indicando el puerto que se haya definido en el código de Spark.):
nc -lk 9999
Una vez iniciada la aplicación de Spark Streaming, iremos insertando en esta terminal palabras/líneas y estas líneas serán la entrada de nuestra aplicación de Spark Streaming (wordcount)
Redes sociales