Foro Formación Hadoop

Error en Spark

 
Imagen de Carlos Nieto Romero
Error en Spark
de Carlos Nieto Romero - martes, 11 de septiembre de 2018, 18:26
 

Buenas tardes:

intenté arrancar spark: $pyspark

Y no funcionaba, según he visto en otra entrada, he realizado desde el servicio ResourceManager, y he levantado el ResourceManager y el NodeManager.

Vuelvo a la terminal, ejecuto pyspark y me arranca. Así que empiezo a realizar los ejercicios según( pdf cuaderno de ejercicios), página 6 Usando el spark Shell de Scala en el punto 2, cuando ejecuto sc me da el siguiente error.

¿Que me falta?

Ayuda, por favor

Gracias y un saludo,

Carlos Nieto


Imagen de Carlos Nieto Romero
Re: Error en Spark
de Carlos Nieto Romero - martes, 11 de septiembre de 2018, 18:34
 

error

Imagen de Admin Formación Hadoop
Re: Error en Spark
de Admin Formación Hadoop - miércoles, 12 de septiembre de 2018, 16:44
 

Hola Carlos,


¿Puedes ponernos el log completo desde que accedes a la shell (pyspark)? 

El error indica que el SparkContext (sc) no se ha generado, suele ser porque la shell no ha arrancado correctamente, pero necesitamos el log completo.


Un saludo,

Imagen de Carlos Nieto Romero
Re: Error en Spark
de Carlos Nieto Romero - viernes, 14 de septiembre de 2018, 11:12
 

Ya lo solucioné.


Gracias