Foro Formación Hadoop

Error en Spark

 
Picture of Carlos Nieto Romero
Error en Spark
by Carlos Nieto Romero - Tuesday, 11 September 2018, 6:26 PM
 

Buenas tardes:

intenté arrancar spark: $pyspark

Y no funcionaba, según he visto en otra entrada, he realizado desde el servicio ResourceManager, y he levantado el ResourceManager y el NodeManager.

Vuelvo a la terminal, ejecuto pyspark y me arranca. Así que empiezo a realizar los ejercicios según( pdf cuaderno de ejercicios), página 6 Usando el spark Shell de Scala en el punto 2, cuando ejecuto sc me da el siguiente error.

¿Que me falta?

Ayuda, por favor

Gracias y un saludo,

Carlos Nieto


Picture of Carlos Nieto Romero
Re: Error en Spark
by Carlos Nieto Romero - Tuesday, 11 September 2018, 6:34 PM
 

error

Picture of Admin Formación Hadoop
Re: Error en Spark
by Admin Formación Hadoop - Wednesday, 12 September 2018, 4:44 PM
 

Hola Carlos,


¿Puedes ponernos el log completo desde que accedes a la shell (pyspark)? 

El error indica que el SparkContext (sc) no se ha generado, suele ser porque la shell no ha arrancado correctamente, pero necesitamos el log completo.


Un saludo,

Picture of Carlos Nieto Romero
Re: Error en Spark
by Carlos Nieto Romero - Friday, 14 September 2018, 11:12 AM
 

Ya lo solucioné.


Gracias