Foro Formación Hadoop

Error SparkContext

 
Imagen de Pedro Lobo García
Error SparkContext
de Pedro Lobo García - domingo, 27 de enero de 2019, 11:02
 

Buenas, por fin he conseguido arrancar la shell de spark, pero cuando pongo sc no me reconoce sparkcontext y me sale un error de not found value sc, esto a que se puede deber?

Un saludo y gracias.

Imagen de Admin Formación Hadoop
Re: Error SparkContext
de Admin Formación Hadoop - domingo, 27 de enero de 2019, 19:13
 

Hola Pedro, 


Eso es debido a que la shell no ha arrancado correctamente. Asegúrate de que tienes activos los servicios de Yarn y Hdfs. 

Fíjate en los logs que salen al arrancar la shell, seguramente te indique exactamente lo que está sucediendo.

Copia los logs y muestranoslos para poder ayudarte con exactitud.


Muchas gracias.

Un saludo.