Foro Formación Hadoop

Volver a: Sitio

Duda curso SPARK. No me arranca el shell

 
Imagen de Fernando Agudo
Duda curso SPARK. No me arranca el shell
de Fernando Agudo - martes, 20 de septiembre de 2016, 10:47
 

Hola a tod@s, 

Os remito la siguiente duda que nos ha preguntado un alumno por si a alguien le ocurre lo mismo.

Un saludo,

********************************************************************************************************************

Al comenzar con los ejercicios del curso de Spark no puedo arrancar el shell ni de Python ni de Scala. Si le doy varias veces al enter sigue sin quitarse los warnings.
Ayer aunque tardaba si que se me conectaba perfectamente. comentarte que mi ordenador al tener 8 gb de Ram he tenido que forzar el inicio del Cloudera Express
Los warning son los siguientes
Un saludo y muchísimas gracias.
 
16/09/20 00:46:55 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:56 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:57 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:58 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:59 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:00 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:01 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:02 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:03 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

 

 
Enlace permanente
Imagen de Fernando Agudo
Re: Duda curso SPARK. No me arranca el shell
de Fernando Agudo - martes, 20 de septiembre de 2016, 10:48
 

Solución:

El problema es debido a que se ha parado el servicio del ResourceManager. Comprueba que tienes levantado el ResourceManager y el NodeManager. 

Para realizar esto, o a través del Cloudera manager, o en una terminal puedes poner el siguiente comando:

sudo jps -m

El comando anterior te mostrará un listado de todos los procesos Java que se están ejecutando en la máquina. Entre esa lista debe aparecer esos 2 nombres (ResourceManager y NodeManager). 

Si te falta alguno de ellos, vete al Cloudera Manager para Yarn (que incluye los 2 servicios) y vuelve a arrancarlo y comprueba nuevamente si se han levantado correctamente.

***********************************************************************************************************

 
Enlace permanente | Mostrar mensaje anterior
Imagen de José Manuel Porrúa Sánchez
Re: Duda curso SPARK. No me arranca el shell
de José Manuel Porrúa Sánchez - martes, 20 de septiembre de 2016, 11:30
 

Muchas gracias Fernando. Ya puedo arrancar el shell tanto en Scala como en Python

 
Enlace permanente | Mostrar mensaje anterior