Foro Formación Hadoop

Return to: Site

Duda curso SPARK. No me arranca el shell

 
Picture of Fernando Agudo
Duda curso SPARK. No me arranca el shell
by Fernando Agudo - Tuesday, 20 September 2016, 10:47 AM
 

Hola a tod@s, 

Os remito la siguiente duda que nos ha preguntado un alumno por si a alguien le ocurre lo mismo.

Un saludo,

********************************************************************************************************************

Al comenzar con los ejercicios del curso de Spark no puedo arrancar el shell ni de Python ni de Scala. Si le doy varias veces al enter sigue sin quitarse los warnings.
Ayer aunque tardaba si que se me conectaba perfectamente. comentarte que mi ordenador al tener 8 gb de Ram he tenido que forzar el inicio del Cloudera Express
Los warning son los siguientes
Un saludo y muchísimas gracias.
 
16/09/20 00:46:55 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:56 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:57 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:58 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:46:59 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:00 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:01 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:02 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
16/09/20 00:47:03 INFO ipc.Client: Retrying connect to server: quickstart.cloudera/127.0.0.1:8032. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

 

 
Permalink
Picture of Fernando Agudo
Re: Duda curso SPARK. No me arranca el shell
by Fernando Agudo - Tuesday, 20 September 2016, 10:48 AM
 

Solución:

El problema es debido a que se ha parado el servicio del ResourceManager. Comprueba que tienes levantado el ResourceManager y el NodeManager. 

Para realizar esto, o a través del Cloudera manager, o en una terminal puedes poner el siguiente comando:

sudo jps -m

El comando anterior te mostrará un listado de todos los procesos Java que se están ejecutando en la máquina. Entre esa lista debe aparecer esos 2 nombres (ResourceManager y NodeManager). 

Si te falta alguno de ellos, vete al Cloudera Manager para Yarn (que incluye los 2 servicios) y vuelve a arrancarlo y comprueba nuevamente si se han levantado correctamente.

***********************************************************************************************************

 
Permalink | Show parent
Picture of José Manuel Porrúa Sánchez
Re: Duda curso SPARK. No me arranca el shell
by José Manuel Porrúa Sánchez - Tuesday, 20 September 2016, 11:30 AM
 

Muchas gracias Fernando. Ya puedo arrancar el shell tanto en Scala como en Python

 
Permalink | Show parent