Foro Formación Hadoop

Enviar job a MapReduce utilizando el fichero jar

 
Imagen de Aroa Fernández
Enviar job a MapReduce utilizando el fichero jar
de Aroa Fernández - domingo, 25 de febrero de 2018, 14:55
 

Hola,

hacer el ejercicio 3 del módulo 1, al enviar job a MapReduce utilizando el fichero jar, veo que los jobs se acepatan, pero no se asignan. Al ejecutar en otro terminal mapred job -list me aparecen:

 

Total jobs:2
                  JobId         State         StartTime        UserName           Queue      Priority     UsedContainers     RsvdContainers     UsedMem     RsvdMem     NeededMem       AM info
 job_1519561434479_0001          PREP     1519561503720        cloudera    root.cloudera        NORMAL                  0                  0          0M          0M            0M    http://quickstart.cloudera:8088/proxy/application_1519561434479_0001/
 job_1519561434479_0002          PREP     1519561699332        cloudera    root.cloudera        NORMAL                  0                  0          0M          0M            0M    http://quickstart.cloudera:8088/proxy/application_1519561434479_0002/

Mi máquina virtual tiene 6,5GB de RAM y he parado cloudera manager y hbase, pero siguen sin asignarse.

¿Me podríais decir donde está el error y si es posible que se ejecute más rápido, por favor?

Muchas gracias por adelantado.

 

Un saludo.

 

Imagen de Fabiola Carrasco
Re: Enviar job a MapReduce utilizando el fichero jar
de Fabiola Carrasco - lunes, 26 de febrero de 2018, 09:46
 

Hola Aroa, 

Posiblemente lo que te sucede es que tengas algún job "bloqueado" y te está cogiendo los recursos (por eso el nuevo job no entra). 

Te recomiendo que pares los job que indicas en el listado con:

yarn application -kill  job_1519561434479_0001

yarn application -kill  job_1519561434479_0002

También podrías hacer lo mismo con la instrucción mapred job -kill

Otra opción para que pare todo lo pendiente es reiniciar el servicio de YARN.

 

Un saludo,

 

Imagen de Aroa Fernández
Re: Enviar job a MapReduce utilizando el fichero jar
de Aroa Fernández - martes, 27 de febrero de 2018, 08:36
 

Hola Fabiola,

en primer lugar muchas gracias por tu respuesta. Lo he probado, pero sigue igual, no consigo que llegue a asignarse (durante horas). He reiniciado YARN, la máquina virtual y el portátil, pero nada. No sé si es porque hago algo mal o por los recursos de mi máquina. Mi pórtatil tiene 8GB de RAM, y antes tenía 6,5 asignados a la máquina virtual y lo he subido a 7, pero sigue sin funcionar. He intentado para todo menos HDFS y YARN. Los comandos que he utilizado son estos:

cd /etc/init.d

sudo ./hadoop-hdfs-datanode start

sudo ./hadoop-hdfs-journalnode start

sudo ./hadoop-hdfs-secondarynamenode start          

sudo -u hdfs hdfs dfsadmin -safemode leave

 

sudo ./hbase-master stop

sudo ./hbase-regionserver stop

sudo ./hbase-rest stop

sudo ./hbase-solr-indexer stop

sudo ./hbase-thrift stop

sudo ./solr-server stop

sudo ./impala-catalog stop

sudo ./impala-server stop

sudo ./impala-state-store stop

sudo ./sqoop2-server stop

sudo ./sqoop-metastore stop

sudo service cloudera-scm-server stop

sudo service cloudera-scm-agent stop

sudo service hadoop-yarn-resourcemanager restart

hadoop jar wordcount-1.jar wordcount.WordCountDriver /formacionhadoop/desarrollador/cervantes/teatro

¿Qué más puedo hacer?

Muchas gracias de nuevo.

 

Un saludo.

Imagen de Admin Formación Hadoop
Re: Enviar job a MapReduce utilizando el fichero jar
de Admin Formación Hadoop - martes, 27 de febrero de 2018, 11:40
 

Hola Aroa, 

¿La VM la configuraste con el Cloudera Manager tal y como se comenta en uno de nuestros vídeos? ¿O la gestión de los servicios la has realizado desde el principio con la consola de comandos?

Por saber más o menos que indicarte.

Un saludo,

Imagen de Aroa Fernández
Re: Enviar job a MapReduce utilizando el fichero jar
de Aroa Fernández - martes, 27 de febrero de 2018, 12:10
 

Hola,

para instalar la VM seguí las instrucciones del vídeo que habéis colgado, no la instalé con comandos.

Un saludo y mil gracias!

Imagen de Admin Formación Hadoop
Re: Enviar job a MapReduce utilizando el fichero jar
de Admin Formación Hadoop - miércoles, 28 de febrero de 2018, 08:22
 

Buenos días, 

Entonces vuelve a realizar la instalación que se indica en el vídeo (con el script de CM que hay en el escritorio). Si se configura a través del CM (Cloudera Manager) no es recomendable parar/arrancar los servicios manualmente ya que pueden crear confusión.

Vuelve a realizar la instalación y para parar y arrancar servicios utiliza la web del Cloudera Manager. Arranca solo el HDFS y YARN y prueba a ejecutar (debes parar el resto, incluido el servicio de monitorización de CM, que está el último de la lista en la  web de administración del CM).

Un saludo,

Imagen de Aroa Fernández
Re: Enviar job a MapReduce utilizando el fichero jar
de Aroa Fernández - domingo, 4 de marzo de 2018, 22:41
 

Buenas noches,

ya lo he conseguido! He vuelto a instalar la MV y he parado todos los servicios desde la web y no he tenido problema.

Mil gracias!