Foro Formación Hadoop
Enviar job a MapReduce utilizando el fichero jar
Hola,
hacer el ejercicio 3 del módulo 1, al enviar job a MapReduce utilizando el fichero jar, veo que los jobs se acepatan, pero no se asignan. Al ejecutar en otro terminal mapred job -list me aparecen:
Total jobs:2
JobId State StartTime UserName Queue Priority UsedContainers RsvdContainers UsedMem RsvdMem NeededMem AM info
job_1519561434479_0001 PREP 1519561503720 cloudera root.cloudera NORMAL 0 0 0M 0M 0M http://quickstart.cloudera:8088/proxy/application_1519561434479_0001/
job_1519561434479_0002 PREP 1519561699332 cloudera root.cloudera NORMAL 0 0 0M 0M 0M http://quickstart.cloudera:8088/proxy/application_1519561434479_0002/
Mi máquina virtual tiene 6,5GB de RAM y he parado cloudera manager y hbase, pero siguen sin asignarse.
¿Me podríais decir donde está el error y si es posible que se ejecute más rápido, por favor?
Muchas gracias por adelantado.
Un saludo.
Hola Aroa,
Posiblemente lo que te sucede es que tengas algún job "bloqueado" y te está cogiendo los recursos (por eso el nuevo job no entra).
Te recomiendo que pares los job que indicas en el listado con:
yarn application -kill job_1519561434479_0001
yarn application -kill job_1519561434479_0002
También podrías hacer lo mismo con la instrucción mapred job -kill
Otra opción para que pare todo lo pendiente es reiniciar el servicio de YARN.
Un saludo,
Hola Fabiola,
en primer lugar muchas gracias por tu respuesta. Lo he probado, pero sigue igual, no consigo que llegue a asignarse (durante horas). He reiniciado YARN, la máquina virtual y el portátil, pero nada. No sé si es porque hago algo mal o por los recursos de mi máquina. Mi pórtatil tiene 8GB de RAM, y antes tenía 6,5 asignados a la máquina virtual y lo he subido a 7, pero sigue sin funcionar. He intentado para todo menos HDFS y YARN. Los comandos que he utilizado son estos:
cd /etc/init.d
sudo ./hadoop-hdfs-datanode start
sudo ./hadoop-hdfs-journalnode start
sudo ./hadoop-hdfs-secondarynamenode start
sudo -u hdfs hdfs dfsadmin -safemode leave
sudo ./hbase-master stop
sudo ./hbase-regionserver stop
sudo ./hbase-rest stop
sudo ./hbase-solr-indexer stop
sudo ./hbase-thrift stop
sudo ./solr-server stop
sudo ./impala-catalog stop
sudo ./impala-server stop
sudo ./impala-state-store stop
sudo ./sqoop2-server stop
sudo ./sqoop-metastore stop
sudo service cloudera-scm-server stop
sudo service cloudera-scm-agent stop
sudo service hadoop-yarn-resourcemanager restart
hadoop jar wordcount-1.jar wordcount.WordCountDriver /formacionhadoop/desarrollador/cervantes/teatro
¿Qué más puedo hacer?
Muchas gracias de nuevo.
Un saludo.
Hola Aroa,
¿La VM la configuraste con el Cloudera Manager tal y como se comenta en uno de nuestros vídeos? ¿O la gestión de los servicios la has realizado desde el principio con la consola de comandos?
Por saber más o menos que indicarte.
Un saludo,
Hola,
para instalar la VM seguí las instrucciones del vídeo que habéis colgado, no la instalé con comandos.
Un saludo y mil gracias!
Buenos días,
Entonces vuelve a realizar la instalación que se indica en el vídeo (con el script de CM que hay en el escritorio). Si se configura a través del CM (Cloudera Manager) no es recomendable parar/arrancar los servicios manualmente ya que pueden crear confusión.
Vuelve a realizar la instalación y para parar y arrancar servicios utiliza la web del Cloudera Manager. Arranca solo el HDFS y YARN y prueba a ejecutar (debes parar el resto, incluido el servicio de monitorización de CM, que está el último de la lista en la web de administración del CM).
Un saludo,
Social networks