Foro Formación Hadoop

 
 
Imagen de Rosa Rodriguez Navarro
Ejercicio: Escribiendo un programa Hadoop Streaming
de Rosa Rodriguez Navarro - domingo, 19 de noviembre de 2017, 15:36
 

Hola,

 

Estoy desarrollando el ejercicio  Escribiendo un programa Hadoop Streaming.

Ejecuto el siguiente comando:

[cloudera@quickstart python_sample_solution]$ hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming*.jar -input /formacionhadoop/desarrollador/cervantes/novela/quijote.txt -output /formacionhadoop/desarrollador/streaming4 -file /home/cloudera/workspace/averagewordlength/python_sample_solution/mapper.py -file /home/cloudera/workspace/averagewordlength/python_sample_solution/reducer.py -mapper mapper.py -reducer reducer.py

Muestra el siguiente error:

Found 1 unexpected arguments on the command line [/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-mr1.jar]
Try -help for more information
Streaming Command Failed!

 

He comprobado que  el .jar /hadoop-streaming-mr1.jar existe

 

Gracias

 

 

 

 

 

 

 
Imagen de Fernando Agudo
Re: Ejercicio: Escribiendo un programa Hadoop Streaming
de Fernando Agudo - lunes, 20 de noviembre de 2017, 09:27
 

Buenos días Rosa,

En la instrucción del documento de los ejercicios se indica el "*" para que desde ese directorio obtenga el jar que cumple el patrón de hadoop-streaming*. El problema es que en esa ruta (/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/) existen 2 ficheros .jar que cumplen ese patrón, por lo que para que funcione debes indicar explícitamente el jar a utilizar:

Si estás utilizando la VM de Cloudera 5.12, la instrucción sería así:

hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.6.0-mr1-cdh5.12.0.jar -input /formacionhadoop/desarrollador/cervantes/novela/quijote.txt -output /formacionhadoop/desarrollador/streaming4 -file /home/cloudera/workspace/averagewordlength/python_sample_solution/mapper.py -file /home/cloudera/workspace/averagewordlength/python_sample_solution/reducer.py -mapper mapper.py -reducer reducer.py

 

Un saludo.

Imagen de Rosa María Rodríguez Navarro
Re: Ejercicio: Escribiendo un programa Hadoop Streaming
de Rosa María Rodríguez Navarro - lunes, 20 de noviembre de 2017, 09:49
 

Muchas gracias, luego lo probaré y te cuento