Foro Formación Hadoop
Ejercicio: Escribiendo un programa Hadoop Streaming
Hola,
Estoy desarrollando el ejercicio Escribiendo un programa Hadoop Streaming.
Ejecuto el siguiente comando:
[cloudera@quickstart python_sample_solution]$ hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming*.jar -input /formacionhadoop/desarrollador/cervantes/novela/quijote.txt -output /formacionhadoop/desarrollador/streaming4 -file /home/cloudera/workspace/averagewordlength/python_sample_solution/mapper.py -file /home/cloudera/workspace/averagewordlength/python_sample_solution/reducer.py -mapper mapper.py -reducer reducer.py
Muestra el siguiente error:
Found 1 unexpected arguments on the command line [/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-mr1.jar]
Try -help for more information
Streaming Command Failed!
He comprobado que el .jar /hadoop-streaming-mr1.jar existe
Gracias
Buenos días Rosa,
En la instrucción del documento de los ejercicios se indica el "*" para que desde ese directorio obtenga el jar que cumple el patrón de hadoop-streaming*. El problema es que en esa ruta (/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/) existen 2 ficheros .jar que cumplen ese patrón, por lo que para que funcione debes indicar explícitamente el jar a utilizar:
Si estás utilizando la VM de Cloudera 5.12, la instrucción sería así:
hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.6.0-mr1-cdh5.12.0.jar -input /formacionhadoop/desarrollador/cervantes/novela/quijote.txt -output /formacionhadoop/desarrollador/streaming4 -file /home/cloudera/workspace/averagewordlength/python_sample_solution/mapper.py -file /home/cloudera/workspace/averagewordlength/python_sample_solution/reducer.py -mapper mapper.py -reducer reducer.py
Un saludo.
Social networks