Foro Formación Hadoop

Ejercicio:Ejecutando un job MapReduce

 
Picture of Admin Formación Hadoop
Re: Ejercicio:Ejecutando un job MapReduce
by Admin Formación Hadoop - Friday, 22 June 2018, 11:28 AM
 

Hola José Manuel,

El problema es que un MapReduce no puede procesar directorios. Según tenemos nuestra implementación, el MapReduce indica como ficheros de entrada TODO el contenido del directorio que le pongamos como entrada, si este directorio tiene "cosas" que no son ficheros da error.

En el ejercicio del HDFS se indica que se borre ese subdirectorio para que luego en esta parte no tengáis problemas (se indica a modo de seguir aprendiendo comandos con el cliente de hadoop fs).

En una implementación más completa, en el driver se debería recorrer todo el directorio de entrada e ir seleccionado únicamente los ficheros en una lista de Path que sería lo que se pasaría de entrada al mapreduce.


Espero que esta explicación te haya servido de ayuda.

Un saludo,