Foro Formación Hadoop

Error al generar archivo Wordcount-1.jar

 
Imagen de Rubén García
Error al generar archivo Wordcount-1.jar
de Rubén García - jueves, 23 de julio de 2020, 03:03
 

Buenas noches, estoy intentando generar el archivo wordcount-1.jar para el ejercicio de MapReduce. Seguí las indicaciones de un foro anterior, pero una vez importado las subcarpetas de la carpeta Workspace como paquetes, en el eclipse me sale errores al no encontrar la clase Reducer, donde encuentro esta clase?

La otra opción para no retrasarme sería que nos envien el archivo "wordcount-1.jar" ya compilado para descargarlo y subirlo al Hdfs.


Gracias.

Imagen de Admin Formación Hadoop
Re: Error al generar archivo Wordcount-1.jar
de Admin Formación Hadoop - lunes, 27 de julio de 2020, 10:33
 

Hola Rubén, 

Dispones de un vídeo dentro del correspondiente tema que explica ese ejercicio:

Vídeo: Capítulo 3 - Introducción a MapReduce - Ejercicio

Por otra parte, si te has descargado la máquina virtual que incluimos en los materiales, ya tendrás los proyectos cargados en el eclipse, por lo único que deberás hacer es la parte de exportarlo como fichero .jar






Imagen de Rubén García
Re: Error al generar archivo Wordcount-1.jar
de Rubén García - miércoles, 29 de julio de 2020, 05:37
 

Buenas noches, ya generé el archivo wordcount-1.jar, pero al momento de ejecutarlo me sale el siguiente error adjunto en la imágen.

Error al ejecutar wordcount-1.jar en el hdfs

A que se puede deber?


Gracias.

Imagen de Admin Formación Hadoop
Re: Error al generar archivo Wordcount-1.jar
de Admin Formación Hadoop - lunes, 3 de agosto de 2020, 11:23
 

Hola Rubén, 

Necesitaríamos ver los logs propios de las tareas. Dentro de la web del ResourceManager puedes acceder a los logs. Revisa la implementación (tanto el código como los imports, y vuelve a generar el .jar). 

Si no te funciona envíanos el código que estás ejecutando para que podamos ayudarte.

Un saludo,

Imagen de Rubén García
Re: Error al generar archivo Wordcount-1.jar
de Rubén García - viernes, 7 de agosto de 2020, 00:45
 

Gracias, ya pude resolver el problema, era por un permiso en la carpeta /user/history del Hdfs.

Ahora sale el siguiente error: The auxService:mapreduce_suffle does not exist.

Investigando en internet sugieren modificar el archivo yarn-site.xml, pero éste se encuentra en varios directorios, alguna otra sugerencia?.

Saludos.


Imagen de Rubén García
Re: Error al generar archivo Wordcount-1.jar
de Rubén García - viernes, 7 de agosto de 2020, 19:15
 

Hola Fernando/alumnos del aula, para ejecutar el wordcount-1.jar realizo los siguientes pasos:

Levantar Servicios:

---------------------

cd /etc/init.d

sudo ./hadoop-hdfs-namenode start

sudo ./hadoop-hdfs-datanode start

sudo ./hadoop-hdfs-journalnode start

sudo ./hadoop-hdfs-secondarynamenode start

sudo ./hadoop-yarn-nodemanager start

sudo ./hadoop-yarn-resourcemanager start


Quitar el modo seguro al Hdfs

-----------------------------

sudo -u hdfs hadoop dfsadmin -safemode leave


Importar archivo Jar al Hdfs

----------------------------

cd Desktop

hadoop fs -put wordcount-1.jar /tmp


Ejecutar Jar:

-------------

hadoop jar wordcount-1.jar wordcount.WordCountDriver /user/cloudera/cervantes/novela /user/cloudera/salida10

Y me sigue saliendo el  mismo error:

The auxService:mapreduce_suffle does not exist.

Investigando en internet sugieren modificar el archivo /etc/haddop/conf/yarn-site.xml, y que agregue lo siguiente:

<configuration>

  <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

  <property>

    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

</configuration>

Pero cuando agrego lo indicado en el archivo /etc/haddop/conf/yarn-site.xml, ahora sale el siguiente error:

20/08/07 09:50:57 INFO mapreduce.Job: Task Id : attempt_1596818118337_0001_m_000001_1, Status : FAILED

Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-333635372-127.0.0.1-1508779710286:blk_1073742863_2041 file=/user/cloudera/cervantes/teatro/Los banos de Argel_cervantes.txt

at org.apache.hadoop.hdfs.DFSInputStream.refetchLocations(DFSInputStream.java:1040)

at org.apache.hadoop.hdfs.DFSInputStream.chooseDataNode(DFSInputStream.java:1023)

at org.apache.hadoop.hdfs.DFSInputStream.chooseDataNode(DFSInputStream.java:1002)

at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:642)

at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:895)

at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:954)

at java.io.DataInputStream.read(DataInputStream.java:149)

at org.apache.hadoop.mapreduce.lib.input.UncompressedSplitLineReader.fillBuffer(UncompressedSplitLineReader.java:62)

at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:216)

at org.apache.hadoop.util.LineReader.readLine(LineReader.java:174)

at org.apache.hadoop.mapreduce.lib.input.UncompressedSplitLineReader.readLine(UncompressedSplitLineReader.java:94)

at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.skipUtfByteOrderMark(LineRecordReader.java:144)

at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.nextKeyValue(LineRecordReader.java:184)

at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:562)

at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80)

at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91)

at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)

at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:793)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)

at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)

at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)


Alguna otra sugerencia?.

Saludos.
Imagen de Diego Gatti
Re: Error al generar archivo Wordcount-1.jar
de Diego Gatti - viernes, 7 de agosto de 2020, 12:51
 

Tambien tengo problemas para ejecutar el wordcount-1.jar, la verdad que no soy experto java y no pude encontrar la causa de este error. Ver imagen adjunta

Error en wordcount

Imagen de Rubén García
Re: Error al generar archivo Wordcount-1.jar
de Rubén García - viernes, 7 de agosto de 2020, 18:18
 

Hola Diego, aparentemente el archivo Jar que estas usando no referencia a las  librerias/clases o rutas correctas. Te comparto mi archivo Jar:

https://formacionhadoop.com/aulavirtual/pluginfile.php/46/mod_forum/post/633/wordcount-1.jar

Saludos.