Foro Formación Hadoop

Diferencia o Relación Yarn - MapReduce

 
Imagen de Rafael Caballero Saint Ellis
Diferencia o Relación Yarn - MapReduce
de Rafael Caballero Saint Ellis - viernes, 1 de septiembre de 2017, 11:16
 

Buenas,

Me ha surgido una duda en el Primer modulo que aun no acabo de entender bien.

 

¿Cual es la diferencia o relacion que existe entre MapReduce y Yarn?

 

Aun no acabo de entender muy bien que funciòn tiene cada uno o si tiene ver con las versiones del Hadoop.

 

Muchas Gracias

Imagen de Fernando Agudo
Re: Diferencia o Relación Yarn - MapReduce
de Fernando Agudo - viernes, 1 de septiembre de 2017, 11:37
 

Hola Rafael,

Yarn es el gestor de recursos. Sobre este gestor de recursos se pueden ejecutar diferentes herramientas (MapReduce, Spark, Flink...)

Por lo que preguntas, en nuestro caso MapReduce sería la herramienta/tecnología que utilizaríamos para implementar nuestra aplicación y dicha aplicación para ser ejecutada se apoyaría sobre YARN, que sería el encargado de gestionar los recursos, tareas a ejecutar y finalmente ejecutaría el MapReduce.

A medida que vayas avanzando verás que YARN se mantiene (ya que podríamos decir que es la capa "core" del procesamiento de los datos) y lo que se va sustituyendo es la herramienta a utilizar para la implementación de nuestra aplicación.

Si tienes tiempo te recomendaría que vieras este vídeo (aunque el sonido no sea "perfecto") dónde se explica de manera genérica y a alto nivel las partes más importantes a nivel de tecnologías de Big Data:

 

 

Un saludo,