Foro Formación Hadoop

Dudas con ejercicios

 
Imagen de Manuel Garcia Garcia
Dudas con ejercicios
de Manuel Garcia Garcia - jueves, 14 de noviembre de 2019, 23:39
 

Hola, estoy realizando el curso "Análisis de datos con Apache Spark" y tengo dos dudas relacionadas con los ejercicios:

  • En el video del capitulo 5 se pide al final hacer un ejercicio que se llama "Ejecutando Spark-Shell en un Cluster" que no esta en el cuaderno.Luego el ejercicio que sigue y que corresponderia a los ejercicios del capitulo 5 se llama "Trabajando con particiones". En este ejercicio se piden cosas que no se explican ni en el video 5 ni en el 6 de programacion paralela que es el que mas habla de particiones. A no ser que me haya perdido algo.
  • Por ultimo el ejercicio "Viendo las etapas en la interfaz web de Spark" no esta en el cuaderno.

Por favor, me pueden ayudar con estas cuestiones.

Gracias. Saludos.

Imagen de Manuel Garcia Garcia
Re: Dudas con ejercicios
de Manuel Garcia Garcia - sábado, 16 de noviembre de 2019, 23:20
 

Buenas, ya me aclaré y he hecho la practica de "Trabajando con particiones".

Lo unico que en la siguiente practica "Usando cache con los RDDs" en el apartado 7 se pide acceder a la interfaz web de spark, en el apartado de Storage. Pero al pinchar no me hace nada y la consola de spark me manda continuamente el mismo mensaje: "WARN amfilter.AmIpFilter: could not find proxy-user cookie, so user will not be set".

Y debido a que la practica "Viendo las etapas en la interfaz web de Spark" no esta en el cuaderno, tampoco se si estoy accediendo bien a dicha web.

La direccion que utilizo es http://quickstart.cloudera:4040.

¿me pueden ayudar?

Gracias. Saludos.

Imagen de Fernando Agudo
Re: Dudas con ejercicios
de Fernando Agudo - lunes, 18 de noviembre de 2019, 09:31
 

Hola Manuel,

Si, es un error, ese ejercicio como tal no está. Para poder ver las etapas en Spark corriendo sobre YARN (que es nuestro caso), debes acceder a la web del ResourceManager (http://localhost:8088/cluster)  y ahí pinchar sobre el ID de tú aplicación:


A continuación en la url del ApplicationMaster:


Y ahí ya tendrás lo que se ve en el contenido de teoría (Stages, storage, etc..)