Foro Formación Hadoop
Dudas con ejercicios
Hola, estoy realizando el curso "Análisis de datos con Apache Spark" y tengo dos dudas relacionadas con los ejercicios:
- En el video del capitulo 5 se pide al final hacer un ejercicio que se llama "Ejecutando Spark-Shell en un Cluster" que no esta en el cuaderno.Luego el ejercicio que sigue y que corresponderia a los ejercicios del capitulo 5 se llama "Trabajando con particiones". En este ejercicio se piden cosas que no se explican ni en el video 5 ni en el 6 de programacion paralela que es el que mas habla de particiones. A no ser que me haya perdido algo.
- Por ultimo el ejercicio "Viendo las etapas en la interfaz web de Spark" no esta en el cuaderno.
Por favor, me pueden ayudar con estas cuestiones.
Gracias. Saludos.
Buenas, ya me aclaré y he hecho la practica de "Trabajando con particiones".
Lo unico que en la siguiente practica "Usando cache con los RDDs" en el apartado 7 se pide acceder a la interfaz web de spark, en el apartado de Storage. Pero al pinchar no me hace nada y la consola de spark me manda continuamente el mismo mensaje: "WARN amfilter.AmIpFilter: could not find proxy-user cookie, so user will not be set".
Y debido a que la practica "Viendo las etapas en la interfaz web de Spark" no esta en el cuaderno, tampoco se si estoy accediendo bien a dicha web.
La direccion que utilizo es http://quickstart.cloudera:4040.
¿me pueden ayudar?
Gracias. Saludos.
Hola Manuel,
Si, es un error, ese ejercicio como tal no está. Para poder ver las etapas en Spark corriendo sobre YARN (que es nuestro caso), debes acceder a la web del ResourceManager (http://localhost:8088/cluster) y ahí pinchar sobre el ID de tú aplicación:
A continuación en la url del ApplicationMaster:
Y ahí ya tendrás lo que se ve en el contenido de teoría (Stages, storage, etc..)
Social networks