Foro Formación Hadoop

Spark en clúster: acceso interfaz web

 
Imagen de Fabio Natalini
Spark en clúster: acceso interfaz web
de Fabio Natalini - domingo, 17 de diciembre de 2017, 19:36
 

Después de ejecutar una aplicación en Spark, ¿cómo accedo a la interfaz web del master de Spark para verificar que está ejecutando en clúster. (ejercicio "Escribiendo y ejecutando una aplicación Spark")?

Gracias

Imagen de Fernando Agudo
Re: Spark en clúster: acceso interfaz web
de Fernando Agudo - lunes, 18 de diciembre de 2017, 07:50
 

Buenos días Fabio,

En el caso de la VM de Cloudera, Spark está configurado a través de YARN para la gestión de los recursos necesarios para procesar la aplicación (será la manera habitual en que nos encontremos Spark configurado).

Debido a esto, para poder ver la aplicación debes acceder a la web UI del servicio maestro de YARN:

http://quickstart.cloudera:8088/cluster

ResourceManager

En esa web podrás ver un listado de todas las aplicaciones que se han ejecutado. Busca la tuya y pincha sobre el id de la aplicación para obtener más información.

WebAplicacion

A continuación pincha sobre la "Tracking URL" y ya accederás a la web de la aplicación de Spark con todas las etapas que se han ejecutado.

Spark Web

Un saludo,