Foro Formación Hadoop

Spark en clúster: acceso interfaz web

 
Picture of Fabio Natalini
Spark en clúster: acceso interfaz web
by Fabio Natalini - Sunday, 17 December 2017, 7:36 PM
 

Después de ejecutar una aplicación en Spark, ¿cómo accedo a la interfaz web del master de Spark para verificar que está ejecutando en clúster. (ejercicio "Escribiendo y ejecutando una aplicación Spark")?

Gracias

Picture of Fernando Agudo
Re: Spark en clúster: acceso interfaz web
by Fernando Agudo - Monday, 18 December 2017, 7:50 AM
 

Buenos días Fabio,

En el caso de la VM de Cloudera, Spark está configurado a través de YARN para la gestión de los recursos necesarios para procesar la aplicación (será la manera habitual en que nos encontremos Spark configurado).

Debido a esto, para poder ver la aplicación debes acceder a la web UI del servicio maestro de YARN:

http://quickstart.cloudera:8088/cluster

ResourceManager

En esa web podrás ver un listado de todas las aplicaciones que se han ejecutado. Busca la tuya y pincha sobre el id de la aplicación para obtener más información.

WebAplicacion

A continuación pincha sobre la "Tracking URL" y ya accederás a la web de la aplicación de Spark con todas las etapas que se han ejecutado.

Spark Web

Un saludo,