Buenos días Fabio,

En el caso de la VM de Cloudera, Spark está configurado a través de YARN para la gestión de los recursos necesarios para procesar la aplicación (será la manera habitual en que nos encontremos Spark configurado).

Debido a esto, para poder ver la aplicación debes acceder a la web UI del servicio maestro de YARN:

http://quickstart.cloudera:8088/cluster

En esa web podrás ver un listado de todas las aplicaciones que se han ejecutado. Busca la tuya y pincha sobre el id de la aplicación para obtener más información.

A continuación pincha sobre la "Tracking URL" y ya accederás a la web de la aplicación de Spark con todas las etapas que se han ejecutado.

Un saludo,