Solución dada por nuestros profesores:

El problema es parecido al visto en otra entrada del foro (no arranca la shell de Spark). Ahora lo que sucede es que están caídos los servicios del sistema de ficheros de Hadoop (HDFS).

Para comprobarlo, hacemos lo mismo que para los de Yarn:
- En una terminal ponemos el comando:

sudo jps -m

Ese comando devuelve una lista de los procesos Java que se están ejecutando, entre todos deben aparecer los servicios del HDFS(NameNode y DataNode). Esta comprobación también se podría realizar a través del Cloudera Manager en caso de que lo estemos utilizando.

Si te falta alguno de ellos, ves al Cloudera Manager y reincida HDFS.

Todos estos problemas de caída de los servicios son "normales" cuando no tenemos suficiente memoria para la VM y estamos utilizando el Cloudera Manager, ya que necesita muchos recursos y a veces se queda algún servicio "tostado" y lo "para".

Un saludo,