Buenas Cristian.

Yo estaba teniendo el mismo problema y lo he conseguido solucionar. He hecho una serie de cosas y no sé muy bien cual ha podido ser la que solucione el problema.

Lo primero que he hecho ha sido iniciar los servicios: zookeeper, yarn, hdfs y spark

He visto que por algún motivo el Spark History Server no se estaba levantando bien y le he hecho un reinicio.

Tras hacer el spark-shell ha funcionado correctamente.

Espero que te funcione ;)