Foro Formación Hadoop

Usando checkpoints con los RDD - Error

 
Picture of Manuel Garcia Garcia
Usando checkpoints con los RDD - Error
by Manuel Garcia Garcia - Sunday, 17 November 2019, 10:50 PM
 

Buenas, estoy intentando hacer el ejercicio de "Usando checkpoints con los RDD" y a la hora de hacer el collect() me sale un error muy largo que se repite en bloque:


File "/usr/lib64/python2.6/pickle.py", line 633, in _batch_appends
    save(x)
  File "/usr/lib64/python2.6/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib/spark/python/pyspark/cloudpickle.py", line 204, in save_function
    self.save_function_tuple(obj)
  File "/usr/lib/spark/python/pyspark/cloudpickle.py", line 241, in save_function_tuple
    save((code, closure, base_globals))
  File "/usr/lib64/python2.6/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.6/pickle.py", line 548, in save_tuple
    save(element)
  File "/usr/lib64/python2.6/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.6/pickle.py", line 600, in save_list

Tengo que hacer las iteraciones de 50 y a la tercera me da el error.

Por que no puedo hacer las iteraciones ni siquiera de 200 como en el cuaderno. Supongo la respuesta pero no lo acabo de entender.

¿me lo pueden explicar?


Gracias. Saludos.

Picture of Fernando Agudo
Re: Usando checkpoints con los RDD - Error
by Fernando Agudo - Monday, 18 November 2019, 9:35 AM
 

Hola Manuel,

Envíame por privado o al correo (fagudo@formacionhadoop.com) el código que estás ejecutando y a partir de ahí te comento/explico que es lo que está sucediendo.

Muchas gracias.

Un saludo,