Foro Formación Hadoop

Usando checkpoints con los RDD - Error

 
Imagen de Manuel Garcia Garcia
Usando checkpoints con los RDD - Error
de Manuel Garcia Garcia - domingo, 17 de noviembre de 2019, 22:50
 

Buenas, estoy intentando hacer el ejercicio de "Usando checkpoints con los RDD" y a la hora de hacer el collect() me sale un error muy largo que se repite en bloque:


File "/usr/lib64/python2.6/pickle.py", line 633, in _batch_appends
    save(x)
  File "/usr/lib64/python2.6/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib/spark/python/pyspark/cloudpickle.py", line 204, in save_function
    self.save_function_tuple(obj)
  File "/usr/lib/spark/python/pyspark/cloudpickle.py", line 241, in save_function_tuple
    save((code, closure, base_globals))
  File "/usr/lib64/python2.6/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.6/pickle.py", line 548, in save_tuple
    save(element)
  File "/usr/lib64/python2.6/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.6/pickle.py", line 600, in save_list

Tengo que hacer las iteraciones de 50 y a la tercera me da el error.

Por que no puedo hacer las iteraciones ni siquiera de 200 como en el cuaderno. Supongo la respuesta pero no lo acabo de entender.

¿me lo pueden explicar?


Gracias. Saludos.

Imagen de Fernando Agudo
Re: Usando checkpoints con los RDD - Error
de Fernando Agudo - lunes, 18 de noviembre de 2019, 09:35
 

Hola Manuel,

Envíame por privado o al correo (fagudo@formacionhadoop.com) el código que estás ejecutando y a partir de ahí te comento/explico que es lo que está sucediendo.

Muchas gracias.

Un saludo,