Foro Formación Hadoop

Máquina Virtual Cloudera

 
Imagen de CRISTIAN MIERA GARCÍA
Máquina Virtual Cloudera
de CRISTIAN MIERA GARCÍA - martes, 9 de marzo de 2021, 22:04
 

Hola llevo toda la tarde probando distintos comandos de hadoop en la máquina virtual VM Big Data FH.ova que ya viene configurada, pero me salta todo el rato esta excepción:

WARN ipc.Client: Failed to connect to server: quickstart.cloudera/127.0.0.1:8020: try once and fail.

java.net.ConnectException: Connection refused

at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)

at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)

at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)

at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:494)

at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:648)

at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:744)

at org.apache.hadoop.ipc.Client$Connection.access$3000(Client.java:396)

at org.apache.hadoop.ipc.Client.getConnection(Client.java:1557)

at org.apache.hadoop.ipc.Client.call(Client.java:1480)

at org.apache.hadoop.ipc.Client.call(Client.java:1441)

at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:230)

at com.sun.proxy.$Proxy16.getFileInfo(Unknown Source)

at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:786)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

at java.lang.reflect.Method.invoke(Method.java:606)

at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:260)

at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:104)

at com.sun.proxy.$Proxy17.getFileInfo(Unknown Source)

at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:2131)

at org.apache.hadoop.hdfs.DistributedFileSystem$20.doCall(DistributedFileSystem.java:1265)

at org.apache.hadoop.hdfs.DistributedFileSystem$20.doCall(DistributedFileSystem.java:1261)

at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)

at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1261)

at org.apache.hadoop.fs.Globber.getFileStatus(Globber.java:64)

at org.apache.hadoop.fs.Globber.doGlob(Globber.java:272)

at org.apache.hadoop.fs.Globber.glob(Globber.java:151)

at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1715)

at org.apache.hadoop.fs.shell.PathData.expandAsGlob(PathData.java:326)

at org.apache.hadoop.fs.shell.Command.expandArgument(Command.java:235)

at org.apache.hadoop.fs.shell.Command.expandArguments(Command.java:218)

at org.apache.hadoop.fs.shell.FsCommand.processRawArguments(FsCommand.java:102)

at org.apache.hadoop.fs.shell.Command.run(Command.java:165)

at org.apache.hadoop.fs.FsShell.run(FsShell.java:315)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)

at org.apache.hadoop.fs.FsShell.main(FsShell.java:372)

ls: Call From quickstart.cloudera/127.0.0.1 to quickstart.cloudera:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

¿Alguien me puede ayudar?

Gracias.


Imagen de Juan Calvo Muñoz
Re: Máquina Virtual Cloudera
de Juan Calvo Muñoz - viernes, 12 de marzo de 2021, 10:59
 

Buenas Cristian.


Yo estaba teniendo el mismo problema y lo he conseguido solucionar. He hecho una serie de cosas y no sé muy bien cual ha podido ser la que solucione el problema.

Lo primero que he hecho ha sido iniciar los servicios: zookeeper, yarn, hdfs y spark

He visto que por algún motivo el Spark History Server no se estaba levantando bien y le he hecho un reinicio.

Tras hacer el spark-shell ha funcionado correctamente.


Espero que te funcione ;)