Tag Archives: Hadoop

Spark + Scala – error:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

By | 2018年5月25日

在MS Windows中使用Intellij Idea编写scala处理Spark的任务的时候,你可能会遇到如题所示的问题,具体如下:

解决该问题,你需要先下载:
http://public-repo-1.hortonwo[……]

Read more

CDH / HDFS:WARN hdfs.DFSClient: Caught exception

By | 2018年5月9日

在将输入上传到HDFS的时候你可能会遇到如题所示的错误。

具体如下:

其实,这个情况下,数据都是上传成功了的,只是有个警告而已,看着不是很舒服。

数据情况:
[crayon-5b2b2bfa34a5c7076119[……]

Read more

Cloudera:Review the running java process in Cloudera Cluster

By | 2018年2月16日

对于一个运行起来的五节点的Cloudera CDH来说,它的每个集群中的主机上的Java进程的分布是这样的:

角色分配概览:

节点一:

节点二:

Read more