Category Archives: Cloudera CDH

CDH:Add Service – Apache Spark

By | 2018年5月9日

本文将在CDH中添加【Spark】服务。

这样,就添加SPARK服务完成了。

调整Spark的内存设置:

容器的最大内存:yarn.scheduler.maximum-alloc[……]

Read more

CDH / HDFS:WARN hdfs.DFSClient: Caught exception

By | 2018年5月9日

在将输入上传到HDFS的时候你可能会遇到如题所示的错误。

具体如下:

其实,这个情况下,数据都是上传成功了的,只是有个警告而已,看着不是很舒服。

数据情况:
[crayon-5b2b2c5e5defa2195649[……]

Read more

CDH 5.14.3:Install on CentOS 6.9

By | 2018年5月7日

本文会从头开始搭建一个【5】节点的CDH 5.14.3的集群。

Linux系统基础配置:

文件 – /etc/hosts

网卡与hostname配置:

[……]

Read more

Cloudera:Review the running java process in Cloudera Cluster

By | 2018年2月16日

对于一个运行起来的五节点的Cloudera CDH来说,它的每个集群中的主机上的Java进程的分布是这样的:

角色分配概览:

节点一:

节点二:

Read more