本文会从头开始搭建一个【5】节点的CDH 5.14.3的集群。

Linux系统基础配置:

文件 – /etc/hosts

网卡与hostname配置:

网卡当前状态:

是否可以访问外网?

禁用SELINUX

关闭防火墙:

配置本地YUM源。

先看看本地的ISO文件挂载情况:

配置:

刷新YUM REPO:

节点一:安装HTTPD

启动HTTPD:

配置NTP服务。

安装:

节点一:服务端配置

其他节点:客户端配置

所有节点启动NTP服务:

验证NTP:

服务端:

客户端:

节点一部署:MySQL

安装:

启动MySQL服务:

修改默认密码:

初始化数据库:

访问一下数据库:

创建CDH需要的初始数据库。

HIVE

CM

AM

RM

HUE

OOZIE

安装MySQL的JDBC驱动:

下载Cloudera CDH 5.14.3的软件包:
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.2/RPMS/x86_64/

这里要特别注意【redhat/6】,因为这里如果有问题,后面可能会出现如下的错误:

日志详情:

上传服务器:

在HTTPD的目录中创建软链接

制作YUM源:

然后,通过HTTPD服务访问以下上面的CDH的源:
http://10.158.1.112/cdh5143/

写入YUM文件:

刷新REPO:

CDH Parcel:
http://archive.cloudera.com/cdh5/parcels/5.14.2.3/

Download Link:
http://archive.cloudera.com/cdh5/parcels/5.14.2.3/CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.14.2.3/CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.14.2.3/manifest.json

下载后,上传服务器:

HTTPD配置全网访问Parcel:

访问:
http://10.158.1.112/parcel5142/

接下来,开始正式安装。

节点一:
安装Cloudera Manager。

YUM: cloudera-manager-server

初始化CM数据库:

如上,你可能会遇到这样的错误:【java.sql.SQLException: Access denied for user ‘cm’@’localhost’ (using password: YES)】

解决:

再来:

去看看CM的数据库的状态:

启动CM服务:

再看看CM数据库的状态:

然后查看Cloudera Manager的日志:

直到,看到了:【INFO WebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180】才算启动成功、启动完成。

这时候,查看一下端口占用情况:

访问:
http://10.158.1.112:7180/

User: admin
Passwd: admin

配置Parcel。(前面HTTPD配置的地址)

指定Cloudera Manager Agent软件所在的位置。(前面HTTPD配置的地址)

这里,我前面配置CDH软件包的时候错误的下成了RHEL5的,改成RHEL6的,然后按照上面的步骤重新配置就可以了。

如果没有问题,等待一段时间之后,就应该安装好了:

调整SWAPPINESS:

修改,透明大页压缩

然后,重新检查:


有可能会有上面这样的报错:【JDBC driver cannot be found. Unable to find the JDBC database jar on host : cdh4.】

需要安装软件包:mysql-connector-java。