参考文档:

安装前
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/installation_reqts.html

安装时
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/install_cm_cdh.html

安装后与排错
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/cm_ig_troubleshooting.html

————————————————

一、安装前准备:

数据库部分:

这里,我选择MySQL的5.7的版本,数据库厂商选择:Percona。

上传安装介质,并准备好YUM环境:

上传,并解压:

配置YUM:

注意,对于数据库的安装方式,官方有以下限制或要求的说明:
如果你选择的后端数据库是【MySQL】:
Use UTF8 encoding for all custom databases. MySQL and MariaDB must use the MySQL utf8 encoding, not utf8mb4.
字符集需要【utf8】,而非【utf8mb4】

For MySQL 5.7, you must install the MySQL-shared-compat or MySQL-shared package. This is required for the Cloudera Manager Agent installation.
如果是MySQL 5.7,那么你除了server包,还需要安装以下两个包中的一个:
1. MySQL-shared-compat
2. MySQL-shared

MySQL GTID-based replication is not supported.
MySQL的基于GTID模式的主从架构,在Cloudera的数据库中是不支持的。
GTID模式,是通过修改参数【gtid_mode】开启的:
在5.6中,改参数是静态的,修改参数需要停数据库,在5.7中,改参数已经变成了动态参数。

Hue requires the default MySQL/MariaDB version (if used) of the operating system on which it is installed. For more information, see Hue Databases.

Both the Community and Enterprise versions of MySQL are supported, as well as MySQL configured by the AWS RDS service.
MySQL的社区版和企业版都是被Cloudera支持的。

如果你选择的后端数据库是【Oracle】:
Cloudera supports Oracle Exadata and RAC instances when they serve as backend databases for CDH components without high availability. Cloudera software is architected with the assumption of a single database instance, and supports normal operations between Cloudera Enterprise and Oracle Exadata (or RAC) in such an environment. Cloudera cannot reasonably test and certify on each strategy for each RDBMS. Cloudera expects HA solutions for RDBMS to be transparent to Cloudera software, and therefore are not supported and debugged by Cloudera. It is the responsibility of the customer to provision, configure, and manage the RDBMS HA deployment, so that Cloudera software behaves exactly as it would when interfacing with a single, non-HA service. Cloudera will support and help customers troubleshoot issues when a cluster has HA enabled. While diagnosing database-related problems in Cloudera components, customers may be required to temporarily disable or bypass HA mechanisms for troubleshooting purposes. If an HA-related issue is found, it is the responsibility of the customer to engage with the database vendor so that a solution to that issue can be found.

Before upgrading from CDH 5 to CDH 6, check the value of the COMPATIBLE initialization parameter in the Oracle Database using the following SQL query:

如果后端数据库是Oracle,并且你要对CDH做升级,那么升级前,你需要执行上面的SQL,查询【compatible】的相关信息。

————————————————
安装MySQL:

启动服务,并设置开机启动

修改临时口令,并登陆MySQL:

磁盘与挂载点的推荐配置可以查看官方文档:
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/cm_ig_reqs_space.html

我这里因为是实验环境,所以为了简便:
1. 所有的cloudera程序与数据文件存放位置,根目录下的相对应的目录中
2. 根分区剩余空间在50G以上

网络相关的配置。

文件:/etc/hosts

网卡配置,在配置文件中写成静态分配:

主机名的配置:

禁用防火墙与SELINUX

时间同步服务
1. NTP
2. 我的环境因为是在VMware上的,所以通过VMware TOOLBOX就可以了

CDH 和 CM开放的端口:

配置本地的Parcel库。

安装HTTPD:

配置文件:/etc/httpd/conf/httpd.conf

如上,在【IfModule mime_module】中的【x-gzip】中,增加了【.parcel】

然后重启HTTP服务:

下载官网的Parcel文件:

可以看到,脚本正在运行,执行下载。
等待下载完成。

等待一段时间后,脚本执行完成:

因为配置了HTTP,所以可以在网页上访问:
http://c61/cloudera-repos/

以上是配置了CDH6的组件
在官方网站的文档中,还可以看到其他的几个组件的下载方式:
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/cm_ig_create_local_parcel_repo.html

Apache Accumulo for CDH

CDS Powered By Apache Spark 2 for CDH

Cloudera Navigator Key Trustee Server
Cloudera Navigator Key Trustee KMS and HSM KMS

Sqoop Connectors

下载官方的RPM包:
CM6 – Cloudera Manager 6
https://archive.cloudera.com/cm6/6.1.0/redhat7/

Cloudera CDH6
https://archive.cloudera.com/cdh6/6.1.0/redhat7/
https://archive.cloudera.com/gplextras6/6.1.0/redhat7/

下载RPM后,上传服务器:

然后,在HTTP中配置软链接:

然后网页查看:
http://c61/cloudera-rpms/

然后配置本地的YUM库:

Manually Install Cloudera Software Packages | 手动安装Cloudera软件包

Cloudera Manager Server
在我的环境里,主节点是【c61】:

Cloudera Manager Agent
在我的环境里,从节点是其他四个:

启动服务:
CM Agent

CM Server
启动CM Server的服务之前,需要配置CM的后端数据库。

配置数据库参考官方文档:
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/cm_ig_mysql.html#cmig_topic_5_5

在我的环境里,MySQL的服务端位于【c65】

修改MySQL服务端的配置,并重启数据库服务:

该过程中的日志:

MySQL服务端,添加远端访问权限

然后从【c61】访问MySQL

可以看到,已经可以成功访问了。

YUM: MySQL JDBC Driver

数据库创建脚本:

执行:

可以看到,执行成功。

然后,配置Cloudera与MySQL的关联。

安装JAVA支持:

Cloudera Manager Server DB:

因为数据库服务器不在本地,所以需要增加【-h】选项指定。

查看配置:

这是前面的脚本自动配置的。

最后,启动服务就好了:

成功启动后:

只有端口监听起来了,并且服务器日志如上所示,才表明服务真的成功启动了。

接下来就是在网页上图形化的安装了:
http://c61:7180/cmf/login

二、安装

访问URL:
http://c61:7180/cmf/login
admin/admin


这里要改成:http://c61/cloudera-rpms/cm6/

并且对改路径做出如下配置:

如果没有这个【allkeys.asc】,那么在后面Install Agents的步骤,会出现因为无法找到该文件而导致的自动安装进程中断的错误。