参考官方文档:
https://www.cloudera.com/documentation/enterprise/5-13-x.html
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/installation.html

————————
和前面写的安装文档不同,本文将参考官方文档一步步的核实并执行安装步骤。

下面开始。

————————
一、配置适用于Cloudera Manager / Cloudera Navigator / CDH 5的基础条件(Requirements)

通过Cloudera Manager安装CDH的时候需要的基本权限分布:

1. 使用【cloudera-manager-installer.bin】
需要root权限,或者SUDO权限

2. 启动Cloudera Manager Server服务
需要root权限,或者SUDO权限

3. 通过CM安装CDH组件
需要root用户的账户与口令
需要可以访问SSH的key文件
或者指定用户的SSH等价关系(无需密码登录)

对于Cloudera Manager来说,sudo需要开放的命令行命令权限包括:
对于RHEL / CentOS / Oracle系统来说:
yum
sed
service
chkconfig
id
rm
mv
chown
install

集群的主机与角色的分配
根据角色的不同,主机类型有以下几种:
1. Master Host:
运行Hadoop的Master进程,比如:【HDFS:NameNode】或者【YARN:ResourceManager】

2. Utility Host:
运行Hadoop集群上其他的非Master进程,比如:【Cloudera Manager】或者【Hive Metastore】

3. Edge Host:
在集群中作为客户端的接入点,用于初始化任务或工作的。
Edge Host的数量取决于工作量的类型与大小,而或大或小。

4. Worker Host:
主要运行【DataNodes】以及其他的一些分布式进程,诸如【Impalad】。

集群规模:
1. Very Small, without High Availability

2. Small, with High Availability

3. Medium, with High Availability

4. Large, with High Availability

5. Extra Large, with High Availability

这里,我们选择1 / 2种方式。
因此,我们需要5到8台服务器。

Without HA(5)

With HA(8)

准备好8台服务器,并且配置好IP。

文件【/etc/hosts】

端口。
Cloudera Manager / CDH 组件 / 第三方服务 / 第三方组件,… 等等都是需要使用到一些端口的。
在部署这些应用和服务的时候:
1. 需要确保这些端口没有被占用。
2. 防火墙或者安全设定中开放了这些端口的策略

Cloudera Manager and Cloudera Navigator

Cloudera Manager Server

Clouder Manager Agent

Event Server

Alert Publisher

Service Monitor

Activity Monitor

Host Monitor

Reports Manager

Cloudera Navigate

Audit Server

Metadata Server

Task Tracker Plug-in

Backup and Disaster Recovery

HDFS

具体参考官方文档说明:
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_ports.html

使用Cloudera Manager管理Cloudera的安装介质。

Cloudera Manager的主要作用就是安装CDH,并且管理服务的软件。
Cloudera Manager可以用于全新部署的安装,也可以升级现有的架构。
Cloudera Manager支持两种软件发行的方式:
1. packages
2. parcels

Package:

Parcel:

在同一个集群中,你不能既使用Parcel安装,又使用Package安装。
两种方式,只能选择一个。

推荐【Parcel】。

但通常,Parcel很大,而通过CM走网络从Cloudera官方拉取会很慢。
所以可以在本地搭建HTTPD服务,然后在安装的时候,指定到本地的HTTPD,将会速度快很多。

配置HTTPD服务,并上传Parcel。

默认HTTPD是会安装的,只是服务没有跑起来:

跑起来,然后设置开机启动:

然后,创建软链接:

页面访问:
http://10.158.1.111/software/parcel/

为了后面安装程序方便,Cloudera的YUM软件包我也下载到本地了:

同步YUM配置到集群的各个节点:

Cloudera Manager Deployment

包含以下几个部分:
1. Oracle JDK
2. Cloudera Manager Service与Cloudera Agent Package
3. Database
4. CDH 与 Service软件

有两种方式安装上面这些:
Installation Path A – Automated Installation by Cloudera Manager (Non-Production Mode)
–> 对于测试环境来说,这是推荐的,但是它安装出来的版本并不适用于真正的生产环境。
–> CM自动的安装

Installation Path B – Installation Using Cloudera Manager Parcels or Packages
–> 手动安装上述部分
–> 也可以使用CM自动安装
–> 如果系统适用于生产(Production deployments),你需要首先手动安装并配置好数据库

————————
安装步骤:
1. JDK
2. DB
3. Cloudera Manager Server (Use CM)
4. Cloudera Manager Agent (Use CM)
5. CDH and Managed Service software
6. Create / configure / Start CDH and Managed Services
————————
Oracle JDK
官方下载:
https://www.oracle.com/technetwork/java/javase/downloads/index.html

安装后:

配置环境变量:

同步到其他节点:

安装Cloudera Manager Daemon / Cloudera Manager Server:

Cloudera Manager and Managed Service Datastores
Cloudera Manager可以使用多种数据库或数据存储,保存Cloudera的相关信息,诸如Cloudera Manager的配置,或者系统的健康程度与任务或作业的执行状态与历史。

如果希望快速安装,Cloudera Manager会默认使用内置的PostgreSQL来作为数据库存储,这个安装过程是Cloudera Manager安装的一部分,可以自动安装。
但你也可以使用自定义的数据库存储这部分信息。
目前支持的包括:
1. PostgreSQL
2. MariaDB
3. MySQL
4. Oracle

注意,Cloudera Cluster不支持部署在Docker容器虚拟化的服务器节点上。

需要数据库支持的Cloudera组件,以及它们预计要消耗的大小:

Cloudera Manager:

Oozie Server:

Sqoop Server:

Activity Monitor:

Reports Manager:

Hive Metastore Server

Hue Server

Sentry Server

Cloudera Navigator Audit Server

Cloudera Navigator Metadata Server

数据库准备这里,会描述两个数据库的准备:
1. MySQL
2. Oracle

并且,每种数据库我会演示本地与远端初始化的步骤与差别。

——————
MySQL
具体参考:
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_mysql.html#cmig_topic_5_5_2

先安装mysql-connector-java:

然后安装MySQL。
安装完成后:

可以看到当前mysql在运行。

如果MySQL在运行,先关闭它:

将旧的InnoDB文件移动到备份路径:

编辑MySQL配置文件:

确保MySQL开机启动:

启动MySQL:

登录,并创建数据库、用户与权限

初始化数据库:CMF
初始化前,查看一下:

初始化:

可以看到:
1. 配置写入了:【/etc/cloudera-scm-server/db.properties】
2. 初始化成功

初始化后,查看:
配置文件:/etc/cloudera-scm-server/db.properties

查看数据库的状态:

——————
上面的初始化是数据库在本地的情况,如果数据库在远端:
先将本地的DB配置禁用:

远端:bigdata2:

注意,远端目前是没有DB的。

然后在Cloudera Manager的服务器上操作初始化:bigdata1

然后再在远端DB上,删除临时用户:

然后,看看Cloudera Manager本地的数据库配置:

——————
Oracle

官方说明:
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_oracle.html#concept_csy_lnd_xm

前提,你需要有一个Oracle11g的DB。
并且,建库的时候,字符集需要是【characterSet AL32UTF8】。

这里,我使用【10.158.1.97】上的一个Oracle 11g DB。

Oracle DB:查看状态,并修改参数与日志大小

因为,上面修改了一些参数,需要重启生效,所以重新启动一下DB。

日志文件:

Oracle,客户端:Cloudera Manager Server端:

下载JDBC:
https://www.oracle.com/technetwork/database/application-development/jdbc/downloads/index.html
https://www.oracle.com/technetwork/database/features/jdbc/jdbc-ucp-122-3110062.html

将下载好的JDBC上传服务器

解压:

拷贝到:/usr/share/java/

这样,JDBC就配好了。

Oracle服务端:
创建单独的表空间:

创建SCHEMA:

以上每个用户都要分配如下权限:

对以上所有用户,设置表空间权限

对于Cloudera Navigator Audit用户,还需要额外的权限:

对于Cloudera Manager用户:

然后,在Cloudera Manager Server上初始化数据库:

然后,看看配置文件的变化:

这样,DB的部分就准备好了。

这里,我们使用Oracle的方式作为CM的后端存储。

继续Cloudera的安装。

在节点一上安装(cloudera-manager-server / cloudera-manager-daemon),上面已经安装过了。
检查一下:

安装完成后,【/etc/default】下会多一个文件。
如果使用的是Oracle作为CM的后端,则需要将默认的2G,扩大至4G

这里,我将使用Oracle,所以我改成了4G。

启动服务:cloudera-scm-server

启动后查看:

第一次启动服务会初始化数据库:
查看数据库状态:

可以看到,【CM】已经有了48张表。

CM:

访问WEB:
http://10.158.1.111:7180

这一部分,前面写过很多遍,不赘述。

1. 版本:试用版
2. 指定主机:bigdata[1-8]
3. 自定义Parcel仓库:http://10.158.1.111/software/parcel/

4. 不安装Oracle Java SE
5. 不启用单用户模式

安装成功后:

然后,Paracel:

可以看到这时候Parcel还没有认到节点数量。

后面就认到了。

看日志你会发现CM识别节点数的过程:

日志:

6. 目前,只安装服务:HDFS / YARN。
7. 分配角色:

8. 配置数据库

9. 正在运行:

10. 成功:

——————
至此,安装完成。

安装后,查看下Cloudera CDH5的状态:

——————
Done。

打赏

1
说点什么

avatar
1 Comment threads
0 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
0 Comment authors
Cloudera Enterprise 5.13.x:Installation – 硬件与基本状态说明 – Adamhuan's Data Center – 【逻辑驱动数据】(最好使用Firefox浏览本站,会得到更好的前端呈现) Recent comment authors

This site uses Akismet to reduce spam. Learn how your comment data is processed.

  Subscribe  
提醒
trackback

[…] 打赏 微信扫一扫,打赏作者吧~ 浏览: 0 Category: Cloudera 标签:CDH, Cloudera, Linux, 条件, 硬件, 配置 Post navigation ← Cloudera Enterprise 5.13.x:Installation […]