安装 CDH7.1.1 cloud.tencent.com/developer/article/1717910 这篇文章是精通 CDP 系列的第一文章 Cloudera 与 Hortonworks 合并后, 推出了全球领先的下一代数据平台 Cloudera Data Platform CDP 为用户提供一个多云且多功能的平台, 用于管理企业数据云 通过统一的平台界面, 对数据进行整个生命周期管理, 并提供一致的安全和治理服务 Cloudera DataHub 即 CDH 作为 CDP 的核心组件, 集成了众多前沿数据技术,Ranger Nifi Flink Ozone Hive3, 存储与计算分析,Cloudera Streams Management 等等 这些我们会在系列文章中一一讲述 首先我们详细介绍下如何安装最新版 CDH7.1.1 前置准备 网络设置 修改网络 IP, 并设置为静态 vim /etc/sysconfig/network-scripts/ifcfg-ens192 主机名设置 使用 hostnamectl set-hostname 修改主机名, 配置 /etc/hosts, 并分发到所有节点 禁止 Selinux 执行命令./batch_cmd.sh node.list "setenforce 0" 关闭防火墙./batch_cmd.sh node.list "systemctl disable firewalld"./batch_cmd.sh node.list "systemctl status firewalld" 1/19
关闭透明大页面 使用脚本命令批量执行如下操作 : echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 设置开机自动关闭透明大页面 : echo "if test -f /sys/kernel/mm/transparent_hugepage/enabled; then">> /etc/rc.d/rc.local echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled">> /etc/rc.d/rc.local echo "fi">> /etc/rc.d/rc.local echo "if test -f /sys/kernel/mm/transparent_hugepage/defrag; then">> /etc/rc.d/rc.local echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag">> /etc/rc.d/rc.local echo "fi">> /etc/rc.d/rc.local 授权 : 使用脚本命令批量执行./batch_cmd.sh node.list "cat /etc/rc.d/rc.local"./batch_cmd.sh node.list "chmod +x /etc/rc.d/rc.local"./batch_cmd.sh node.list "ls -l /etc/rc.d/ grep rc.local" 设置 swappiness sysctl vm.swappiness=30 echo 10> /proc/sys/vm/swappiness 查看 swappiness 的值 :./batch_cmd.sh node.list "cat /proc/sys/vm/swappiness" 2/19
安装 ntp 时间同步 所有节点下载安装 ntp 服务 使用脚本批量执行./batch_cmd.sh node.list "yum -y install ntp" Master 节点修改 /etc/ntp.conf 文件 : 注释部分内容, 添加以下内容 : server 127.127.1.0 fudge 127.127.1.0 stratum 10 集群其他节点修改 /etc/ntp.conf 文件如下 : 3/19
启动 ntpd 服务, 并设置 ntpd 服务开机自动启动, 查看 ntp 服务状态 : 查看同步状态 : 安装 httpd 启动 httpd, 并设置开机自动启动, 查看 httpd 状态 4/19
配置 Cloudera Manager 的 repo 源 在 /etc/yum.repos.d/ 目录下新建 cm.repo 文件, 并添加如下内容 : 执行 yum clean all yum repolist 安装数据库 yum -y install mariadb mariadb-server 5/19
启动 mariadb 数据库 :systemctl start mariadb 设置 mariadb 数据库开机自启 :systemctl enable mariadb 查看 mariadb 数据库服务状态 :systemctl status mariadb 配置 mariadb, 设置密码为 password /usr/bin/mysql_secure_installation 6/19
创建集群所需的数据库 create database metastore default character set utf8; CREATE USER 'hive'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'%'; FLUSH PRIVILEGES; create database cm default character set utf8; CREATE USER 'cm'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON cm.* TO 'cm'@'%'; FLUSH PRIVILEGES; create database rm default character set utf8; CREATE USER 'rm'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON rm.* TO 'rm'@'%'; FLUSH PRIVILEGES; create database am default character set utf8; CREATE USER 'am'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON am.* TO 'am'@'%'; FLUSH PRIVILEGES; create database hue default character set utf8; CREATE USER 'hue'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON hue.* TO 'hue'@'%'; FLUSH PRIVILEGES; create database oozie default character set utf8; CREATE USER 'oozie'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'%'; FLUSH PRIVILEGES; create database nav_ms default character set utf8; CREATE USER 'nav_ms'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON nav_ms. * TO 'nav_ms'@'%'; FLUSH PRIVILEGES; create database nav_as default character set utf8; CREATE USER 'nav_as'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON nav_as. * TO 'nav_as'@'%'; FLUSH PRIVILEGES; create database ranger default character set utf8; CREATE USER 'rangeradmin'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON ranger. * TO 'rangeradmin'@'%'; FLUSH PRIVILEGES; 查看创建的数据库 : 7/19
安装 JDBC 驱动 创建 /usr/share/java/ 文件夹, 并将驱动 jar 包改名为 :mysql-connector-java.jar 放进该目录 : 在 master 节点上安装 JDK 集群的部署安装安装并启动 cloudera-manager-server 在 master 节点上安装 Cloudera-Manager-Server: yum -y install cloudera-manager-server 初始化数据库 8/19
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password 执行启动命令 systemctl start cloudera-scm-server 查看 7180 端口是否被监听 netstat -lnpt grep 7180 登录通过网页访问 http://192.168.0.234:7180/cmf/login 输入账号 admin 密码 admin 登录 CM 集群安装 选择 60 天试用版 9/19
点击继续 输入集群名称, 使用默认的 Cluster1 10/19
指定安装主机 设置存储库 11/19
安装 JDK 以及加密政策 SSH 登录, 选择用户, 并输入密码 12/19
安装 Agents 安装选定 parcel 13/19
主机正确性检查, 确保全部通过后点完成 组件安装, 选择自己要安装的组件 14/19
主机角色分配 15/19
数据库连接测试 16/19
测试成功, 点击继续 设置 Range 相关参数 审核更改 17/19
集群设置 集群安装完成 18/19
19/19