BDE 产品使用手册 中科天玑数据科技股份有限公司 中科天玑数据科技股份有限公司第 1 页共 36 页 2017-12-16
中科天玑数据科技股份有限公司 地址 : 网址 : 客户服务邮箱 : 北京市海淀区科学院南路新科祥园甲 2 号 http://www.golaxy.cn market@golaxy.cn 客户服务电话 : 010-62600260 中科天玑数据科技股份有限公司第 2 页共 36 页 2017-12-16
目 录 目录... 3 1 登录... 6 2 全局性能指标 配置监控...7 2.1 全局性能指标监控...7 2.2 显示历史配置...8 3 组件的监控与操作... 11 3.1 组件的性能指标监控...11 3.2 添加组件...11 3.3 组件的基本操作...13 3.4 停止组件服务...14 3.5 删除组件服务...15 3.6 修改组件配置...16 3.7 迁移组件...18 4 主机相关操作... 20 4.1 浏览主机状态...20 4.2 删除主机...21 4.3 添加主机...22 5 用户管理... 24 5.1 创建用户...24 5.2 修改用户密码...26 5.3 删除用户...27 6 告警管理... 28 6.1 查看告警信息...28 6.2 设置告警的邮件通知方式...29 7 组件配置... 32 7.1 MongoDB 配置...32 7.2 MongoDB 扩容...32 中科天玑数据科技股份有限公司第 3 页共 36 页 2017-12-16
7.3 ElasticSearch 配置...34 7.4 Confluent 配置...34 7.4.1 confluent-registry...34 7.4.2 confluent-distributed...35 7.5 HBase 配置...36 7.5.1 hbase-env 配置文件... 36 7.5.2 hbase-site 配置文件... 36 中科天玑数据科技股份有限公司第 4 页共 36 页 2017-12-16
中科天玑数据科技股份有限公司第 5 页共 36 页 2017-12-16
1 登录 在登陆页 ( 图 1-1) 输入用户名和密码, 登陆并进入首页 ( 图 1-2) 图 1-1 登录页面 图 1-2 首页 中科天玑数据科技股份有限公司第 6 页共 36 页 2017-12-16
2 全局性能指标 配置监控 2.1 全局性能指标监控 步骤 1 进入首页后, 选择 性能指标, 显示的是当前服务器集群的全局性能指标, 如图 1-2 所示 步骤 2 双击一个图标, 比如 网络使用量, 即可打开大图显示 图 2-1 创建模型 中科天玑数据科技股份有限公司第 7 页共 36 页 2017-12-16
图 2-2 网络使用量 2.2 显示历史配置 步骤 1 步骤 2 进入首页后, 选择 配置操作历史, 显示的是当前服务器集群的, 如图 1-2 所示 在 服务 下拉框中, 选择一个对应的服务, 如果图 2-3 所示 图 2-3 历史配置 步骤 3 选择一个配置版本, 点击后如下图显示 中科天玑数据科技股份有限公司第 8 页共 36 页 2017-12-16
图 2-4 Mongo 的历史配置 中科天玑数据科技股份有限公司第 9 页共 36 页 2017-12-16
中科天玑数据科技股份有限公司第 10 页共 36 页 2017-12-16
3 组件的监控与操作 3.1 组件的性能指标监控 BDE 将所有组件以服务的方式展现出来, 通过点击各个组件的名称, 可以打开相应组件的性能指标监控窗口 图 3-1 选择服务名称 3.2 添加组件 步骤 1 点击 操作 按钮, 选择 添加服务 按钮 中科天玑数据科技股份有限公司第 11 页共 36 页 2017-12-16
图 3-2 添加服务 步骤 2 在 添加服务向导 中选择对应的服务组件, 如 MongoDB 选择完成后, 点击下一步 图 3-3 选择组件的名称 步骤 3 在 添加服务向导 中选择组件对应模块的部署位置, 完成后点击下一步 中科天玑数据科技股份有限公司第 12 页共 36 页 2017-12-16
图 3-4 选择组件对应的模块 步骤 4 在 添加服务向导 中修改组件的配置, 完成后点击下一步 图 3-5 修改组件对应的配置 步骤 5 在随后弹出的 复审 对话框中, 点击部署 3.3 组件的基本操作 选择组件名称后, 点击右上角的 服务动作 按钮, 就显示出操作下拉框 中科天玑数据科技股份有限公司第 13 页共 36 页 2017-12-16
基本操作包括 : 启动 停止 重启所有服务 移动 下载配置 删除服务等 根据需要执行对应的操作即可 图 3-6 组件的基本操作 3.4 停止组件服务 步骤 1 选择需要停止服务的组件名称, 点击 服务动作 按钮, 选择停止 图 3-7 停止服务 中科天玑数据科技股份有限公司第 14 页共 36 页 2017-12-16
步骤 2 在之后的对话框中选择 确认停止服务 图 3-8 停止服务 步骤 3 等待进度条执行完成, 即可完成服务的停止工作 3.5 删除组件服务 步骤 1 要删除服务之前, 必须保证服务已经被处于停止状态 然后选择服务名称, 点击右上角的 服务动作 按钮, 在下拉框中选择删除服务 图 3-9 删除服务 步骤 2 之后弹出确认删除对话框, 提示所有历史配置将会丢失, 如果确定删除, 点击 删除 按钮继续删除流程 中科天玑数据科技股份有限公司第 15 页共 36 页 2017-12-16
步骤 3 再在 文本框 中输入 delete 以确实删除, 之后点击删除按钮, 最后弹出删除成功的提示框 图 3-10 确认删除服务 步骤 4 删除完成后, 系统便提示确认信息 3.6 修改组件配置 步骤 1 选择组件名称, 再选择 配置 选项卡 图 3-11 选择需要修改配置的服务 步骤 2 选项需要修改的选项, 修改完成, 点击 保存 按钮 中科天玑数据科技股份有限公司第 16 页共 36 页 2017-12-16
图 3-12 修改配置内容, 如端口号 : 步骤 3 添加注意事项, 点击 保存 按钮, 完成配置修改 图 3-13 保存配置 中科天玑数据科技股份有限公司第 17 页共 36 页 2017-12-16
3.7 迁移组件 注意 : 迁移组件很可能导致数据丢失, 不要使用于 HDFS HBase 等组件 步骤 1 进入主机界面, 选择需要迁移的组件, 选择 移动, 在之后的窗口中选择 确定 图 3-14 移动组件 步骤 2 进入 移动 Master 向导, 选择一个新的目标主机, 之后点击下一步, 之后确认配置信息, 点击 部署 按钮 之后根据向导提示, 点击下一步直至安装完成 图 3-15 选择新的目标主机 步骤 3 最后向导会提示需要执行的手动指令, 如图所示 将相应的命令在对应的服务器上执行 中科天玑数据科技股份有限公司第 18 页共 36 页 2017-12-16
中科天玑数据科技股份有限公司第 19 页共 36 页 2017-12-16
4 主机相关操作 4.1 浏览主机状态 步骤 1 在首页选择 主机, 列表中包含主机信息, 其中显示主机的状态, 比如告警, 有组件停止工作等 图 4-1 主机列表 步骤 2 选择一个主机名称, 点击后进入该主机的管理界面, 左侧显示已经启动的组件名称, 右侧显示当前主机的工作状态信息, 包括 CPU 内存 硬盘等的使用情况 点击组件对应的按钮, 可以控制当前服务器主键上安装的组件进行停止 启动等操作 中科天玑数据科技股份有限公司第 20 页共 36 页 2017-12-16
图 4-2 管理组件 4.2 删除主机 步骤 1 在删除一个主机前, 先要进入这个主机的管理界面, 将正在运行的服务停止, 点击 主机操作 按钮, 选择 删除主机 图 4-3 删除主机 步骤 2 在警告窗口点击确定按钮, 即可完成主机的删除操作 中科天玑数据科技股份有限公司第 21 页共 36 页 2017-12-16
4.3 添加主机 步骤 1 在主机界面点击 操作按钮, 选择 添加新主机 图 4-4 添加主机 步骤 2 输入 BDE 集群包含的服务器主机名, 并输入 BDE server 端服务器的 ssh 私钥 (/root/.ssh/id_rsa) 到主机注册信息框中, 完成后点击 注册和确认 之后在确认主机页面点击 下一步 图 4-5 输入主机名 步骤 3 选择要安装在新主机结点上的组件, 比如 mongodb 在后续的对话框中选择 下一步, 直到最后完成安装 中科天玑数据科技股份有限公司第 22 页共 36 页 2017-12-16
图 4-6 选择要安装的组件 中科天玑数据科技股份有限公司第 23 页共 36 页 2017-12-16
5 用户管理 5.1 创建用户 步骤 1 在主机界面点击右上角的 按钮, 选择 管理 BDE 图 5-1 选择 管理 BDE 步骤 2 再选择 用户 按钮 中科天玑数据科技股份有限公司第 24 页共 36 页 2017-12-16
图 5-2 BDE 管理界面 步骤 3 再选择 创建用户 按钮 图 5-3 创建用户界面 步骤 4 输入用户名, 并设置是否为管理员用户, 最后为其设置密码, 点击 保存 按钮完成创建 中科天玑数据科技股份有限公司第 25 页共 36 页 2017-12-16
图 5-4 创建用户界面 5.2 修改用户密码 步骤 1 选择要修改密码的用户名 图 5-5 选择用户 步骤 2 点击 修改密码 按钮, 在弹出的对话框中输入旧密码, 并确认新密码 中科天玑数据科技股份有限公司第 26 页共 36 页 2017-12-16
图 5-6 修改密码 5.3 删除用户 步骤 1 选择要删除用户名, 与 5.2 步骤一相同 步骤 2 点击 删除用户 按钮, 在随后弹出的对话框中点击 确认 图 5-7 修改密码 中科天玑数据科技股份有限公司第 27 页共 36 页 2017-12-16
6 告警管理 6.1 查看告警信息 步骤 1 在主界面中, 点击 告警标签, 显示如图的告警信息列表 其中包括告警的原因 级别 组件 发生的时间等 图 6-1 告警信息列表 步骤 2 点击一个具体的告警信息后, 会显示其对应的详细信息, 包括告警事件的描述, 告警事件发生的服务器名称 告警事件发生的具体时间点 中科天玑数据科技股份有限公司第 28 页共 36 页 2017-12-16
图 6-2 告警信息列表 6.2 设置告警的邮件通知方式 步骤 1 在告警界面, 选择 管理通知 图 6-3 管理告警通知 步骤 2 点击 + 号 中科天玑数据科技股份有限公司第 29 页共 36 页 2017-12-16
图 6-4 添加邮件告警 步骤 3 输入告警方式的名称, 并选择需要发送的告警组件, 以及告警级别 图 6-5 创建邮件告警 步骤 4 之后, 配置收信邮箱的地址 发信邮箱的 smtp 地址 端口及密码 中科天玑数据科技股份有限公司第 30 页共 36 页 2017-12-16
中科天玑数据科技股份有限公司第 31 页共 36 页 2017-12-16
7 组件配置 7.1 MongoDB 配置 步骤 1 进入 MongoDB 的服务页面, 选择配置 步骤 2 其中主要的配置项有 : 配置名称 Auth Cache_size Dp_path Mongos_tcp_port Node_group 用途 是否使用授权认证方式 单个 mongodb 使用的内存大小 Mongodb 使用的数据存储路径, 必须确保是三个路径 Mongos 的端口号 Mongo 集群中各结点的主机名列表, 必须是 3 的倍数, 初次搭建的主机用逗号, 分割 扩容之后的新集群与原有集群用 ; 号分割 7.2 MongoDB 扩容 步骤 1 进入 MongoDB 的服务页面, 选择配置 在 node_gorup 中, 加入 ;test4,test5,test6 中科天玑数据科技股份有限公司第 32 页共 36 页 2017-12-16
图 7-1 Mongodb 的节点配置 步骤 2 进入 test4 主机页面, 点击 添加 按钮, 选择 MONGODB, 随后按向导指示完成安装 在 test5 test6 进行相同操作 图 7-2 Mongodb 扩容 中科天玑数据科技股份有限公司第 33 页共 36 页 2017-12-16
步骤 3 Test4 test5 test6 的 mongodb 程序安装完成后, 进入 Mongo 服务页面, 重启 mongos 服务, 待重启完成后, 即可完成 Mongodb 的扩容工作 7.3 ElasticSearch 配置 步骤 1 Elasticsearch 主要的配置项有 : 配置名称 Cluster_name Discover_zen_ping_unicast_hosts http_port Path_data 用途集群名称 Es 集群主机节点列表 Es 管理界面的端口号 Es 的数据保存目录 7.4 Confluent 配置 Confluent 服务有两个重要的配置文件 : 7.4.1 confluent-registry 该配置文件为 Confluent Registry 服务启动时的配置文件, 重要的配置项如下 : 名称描述类型默认值 confluent.distributed.h osts Confluent Distributeds 服务所在的节点的主机名列表, 用逗号分隔 String node1 debug 日志级别是否为 debug boolean false kafkastore.connection. url Zookeeper 服务的 url, 用逗号分隔 String node1:2181,node2:21 81,node3:2181 kafkastore.topic 存放 kafka topic 的 schema 的 topic, 建议 String _schemas 中科天玑数据科技股份有限公司第 34 页共 36 页 2017-12-16
不要修改此配置 listeners 服务对外开放的 url, 端口号需要和 port 参数的一致 string http://0.0.0.0:8081 metric.reporters 用于 connectors 的 metric 信息发送, 不需要修改 string org.apache.ambari.me tricproducer port 服务端口号, 需要和 listeners 中的端口号一致 String 8081 7.4.2 confluent-distributed 该配置文件为 Confluent Distributeds 服务启动时的配置文件, 重要的配置项如下 : 名称描述类型默认值 bootstrap.servers Kafka 集群的 broke 地址, 用逗号分隔 String node1:9092,node2:90 92,node3:9092 config.storage.topic Kafka connector 的配置的 topic 名字, 不建议修改 String connect-configs group.id 该参数把所有 Confluent Distributeds 服务组成一个集群, 值为该集群的名字 String connect-cluster key.converter.schema. registry.url Confluent Registry 服务启动后的访问地址 String http://node1:8081 value.converter.schem a.registry.url Confluent Registry 服务启动后的访问地址 String http://node1:8081 offset.storage.topic Kafka connector 的 offset 的 topic 名字, 不建议修改 string connect-offsets rest.port 服务启动后对外开放 string 8083 中科天玑数据科技股份有限公司第 35 页共 36 页 2017-12-16
的端口号 status.storage.topic Kafka connector 的状态的 topic 名字, 不建议修改 String connect-statuses 7.5 HBase 配置 7.5.1 hbase-env 配置文件 HBase 服务通过 hbase-env.sh 来了解全局的 HBase 集群系统的特性, 可能需要修改的配置项如下 : 配置名称描述类型默认值 HBase Log Dir Prefix 日志存放路径 String /var/log/hbase HBase PID Dir 进程号文件存放路径 String /var/run/hbase 7.5.2 hbase-site 配置文件 HBase 服务通过 hbase-site.xml 文档来配置本机的 HBase 特性, 启动时可能需要修改的配置项如下 : 配置名称描述类型默认值 hbase.rootdir HBase 数据文件在 hdfs 的存放路径 String hdfs://node1:8020/app s/hbase/data hbase.zookeeper.quor um Zookeeper 主机名, 用逗号分隔 String node3,node2,node1 hbase.zookeeper.prop erty.clientport Zookeeper 端口号 String 2181 中科天玑数据科技股份有限公司第 36 页共 36 页 2017-12-16