如何 UCloud 上使用数人科技 Mesos-based PaaS 解决方案 V 年 8 月 Apache Mesos 作为新兴的统一资源管理与调度平台, 其编译, 安装, 配置还比较繁琐, 且鲜有经过生产环境验证的安装包数人科技对标准版进行定制和二次开发, 并部署到用户的生产环

Size: px

Start display at page:

Download "如何 UCloud 上使用数人科技 Mesos-based PaaS 解决方案 V 年 8 月 Apache Mesos 作为新兴的统一资源管理与调度平台, 其编译, 安装, 配置还比较繁琐, 且鲜有经过生产环境验证的安装包数人科技对标准版进行定制和二次开发, 并部署到用户的生产环"

怨那平
4 years ago
Views:

1 如何 UCloud 上使用数人科技 Mesos-based PaaS 解决方案 V 年 8 月 Apache Mesos 作为新兴的统一资源管理与调度平台, 其编译, 安装, 配置还比较繁琐, 且鲜有经过生产环境验证的安装包数人科技对标准版进行定制和二次开发, 并部署到用户的生产环境中你可以参考该用户手册, 快速搭建一套数人科技的 Mesos/Marathon/Bamboo/Chronos 环境 Note: 更多配置信息请访问数人科技开源服务集群架构图第 1 页

2 第 2 页

3 1. mesos-master-*: 部署了 zookeeper,,mesos-master,marathon 以及 Chronos 2. mesos-slave-*: 部署了 mesos-slave agent 3. Service-Discovery-*: 部署了 bamboo 来做服务发现先决条件 1. 用户需要为集群启动的每一个 host 绑定 IP 地址, 并保证这些 host 之间可以通过 IP 直接通信为了保证通信质量, 我们建议您在云上设置子网并将集群中的 host 放到同一个子网内 2. 为了能在公网上使用 mesos/marathon/bamboo 的 web 服务, 你的集群需要一个公网 IP 作为入口, 通过配置跳板机和浏览器代理 ( 譬如 : ssh tunnel) 的方式可以达到这个目的快速启动 Mesos Master, Marathon 和 Chronos 依据数人科技在生产环境上的实践经验, 我们可以将 zookeeper, Mesos-Master,Marathon 以及 Chronos 部署在一起, 建议配置为 3 个 host X 2 核 4G 下面是详细的部署过程 1. 请预先新建好的业务组和子网因为集群所有节点都应该部署在相同的子网内, 所以建议新建一个子网 2. 我们要创建 3 台云主机, 作为 3 个互为热备的 Master 节点, 所以以下步骤请执行 3 遍首先选择镜像, 请注意目前镜像仅仅支持北京 BGP 机房 (2015 年 7 月 ) 如果作为测试和体验目的, 主机的配置可以随意选择 Ubuntu 位选择行业镜像里的 DataMan-Mesos-Master-0220-on-Ubuntu-14-64( 数人科技 Ubuntu 企业版 ) 第 3 页

4 CentOS 7 64 位选择行业镜像里的 DataMan-Mesos-Master-0220-on-CentOS-7-64( 数人科技 CentOS 企业版 ) 下一步请选择预先创建的私有网络 ( 例如这里叫 dataman-testa ), 请注意本集群所有的节点都要在同一子网内第 4 页

第三步请选择相应的业务组, 然后设置 root 用户的密码 ( 要严格按照密码提示来设置, 切切 ), 就完成了一个 Master 节点的开通这里要填写每个节点的主机名, 例如这里我们给第一个节点起名 mesos_test_master_1 请注意, 以上流程请执行三次, 建立三个互为热备的 Master 节点随后请继续启动 Master 节点上的相应服务 3.

5 第三步请选择相应的业务组, 然后设置 root 用户的密码 ( 要严格按照密码提示来设置, 切切 ), 就完成了一个 Master 节点的开通这里要填写每个节点的主机名, 例如这里我们给第一个节点起名 mesos_test_master_1 请注意, 以上流程请执行三次, 建立三个互为热备的 Master 节点随后请继续启动 Master 节点上的相应服务 3. 配置并启动 zookeeper Ubuntu 位在 3 台主机 1, 2, 3 上分别执行下面命令 # 分别设置 3 台主机的 MYID 为 1,2 或 3 root@localhost:~$export MYID=< 1 or 2 or 3 > # 分别设置环境变量 ZK1, ZK2 和 ZK3 为 3 台主机的 ip 地址 root@localhost:~$export ZK1=< zookeeper IP1 > root@localhost:~$export ZK2=< zookeeper IP2 > root@localhost:~$export ZK3=< zookeeper IP3 > root@localhost:~$echo $MYID > /var/lib/zookeeper/myid root@localhost:~$cat << EOF >>/etc/zookeeper/conf/zoo.cfg >server.1=$zk1:2888:3888 >server.2 =$ZK2:2888:3888 >server.3=$zk3:2888:3888 >EOF CentOS 7 64 位第 5 页

6 在 3 台主机 1, 2, 3 上分别执行下面命令 # 分别设置 3 台主机的 MYID 为 1,2 或 3 root@localhost:~$export MYID=< 1 or 2 or 3 > # 分别设置环境变量 ZK1, ZK2 和 ZK3 为 3 台主机的 ip 地址 root@localhost:~$export ZK1=< zookeeper IP1 > root@localhost:~$export ZK2=< zookeeper IP2 > root@localhost:~$export ZK3=< zookeeper IP3 > root@localhost:~$echo $MYID > /var/lib/zookeeper/myid root@localhost:~$cp /usr/share/zookeeper/conf/zoo_sample.cfg /usr/share/zookeeper/conf/zoo.cfg root@localhost:~$sed -i "/datadir=/c datadir=/var/lib/zookeeper" /usr/share/zookeeper/conf/zoo.cfg root@localhost:~$cat << EOF >>/etc/zookeeper/conf/zoo.cfg >server.1=$zk1:2888:3888 >server.2 =$ZK2:2888:3888 >server.3=$zk3:2888:3888 >EOF 在 1, 2, 3 上启动服务 root@localhost:~$/usr/share/zookeeper/bin/zkserver.sh start 4. 配置 Mesos Master 在 3 台主机 1, 2, 3 上分别执行下面命令 ```bash # 分别设置环境变量 ZK1, ZK2 和 ZK3 为 3 台主机的 ip 地址 root@localhost:~$export ZK1=< zookeeper IP1 > root@localhost:~$export ZK2=< zookeeper IP2 > root@localhost:~$export ZK3=< zookeeper IP3 > root@localhost:~$echo "zk://$zk1:2181,$zk2:2181,$zk3:2181/mesos" > /etc/mesos/zk root@localhost:~$echo 2 > /etc/mesos-master/quorum root@localhost:~$echo `hostname -I` > /etc/mesos-master/ip root@localhost:~$echo `hostname -I` > /etc/mesos-master/hostname root@localhost:~$echo "DataMan" > /etc/mesos-master/cluster ``` 启动服务 Ubuntu 位 root@localhost:~$start mesos-master CentOS 7 64 位 root@localhost:~$service mesos-master restart 5. 配置 Marathon 第 6 页

7 在 3 台主机 1, 2, 3 上分别执行下面命令 ```bash root@localhost:~$mkdir -p /etc/marathon/conf root@localhost:~$cd /etc/marathon/conf/ # 分别设置环境变量 ZK1, ZK2 和 ZK3 为 3 台主机的 ip 地址 root@localhost:~$export ZK1=< zookeeper IP1 > root@localhost:~$export ZK2=< zookeeper IP2 > root@localhost:~$export ZK3=< zookeeper IP3 > root@localhost:~$echo "zk://$zk1:2181,$zk2:2181,$zk3:2181/marathon" > zk root@localhost:~$echo `hostname -I` > hostname root@localhost:~$echo "zk://$zk1:2181,$zk2:2181,$zk3:2181/mesos" > master ``` 启动服务 Ubuntu 位 root@localhost:~$start marathon CentOS 7 64 位 root@localhost:~$service marathon restart 6. 配置 Chronos 在 3 台主机 1, 2, 3 上分别执行下面命令启动服务 Ubuntu 位 root@localhost:~$start chronos CentOS 7 64 位 root@localhost:~$service chronos restart Note: 更多参数请访问数人科技开源服务快速启动 Mesos Slave 基于不同的应用场景,Mesos Slave 节点无论是数量还是配置都会有不同的需求 Slave 节点的数量是可弹性增加的, 所以我们建议初期用户可以启动 2-6 台 2 核 4G 的云主机试用 ( 这里以 3 台为例 ); 生产环境建议 4 核 8G 或更高, 节点数量按需增加即可 Note: 我们后期会有集群节点梯度配置优化的相关分享第 7 页

8 1. 创建主机, 主要注意事项请参照建立 Master 节点 o Ubuntu 位选择行业镜像里的 DataMan-Mesos-Slave-0220-on-Ubuntu (Mesos Slave 数人科技企业版 ) o CentOS 7 64 位选择行业镜像里的 DataMan-Mesos-Slave-0220-on-CentOS-7-64(Mesos Slave 数人科技企业版 ) 2. 登陆主机, 执行如下命令来配置 Mesos Slave( 以 3 台为例 ) # 分别设置环境变量 ZK1, ZK2 和 ZK3 为 3 台主机的 ip 地址 root@localhost:~$ export $ZK1=< zookeeper IP1 > root@localhost:~$ export $ZK2=< zookeeper IP2 > root@localhost:~$ export $ZK3=< zookeeper IP3 > root@localhost:~$ echo "docker,mesos" > /etc/mesos-slave/containerizers root@localhost:~$ echo "cgroups/cpu,cgroups/mem" > /etc/mesos-slave/isolation root@localhost:~$ echo `hostname -I` > /etc/mesos-slave/ip root@localhost:~$ echo `hostname` > /etc/mesos-slave/hostname root@localhost:~$ echo "zk://$zk1:2181,$zk2:2181,$zk3:2181/mesos" > /etc/mesos/zk root@localhost:~$ restart mesos-slave Note: 更多参数请访问数人科技开源服务快速启动 Bamboo 1. 创建主机, 请参考 Master 节点的安装流程 o Ubuntu 位第 8 页

9 选择行业镜像里的 DataMan-Bamboo-090-on-Ubuntu (Bamboo 数人科技 Ubuntu 企业版 ) o CentOS 7 64 位选择行业镜像里的 DataMan-Bamboo-090-on-CentOS-7-64 (Bamboo 数人科技 CentOS 企业版 ) 2. Bamboo 云主机建议配置为 2 核 4G, 另外, 由于 Bamboo host 是集群服务发现的总出口, 该点存在网络压力, 需要在生产环境应用负载均衡等手段进行优化 3. 登陆主机, 按如下参数配置 root@localhost:~$ /opt/bamboo/bamboo -config_from_flags -haproxy_check -bamboo_endpoint=" -bamboo_zk_host="<zookeeper IP1>:2181,<zookeeper IP2>:2181,<zookeeper IP3>:2181" -marathon_endpoint=" IP>:8080" Note: 更多参数请访问在 linux 上安装 Bamboo 数人科技企业版 docker 仓库 ( 可选 ) 我们经常需要在 Marathon 上使用 docker container, 这时候使用 Docker Hub 这样的公共仓库可能不方便数人科技提供的解决方案有如下两个方案一 : 使用国内的 docker 镜像加速器目前国内很多厂商提供 docker 加速服务, 譬如可以参考 daocloud 的 docker 加速服务, 为你的 Mesos 集群配置镜像加速器方案二 : 搭建私有仓库第 9 页

10 我们也可以创建一个本地仓库供集群使用, 这里建议参考 dockerpool 的文章搭建私有仓库来搭建私有仓库同时, 可以结合方案一的加速服务来快速拉取公有镜像到内部仓库另外, 在使用 UCloud 云主机搭建私有仓库时, 请提前做好规划, 譬如网络带宽, 以及申请足够大的数据盘来为本地仓库预留充足的存储空间等镜像描述数人科技通过 UCloud 的镜像仓库为用户提供了如下的镜像 DataMan-Mesos-Master-0220-on-CentOS-7-64 基于基础镜像 CentOS-7-64bit 预装了 Mesos , Marathon-0.8.1, Chronos 和 zookeeper 并做了一些配置优化使用该镜像, 你只需要进行简单配置就可以得到一组生产环境的 mesos master 节点 DataMan-Mesos-Master-0221-on-Ubuntu 基于基础镜像 ubuntu bit 预装了 Mesos , Marathon-0.8.1, Chronos 和 zookeeper 并做了一些配置优化使用该镜像, 你只需要进行简单配置就可以得到一组生产环境的 mesos master 节点 DataMan-Mesos-Slave-0220-on-CentOS-7-64 基于基础镜像 CentOS-7-64bit 预装了 Mesos 和 docker-1.6 并做了一些配置优化使用该镜像, 你只需要进行简单配置就可以得到一个生产环境的 mesos slave 节点 DataMan-Mesos-Slave-0221-on-Ubuntu 第 10 页

基于基础镜像 ubuntu-14.04-64bit 预装了 Mesos-0.22.1 并做了一些配置优化使用该镜像, 你只需要进行简单配置就可以得到一个生产环境的 mesos slave 节点 DataMan-Bamboo-090

11 基于基础镜像 ubuntu bit 预装了 Mesos 并做了一些配置优化使用该镜像, 你只需要进行简单配置就可以得到一个生产环境的 mesos slave 节点 DataMan-Bamboo-090-on-CentOS-7-64 基于基础镜像 CentOS-7-64bit 预装了数人科技 release 的 bamboo bamboo 通过动态配置 HAproxy 为 mesos 集群做外部服务发现, 使用该镜像, 你可以快速打通外部用户到内网应用的通道 DataMan-Bamboo-090-on-Ubuntu 基于基础镜像 ubuntu bit 预装了数人科技 release 的 bamboo bamboo 通过动态配置 HAproxy 为 mesos 集群做外部服务发现, 使用该镜像, 你可以快速打通外部用户到内网应用的通道联系我们数人科技团队第 11 页

12 第 12 页

A9RF716.tmp

A9RF716.tmp 1 PART I 1 2 3 4 5 6 7 8 Docker Docker Image Container Repository Docker le Docker Docker 8 1 Docker Linux 2 Docker Docker 3 5 Docker 6 Docker volume 7 8 Docker le Docker le 1 C H A P T E R 1 CPU Data