PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

音禹费
5 years ago
Views:

1 用友基于 Docker 构建高可用系统的实践綦玉冰用友企业互联网开放平台

3 传统企业进军互联网面临的问题与挑战模块解耦横向扩展调用灵活容错高可用微服务架构 kkk 环境复杂模块多依赖多可独立部署路由混乱频繁升级服务挂掉

4 Docker 带来了什么? Lxc 虚拟化提升性能, 节约成本启动速度快镜像分层 kkk 快速部署更快的扩容缩容 CI 环境构建测试生产环境一致

5 为何基于 Docker 可以实现微服务架构容器容器容器容器容器物理机虚拟机虚拟机容器容器容器容器容器容器容器容器镜像是应用的唯一单元应用包本身配置环境运行环境运行依赖包操作系统发行版操作系统内核容器容器容器容器容器

6 高可用系统需要具备哪些能力? 弹性伸缩自动伸缩服务发现负载均衡性能分析日志收集 Docker 模式 Native 模式应用日志中间件日志镜像文件镜像仓库服务编排中间件应用构建仓库网络管理系统日志安全日志海量索引应用性能运维监控应用拓扑调用链路系统监控主机管理配置管理集群管理批量命令中间件安装发布部署异常报警错误详情大数据存储内存快照

7 总体架构设计互联网用户互联网用户互联网用户互联网用户互联网用户开发人员管理人员运维人员 Nginx Nginx Nginx HAProxy HAProxy HAProxy 代码仓库构建仓库订单服务 tomcat 应用服务发现余额服务 dubbo 缓存 redis 接入层性能监控日志收集系统运维自动构建一键部署镜像仓库分布式协调服务 Zookeeper HDFS Docker HBase MySQL Marathon ElasticSearch 应用层容器层数据层系统监控应用性能分析灰度发布配置管理批量命令节点管理 IaaS ( 用友云阿里云华为云企业自建云 )

8 物理架构设计

9 总体流程设计 Maven 构建仓库任务调度集群系统监控 Ganglia Git 代码管理 Jenkins 发布管理 Master Master Master 应用监控业务监控镜像仓库日志分析服务注册与发现统一收集分布式存储 Ganglia Nagios

10 基于 Docker 模式的构建流程 DockerFile 由 1 台服务器, 产生了 10 个新服务器 ( 容器 ) Server Server Server Server Server Server Server Server Server Server build & tag [root@uap-01~]# docker build -t yonyou/tomcat. push [root@uap-01~]# docker push yonyou/tomcat :1.0 run & pull [root@uap-01~]# docker run -d -p 8080:8080 yonyou/tomcat [root@uap-01~]# docker run -d -p 8081:8080 yonyou/tomcat [root@uap-01~]# docker run -d -p 8090:8080 yonyou/tomcat

11 基于 Docker 模式的构建脚本

12 应用向资源池发布如何做?

13 基于 Docker 模式的服务发布脚本

14 持续交付怎么做? 代码提交 Git/SVN 代码构建 Maven 仓库应用 war 包发布脚本镜像仓库应用版本号服务端口设定容器编排开始发布 Marathon 分发 Master Slave 服务启动用户可访问域名接入 Nginx 反向代理用户引流服务发现

15 基于 Native 模式应用构建和发布流程无需构建直接发布服务编排脚本 wget 由 1 台服务器, 产生了 10 个新中间件 ( 原生 ) Tomcat Tomcat Tomcat Tomcat Tomcat Tomcat Tomcat Tomcat Tomcat Tomcat [root@01~]# wget app.war tomcat.tar.gz jdk.tar.gz unzip [root@01~]# tar zvxf tomcat.tar.gz jdk.tar.gz start [root@01~]#./bin/catalina.sh run -config./conf/mesos.xml [root@01~]#./bin/catalina.sh run -config./conf/mesos.xml [root@01~]#./bin/catalina.sh run -config./conf/mesos.xml

16 Native 模式应用发布的利与弊简单, 无需 DockerFile 环境冲突不用服务编排版本管理基于 Framework 性能优势端口管理

17 百万并发压测 Docker 不同模式的性能对比测试场景 : 物理机 +Docker 结论 :Docker bridge 网络模型, 性能最差, 但是相比 Docker host 模型损耗不大, 1% 左右 Docker host 网络模型和 Native 方式, 性能几乎无差异

18 弹性高可用的设计 Applications Applications RPC Services Applications Schedule Jobs Container Container Container Native Native Marathon Slave Slave Slave Slave Master Slave Slave Slave Slave Zookeeper Zookeeper Zookeeper Slave Slave Slave Slave 动态弹性伸缩云计算资源池 (Dynamic Scaling) (Data Center and Clouds)

19 健康状态检查保证高可用

20 应用运行的架构 Nginx Nginx HAProxy HAProxy tomcat,dubbo,redis,hadoop( 容器生成的节点 ) 订单服务用户登录服务数据缓存应用仓库镜像仓库 tomcat tomcat tomcat tomcat tomcat tomcat dubbo dubbo dubbo 分布式索引 ElasticSearch ElasticSearch redis redis redis 大数据处理 Hadoop HBase HBase 原生实例容器实例 Marathon(init.d) SDK + Docker 虚拟化

21 应用访问的数据流向资源池 ( 混合架构 ) 域名接入 Nginx upstream Router Server HAProxy HAProxy Tomcat Docker Nginx Docker Nginx Docker Tomcat Docker Tomcat Native Tomcat Native Dubbo Native 数据存储 ES Cluster Native Hbase Cluster Native DB Server 服务发现 Marathon Zookeeper MySQL

22 资源的合理利用保证服务的高性能 CPU I/O NetWork Mem

23 业务监控和应用性能监控怎么做? Web Server #1 日志收集与性能分析数据存储 Nginx Logstash (shipper) Kibana Web APM Web DB Server #2 Redis Logstash (indexer) ElasticSearch MySQL Logstash (shipper) Redis Collector HBase App Server #1 RPC Server #2 API Server #3 Tomcat APM Agent (txid) Dubbo APM Agent (txid) Java APM Agent (txid)

24 Docker Native 更大数据量的 Easticsearch 集群 Web UI ElasticSearch Query Node ElasticSearch Data Node Search Query 搜索请求执行搜索 Collector ElasticSearch Master Node Index Query 提交索引数据保存索引数据 SDK+Docker Engine

25 应用云化的一些规范与准则代码与拓扑无关不要依赖基础设施应用无状态化使用通用的 REST API 不要写本地磁盘禁止手工部署应用日志统一管理 Port 资源必须规划 DockerFile + 镜像化禁用不稳定的源

26 平台建设过程中用到的技术栈

27 企业互联网开放平台的总体构成营销规则引擎电商主数据其他支撑行业化 / 领域化应用支撑平台电商应用支撑平台根据不同用户群不同商品, 配置不同折扣的价格规则包括客户商品供应商员工等包括购物车电商类 UI 模板等其他领域应用支撑公共应用支撑云运维平台互联网连接器应用支撑组件持续集成社交网站适配支付平台适配电商平台适配 IM 适配短信适配消息推送适配认证权限调度任务业务日志打印规则引擎编码规则镜像仓库弹性伸缩开发工具技术平台前端控件框架服务端中间件框架日志管理性能分析运维监控

28 iuap.yonyou.com

第 06 期李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI

第 06 期李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI 电子科学技术第 02 卷第 06 期 2015 年 11 月 Electronic Science & Technology Vol.02 No.06 Nov.2015 年基于 ELK 和 Spark Streaming 的日志分析系统设计与实现李祥池 ( 杭州华三通信技术有限公司北京研究所, 北京,100085) 摘要 : 在大数据时代对数据平台各组件的运行状态实时监控与运行分析具有重要意义