技术部2017总结&2018展望

Size: px

Start display at page:

Download "技术部2017总结&2018展望"

蕊湛
5 years ago
Views:

1 构建基于容器的混合云架构与实践中小型互联网公司基础架构技术演进与实践轻轻家教魏云

2 Agenda 背景和挑战基础架构演进技术架构与实践未来规划与尝试 2

3 背景与挑战 3

4 互联网在线教育现状市场规模巨大高增长率投资记录不断被刷新越来越多企业进入赛道 4

5 问题与挑战业务变更频繁多样化周期短工程领域交付效率高可用新老技术架构平滑过渡 ROI( 投入产出比 ) 部署与实现传输计算存储弹性隔离性延迟长尾效应 5

6 如何应对? 几个关键字敏捷可靠高弹性易扩展故障隔离保护不中断业务持续更新 CloudNative 容器云混合云多快好省 6

7 背景和挑战架构演进技术架构与实践未来规划与尝试 7

8 基础架构技术演进路线成长期代码仓库 :GitLab 编译打包 :Jenkins Iaas:Cloudstack 监控与告警 :Zabbix 缓存 :Redis 负载均衡 :Lvs/Nginx 高速发展期容器云 :Docker,K8s,Mesos,Marathon,Chronos,Harbor Devops 应用配置管理 : Disconf CI/CD: Spinnaker,A/B Testing 大数据基础设施 : Hadoop,Hive,Hue,Argus,OpentsDB 分布式存储 :CEPH 发展期 Code Review : Gerrit 知识管理与项目管理 :WIKI,Jira 配置管理 :CMDB,OCS,Puppet 日志收集 :Flume,syslog 队列系统 :Kafka,RebbitMq 公有云服务 :CDN, 对象存储, 点直播服务告警聚合 :Alerta 任务调度 :Rundeck 数据展现 : Kibanna,Grafna 爆发期 (Current Time) 混合云 PAAS 微服务 Mesos DC/OS 8

9 背景和挑战架构演进技术架构与实践未来规划与尝试 9

10 部署架构全局负载均衡服务 GSLB Internet 视频点播服务对象存储服务公有云服务节点一 (计算/数据服务) CDN服务公有云服务 (CDN/对象存储/点/直播服务) Auth Load Balancer VPC 私有云服务 (计算/数据/大数据服务) 公有云服务节点二 (计算/数据服务)

11 系统架构接入层负载均衡认证与授权 DNS 服务 CI/CD 服务容量及伸缩服务监控与告警服务管理服务层自动发布服务配置管理服务容器镜像仓库分布式调度服务日志处理服务容器编制服务 CMDB 运维管理服务资产管理服务系统服务与工具层分布式队列服务分布式缓存服务数据库服务分布式存储服务分布式搜索服务大数据服务硬件及计算层公有云主机物理服务器私有云虚拟机 11

12 基础架构介绍容器云基础设施 CI/CD 基础设施日志处理基础设施大数据基础设施监控与告警基础设施 12

13 容器云技术栈与开源工具链容器栈 :Docker 存储 :Ceph 容器镜像管理 :Harbor 编排与调度 Long-lived : Spinnaker, Kubernetes Short-lived: Mesos,Chronos 配置管理 : 系统配置管理工具 Puppet, 应用配置管理 Disconf, 服务注册 Consul 容器监控 :Promethus; 数据展现 :Grafana 系统监控 :Zabbix 13

14 容器云架构负载均衡 Zookeeper 系统工具和服务组件 Prometheus 负载均衡 Chronos Marathon Spinnaker Jenkins 扩缩容服务 Chronos Spinnaker 编排与调度 Short-lived Service Long-lived Service Short-lived Service Long-lived Service Mesos Kubernetes Consul 告警服务 Mesos Kubernetes Docker Ceph Harbor Disconf Docker 云存储物理主机虚拟机内网 DNS Puppet 虚拟云主机虚拟云主机私有云节点公有云节点 14

15 系统架构拓扑全局负载均衡服务 (GSLB) Internet Consul Load Balancer Consul Agent Load Balancer APPn VM APP1 VM Ingress POD APP1 Ingress POD APPn Ingress POD APP1 Ingress POD APPn Long-lived Service K8s Cluster Jenkins Long-lived Service K8s Cluster Chronos APP1 Chronos APPn disconf 扩缩容服务 Chronos APP1 Chronos APPn 私有云 Short-lived Service Mesos Cluster 扩 Short-lived Service Mesos Cluster 扩缩容服务 15 CI/CD 公有云

16 服务注册发现公有云 Load Balancer ngx-dynamic 私有云 Load Balancer ngx-dynamic K8s-Ingress K8s-Ingress Register Register APPn POD APPn Consul Agent POD APPn Consul Agent HealthCheck HealthCheck VM 公有 / 私有 Docker 集群 Cloudstack 虚拟化集群 16

17 缩容扩容实时指标数据采集业务指标数据采集 K8s-Ingress 实时指标数据分析虚拟机扩缩容公有云 VM 创建销毁 API POD APPn 服务发现 Trigger 扩缩容服务 Trigger Docker 容器扩缩容 (K8s API)[autoscaling] 虚拟机扩缩容私有有云 VM 创建销毁 API K8s-Ingress POD APPn POD APPn 虚拟化集群 APPn VM 服务发现 17

18 实践与总结公有云节点设计考虑使用公有云成熟基础组件 : Credis,Ckafka,CFS 公有云组件 : 负载均衡 (L7),K8s 集群,Mesos 集群,Zookeeper 集群, 基础组件内网 DNS 等系统配置管理 :Puppet 应用配置管理 :Disconf 可伸缩集群 :K8s 集群,Mesos 集群 18

19 CI/CD 基础设施设计与实践 19

20 CI/CD 管道设计 GITLab Repository 1 Development Env. Compile Build 2 2 Offline Artifact Repository 3 Build Artifact Build docker Images 3 4 Deployment Service 4 Offline Docker Registry Repository Testing Env. Sync Release Ready Binary Artifact Approve Dev/Test Env with VM Dev/Test Env with Docker Approve 7 Sync Release Ready Images VM Service Layer [Pre-]Producation Env. Deployment Service 8 Docker container Service Layer Online Artifact Repository 8 9 Pre/Prd Env with VM Pre/Prd Env with Docker Online Docker Registry Repository 20

21 CI/CD 实践私有虚拟化云节点 Artifact Repository Sync Dev/Test Instance Pre/Prd Instance Deloyment Strategy Push Commit Build Trigger Trigger Sync Images And Artifact Deploy Disable Or Destory Build 私有云 / 公有云 Kubernetes 集群 Dev/Tst/Pre/Prd Docker Registry Repository Sync New Replica Set Old Replica Set Deloyment Strategy 21

22 CI/CD 技术栈 Promotes Model of: Build candidate -> Test in running system->push to production Spinnaker 部署管道 : 部署到公有云 Docker 生产环境 Trigger From Jenkins Job 同步包和镜像到线上环境部署到私有云 VM 生产环境部署到测试环境部署到预发布环境部署到私有云 Docker 生产环境 22

23 Introduction To Spinnaker Netflix 开源, 多云部署持续交付平台 : 多种平台上实现开箱即用的集群管理和部署功能, 支持 AWS, Kubernetes,Openstack, Azure,GCE,DC/OS 部署最佳实践可视化部署管道设计支持主流 CI 系统 (Jenkins) 易与成内部和外部系统集成, 支持 Webhook 支持多种部署策略 : 蓝 / 绿 ; 滚动蓝 / 绿 ;Canary 23

24 日志基础设施设计与实践 24

25 日志与数据处理 APP APP 公有云节点公有云节点数据存储 APP 数据分析 / 展现自建机房 25

26 日志基础设施技术栈与开源工具链 Record: Log4j2,Flume Transport :Flume, Rsyslog Search+Analytics: graylog2,hive,spark,elasticsearch Storage: Kafka,Hadoop, elasticsearch,opentsdb(hbase) Data Visualize: Kibana, Grafana 26

27 日志处理架构客户端数据采集 Rsyslo APP g Server Log4j2 Rsyslo APP SDKg FLM Server Rsyslo SYS SDKg FLM Server PV/ 用户行为 /Metric(GET/POST) BIZ LOG && APP Stdout/Stderr,Metric Nginx Lua Syslog Server 数据传输数据过滤数据分析和展现 27

28 大数据基础设施设计与实践 28

29 数据处理日志服务大数据应用服务日志数据和非结构化数据系统日志用户行为日志系统指标日志业务指标日志业务日志 MaxWell Binlog 实时计算服务监控大屏报表服务用户生命周期推荐服务搜索服务 Hive/Spark Sql OL DM DW 调度系统 ETL ODS 架构化数据 Sqoop 存储服务离线计算服务 OLAP 29

30 监控与告警基础设施设计与实践 30

31 监控与告警系统部署架构公有云节点 Zabbix Proxy/Prometheus Export 自建机房 Monitoring And Alert Alerts Zabbix Agent Instance A Zabbix Agent Instance B Prometheus /Zabbix Server Notification WebChat 公有云节点 Zabbix Proxy/Prometheus Export Zabbix Proxy/Prometheus Export Zabbix Agent Instance A Zabbix Agent Instance B Zabbix Agent Instance A Zabbix Agent Instance B 31

32 监控服务基础设施第三方网络监控数据 Rsyslo APP g Log4j2 Server Rsyslo APP SDKg Metric Server Rsyslo SYS SDKg FLM Server 容器指标系统指标网络及硬件指标 Caci IPMI Syslog Server Prometheus 告警服务 32

33 告警服务基础设施 Notifier Notifier Notifier Elastalert Notifier Custom Notifier Notifier Alerta 告警通知服务告警过滤和收敛告警规则定义报警自动处理邮件通知服务短信通知服务微信通知服务语音通知服务 33

34 DevOps Culture ( 文化 ) Automation ( 自动化 ) Self-serving( 自助服务 ) Lean( 精益 ) Measurement ( 量化 ) [ 监控, 指标, 分析 ] Sharing ( 分享 )

35 可视化 (Operational Visibility) Incidents Metric/Event LB Service 1 Incidents ELK Visibility Point 服务请求服务性能指标应用指标应用日志告警视图 Technology And Tools Kibanna And Granfna Zabbix,Prometheus OpentsDB,Argus Kibana,LogTrail Alerta,ElastAlert

36 技术栈选型与构建实践技术栈和组件要适合团队技术能力及主流技术方向 KISS 原则 (Keep It Simple and Stupid) ROI( 投入产出比 ) 使用成熟的第三方云服务不重复造轮子选择经过实际生产环境验证的技术栈和组件不断演进迎合公司业务发展大公司方案不一定是适合的避免为技术而技术任何方案不必最求大而全和完美, 实践中不断完善和演进跟踪主流技术演进方向适当预研相关技术方案并储备 36

37 规划与尝试 37

38 38 资源效率 Apache Mesos And DC/OS 融合计算智能调度微服务 Spring Cloud Service Mesh(Istio, linkerd)

39 THANK YOU Thanks for watching

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践王渊命青云 QingCloud 容器器平台负责人当我们谈论容器器时我们在谈论什什么? 容器器的两个视角资源隔离应用封装容器器生态圈现状容器器技术一家独大百花齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三足鼎立