1吴正轩

Size: px

Start display at page:

Download "1吴正轩"

珍砧容
5 years ago
Views:

1 京东 JDOS2.0 平台与敏捷数据中心探索历程京东集群研发部吴正轩

2 容器技术在京东商城历史与发展 JDOS2.0 平台京东敏捷数据中心建设开源计划 Q&A

3 JDOS 1.0 l 分物理机 => 分容器 l 业务系统 100% 全面容器运行 l 上线周期由 1 天降低到 10 分钟 l 少买 3/4 机器 Containers VMs Physical servers JD Data Center Operating System (JDOS) JFS OVSSS JD Linux Kernel 3

4 JDOS 发展历程业务容器化全面落地支撑双 11/618 积累了大量的容器运营经验对 Linux 内核进行了深度定制全面建设 JDOS 1.0, 实现了容器分配的秒级伸缩 JDOS2.0 全面推出从基础设施转向应用平台推进了业务从源码到编译打包到镜像的全流程逐步解除对部署系统的依赖建设了平台化的 JDOS 2.0, 实现业务层级的秒级伸缩 JDOS1.0 推出, 推进业务容器化推出 JDOS 平台将业务逐渐接入容器业务间通过容器实现隔离 JDOS 容器生态建设完善容器的监控网络存储等容器生态建设建设了镜像中心, 为平台化铺平道路积累了丰富的运营监控数据

5 容器技术在京东商城历史与发展 JDOS2.0 平台京东敏捷数据中心建设开源计划 Q&A

6 JDOS 2.0 集群部署架构 JDOS-api 镜像中心自动构建集群管理 api file Source Code Jenkins Master controller scheduler SkyLB SkyNet SkyDNS Jenkins Slave Pod 生产环境 App Node App kubelet Network Volume SkyFS ElasticSearch App Log Monitor Prometheus Image 测试环境 App App App 6

7 JDOS 2.0 典型业务 7

8 SkyDNS User JDOS2.0 docker Load Balancer Get Service DNS req/resp IP port scan IP port scan API Service to DNS DNS Server Check IP status Write to/delete Read DNS from Read DNS from /Write DNS to /Del/Update etcd Red IP from /Update IP status 8

9 SkyLB Kubernetes master Create/Del/Get RC for Service Watch Service Load Balance Control Center grpc grpc Kubernetes Load Balancer Based on DPDK Load Balancer Load Balancer Load Balancer Load Balancer Load Balancer Load Balancer DPDK DPDK DPDK 9

10 SkyLB VIP: BGP Router BGP BGP Router Table: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: quagga quagga quagga Skylb DPDK KNI Load balancer Skylb DPDK KNI Load balancer Skylb DPDK KNI Load balancer Service Endpoint Service Endpoint Service Endpoint 10

ContainerFS Mata nodes Raft Key : parent ino +

Fllower MataData Table ( raft group ) Volume manager

VFS FUSE Data nodes BlockGroup Datanode1 Datanode2

11 ContainerFS Mata nodes Raft Key : parent ino + filename metanode Leader metanode Fllower metanode Fllower MataData Table ( raft group ) Volume manager client Value : Inode attributes app LibFuse Volume VFS FUSE Data nodes BlockGroup Datanode1 Datanode2 Datanode3 BlockGroup DISK DISK DISK BlockGroup BlockGroup 11

12 容器技术在京东商城历史与发展 JDOS2.0 平台京东敏捷数据中心建设开源计划 Q&A

13 JDOS 敏捷数据中心是什么 a PaaS platform a cluster manager a container platform an operating system 13

14 JDOS 敏捷数据中心 14

15 JDOS 是中间件服务平台独享集群 Simple API Share powerful Cluster JFS ES JIMDB JMQ JSS JED JDOS 15

16 JDOS 是组件管理平台 Universe Catalog Repo package Zookeeper chart 容器的镜像启动命令, 负载均衡配置等模板管理 Zookeeper 的数量等无依赖服务变量管理依赖管理 Zookeeper Chart JDOS 廊坊一区集群用户 A 的 zookeeper 集群 Zookeeper 服务的介绍服务说明 Zookeeper Zookeeper Zookeeper Kafka chart 容器的镜像启动命令, 负载均衡配置等模板管理用户 A 的 kafka broker 集群 Kafka broker Kafka broker Kafka broker Kafka broker 的数量等依赖 zookeeper 服务变量管理依赖管理 Kafka Chart Kafka broker Kafka broker Kafka broker Kafka 服务的介绍服务说明 JDOS 黄村一区集群用户 A 的 zookeeper 集群 16 用户 A 的 kafka broker 集群

17 容器技术在京东商城历史与发展 JDOS2.0 平台京东敏捷数据中心建设开源计划 Q&A

18 开源项目分布式 DNS 分布式共享存储 18

19 陆续开源 JMQ 消息中间件 JIMDB nosql 存储中间件 JSF RPC 框架 19

20 Q&A Thank you for your time

京东容器平台与数据中心协同发展实践鲍永成京东商城 - 基础平台部技术总监

京东容器平台与数据中心协同发展实践鲍永成京东商城 - 基础平台部技术总监京东容器平台与数据中心协同发展实践鲍永成京东商城 - 基础平台部技术总监鲍永成 l 2013 年加入京东, 负责京东容器集群平台 (JDOS) 研发, 带领团队完成京东容器大规模落地战略项目, 有效承载京东全部业务系统和中间件, 以及数据库系统, 特别在大促期间抢占式调度应对高峰流量, 技术引领, 从容大促 l 目前聚焦在京东容器集群 JDOS 2.0 以及京东敏捷智能数据中心研发容器技术在京东商城历史与未来