扫我并发送 南京 加入南京课堂微信群
What makes QingCloud different? 青云 IaaS+PaaS 技术路径 Jordan 李威 青云 QingCloud 系统工程师
李威 (Jordan) 青云 QingCloud 系统工程师,QingCloud Hadoop 集群服务作者 2008 年北京大学硕士毕业, 曾为 IBM DevOps 架构师 IBM 金牌讲师, 曾在 4 所重点大学讲授 4 门研究生及 3 门本科生课程 8 年云计算 大数据 DevOps 相关领域的产品设计开发经验
Agenda 青云 IaaS 架构特性 SDN2.0 功能特性 QingStor TM 架构及计划 大数据平台架构及计划 QingCloud 整体架构及计划
IaaS 层高可用 高可用可伸缩轻量化组件化 API 做 IaaS 到底在做什么 PS -> VS 数据不丢 PN -> VN 地址不变 PM -> VM 高可用主机 ( 高性能 / 秒级调度... ) 备份
PaaS 层高可用 高可用可伸缩轻量化组件化 API LB / RDS / BIGDATA... PaaS 高可用于 IaaS 高可用的关系
跨机房高可用 高可用可伸缩轻量化组件化 API 数据优先 网络冗余 拓扑管理
可伸缩的前提 高可用可伸缩轻量化组件化 API IaaS 对物理设备的屏蔽 秒级计费与秒级调度
轻量化 高可用可伸缩轻量化组件化 API PM < VM < unikernel < container
组件化 高可用 可伸缩 轻量化组件化 API Hadoop Storm QingStor QingStor Spark QingStor
API 是资源调度的编程语言 高可用 秒级创建 IaaS / PaaS API 可伸缩 轻量化 组件化 API 快速部署 Self Images / User Data 资源监控 Alarm 自动伸缩 Auto Scaling / Application Engine SDK/CLI 300 个 Python Ruby PHP NodeJS
Agenda 青云 IaaS 架构特性 SDN2.0 功能特性 QingStor TM 架构及计划 大数据平台架构及计划 QingCloud 整体架构及计划
SDN SDN-Software defined network 为什么需要 SDN 虚拟网络 VPC (Virtual Private Cloud) 现有 SDN 方案 硬件方案 ( 软件定义, 硬件实现 ) 主流网络设备厂商有各自实现 软件方案 (NFV) VMWare NSX, Juniper OpenContrail, OpenStack DVR
如何实现 SDN 传统 SDN 数据封装 VXLAN 控制平面 ( 管理网络 ) 二层交换 / 三层路由规则同步 BGP/OSPF ARP 泛洪抑制 数据平面 ( 用户网络 ) DVR (Linux kenrel module) 虚拟边界路由器 (VPN, Tunnel)
QingCloud SDN 2.0 SDN 组件 公网 IP VPC 主机直接绑定和公网 IP 负载均衡器 无限下载带宽和 https 卸载能力 4 层 / 7 层全透明 基础网络 公有云基础网络 IP 地址任意迁移 私有云混合组网 VPC 和物理网络直连
SDN 数据平面 - DVR Host E Host C Host D Host A Host B Host A Host B Host A Host B 物理网络 A B 需要 4 跳 NFV without DVR VM A B 需要 4 * 4 跳 DVR VM A B 需要 4 跳跟物理网络一致
QingCloud DVR www Base Network Gateway Cluster VPC Network DVR Compute Node VPN/Tunnel Internet Edge VR Loadbalancer Cluster Internet User Instances Intranet
VPC VPC 虚拟的三层网络 IP 地址复用 VPC1 10.0.0.0/8 VPC2 10.0.0.0/8 Host A: 10.50.11.2 Host B: 10.100.12.3 物理内联网 10.0.0.0/8
VBC 企业私有云网络 虚拟 \ 物理混合网络 网络硬件全兼容 Enterprise Intranet 虚拟机任意迁移, IP 地址不变 与硬件网络高效互联 DVR DVR Physical Router 不需边界路由器 Host A Host B 无部署规模限制 包含 VPC 所有功能 Live Migration
DVR -> 公网 IP Internet Internet 边界路由器 公网服务 Base Network VPC DVR 内联网路由器 内网服务 传统网络 青云网络
负载均衡器集群 后端主机可以位于任何网络四层 / 七层全透明 VG1 LB node 1 按用户需求弹性部署无限下载带宽 Internet VG2 LB node 2 Backend servers 无限 HTTPS 卸载能力 VG3 LB node 3
Agenda 青云 IaaS 架构特性 SDN2.0 功能特性 QingStor TM 架构及计划 大数据平台架构及计划 QingCloud 整体架构及计划
选择 QingStor TM 对象存储 不假设数据类型 容量无限 实时监控计费 多租户 安全签名和加密传输 公有云私有云 高可用多副本
存储与计算紧密结合 IaaS 应用中心 数据处理服务 QingStor TM 大数据 CDN RDB or KVDB
QingStor TM 架构 Global Pek3a GD2 BucketA.qingstor.com BucketA.pek3a.qingstor.com Bucket 名字全局唯一 BucketA obj obj 扁平化结构通过 API 模拟目录层级
QingStor TM 架构 内网请求 外网请求 Interface Layer Cache Scheduler LB Index Layer Monitoring cluster1 clustern Bot
多种访问方式 控制台访问 SDK CLI RESTful API S3 兼容接口
QingStor TM 研发计划 域名 Cname 支持及 CDN 网络加速 Amazon S3 API 兼容 多语言 SDK 跨区同步备份 数据处理服务 接驳大数据平台
Agenda 青云 IaaS 架构特性 SDN2.0 功能特性 QingStor TM 架构及计划 大数据平台架构及计划 QingCloud 整体架构及计划
大数据应用客户案例 大型互联网社交企业 User Profiling Hadoop Spark Kafka Redis Mongo 大型互联网金融企业 风控分析 Spark Streaming HDFS Storm HBase Kafka Flume 大型传统金融企业 日志挖掘 Hadoop Hive 大型政府部门 海量信息检索 & 存储 Elastic Search Kibana Hadoop
云计算与大数据 Big Data Requires Elastic, Flexible Infrastructure 大数据解决方案最大 最重要的决定是平台的选择 Hadoop Spark Hbase GreenPlum 根据实际需求选择平台 实时处理 离线处理 结构化数据 非结构化数据 CRUD 事务性 数据量大小... 平台的能力 能满足实际需求的平台才是好平台 业务的不确定性 Relative scale, not absolute scale The world is changing!
挑战 稳定性 q HA / 灾难恢复等 性能 Virtual Machines App1 App2 OS Kernel VM App1 App2 OS Kernel VM Containers LXC App1 LXC App1 Container LXC App2 Container LXC App2 Unikernels LibOs App1 UniKernel LibOs App1 UniKernel VM VM q 网络 IO SDN 2.0 ( 点到点网状结构 ) q 硬盘 IO 容器,Unikernel Host Host Host 迁移 q q Within cloud Between cloud and on-premise q Tools : Sqoop, Kafka, Flume, dfs -put, distcp, etc. Server Server Server http://www.corentindupont.info/images/virt.png
系统架构 Reporting, Visualization Cassandra, MongoDB, Redis, MySQL,Solr, ElasticSearch Real Time Processing Batch Processing Big SQL SparkSQL Logs Metrics Social Data Sensor Data Messages Kafka /Flume Storm Spark Streaming Custom Process Engine Spark MapReduce Tachyon Kylin Phoenix Hive Presto GreenPlum Impala Monitoring Alarm Metering Security Governance (ZooKeeper) HDFS / Hbase / Object Storage IaaS
Agenda 青云 IaaS 架构特性 SDN2.0 功能特性 QingStor TM 架构及计划 大数据平台架构及计划 QingCloud 整体架构及计划
QingCloud Architecture SaaS / Applications Peer-to-peer Management PaaS Orchestration 编排 IaaS: 计算存储网络安全 部署配置伸缩应用监控应用备份 Hardware Automation
QingCloud Architecture PaaS 资产风险销售培训支付支持社交财务分析 Half Paas OpenSOURCE Paas Commercial Paas 应用集成大数据身份授权 数据库中间件桌面应用 服务器户管理门 服务开发门户 服务交付门户 集成管理系统 laas P2P 智能机器人社区 计算网络存储安全数据库监控备份映像 X86 Powe ARM Disk 交换机路由器
青云做的是云计算时代的操作系统 Software is the brain; Hardware is the muscle.
QingCloud-IaaS Thank you. Jordan@yunify.com 青云 QingCloud www.qingcloud.com
扫我并发送 南京 加入南京课堂微信群