主题演讲 亚马逊云计算引领数字化创新转型 张侠博士 AWS 首席云计算企业战略顾问 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
亚马逊以客户为中心的全方位数字化创新
亚马逊创新的方法 架构 组织 文化 机制 灵活 可预测 可预置 可预防 敏捷精干的团队 创新基因, 试错 客户为中心, 持续部署 f( 创新 ) = ( 组织 * 架构 ) ( 机制 * 文化 )
创新有多种方式和各种规模 激进且据变革性的创新是帮助他人释放创造力以实现梦想 Invention comes in many forms and at many scales. The most radical and transformative of inventions are often those that empower others to unleash their creativity to pursue their dreams. Jeff Bezos CEO, Amazon.com
议题 1. 赋能创造者 2. 创新加速器 3. 变革型创新 谁是创造者? 计算 -> 容器 -> 无服务器 良好架构与安全 AWS 广度和深度 持续发布新服务 机器学习 现代数据架构 沉浸式客户体验 实验文化 新业务模式
议题 1. 赋能创造者 2. 创新加速器 3. 变革型创新 谁是创造者? 计算 -> 容器 -> 无服务器 良好架构与安全 AWS 广度和深度 持续发布新服务 机器学习 现代数据架构 沉浸式客户体验 实验文化 新业务模式
赋能创造者
数据专家 开发人员 商务人士 IT 运营人员 何谓创造者? C x O 数据科学家 学生
RDBMS 浏览器 数据库 WEB 服务 应用服务器
AWS IoT 死信队列 物联网影子 IoT 影子 许可 Amazon API Gateway AWS Lambda Amazon SQS Messages AWS Lambda AWS Lambda 注册 检查证书 待注册 机器人 Amazon CloudWatch 队列读取器 物联网规则 注册机器人 登录 生命周期事件
AWS
重新审视开发 编写代码登入构建测试部署运行
编写代码 I D E
登入构建测试部署 A W S 代码服务 AWS CodePipeline AWS CodeDeploy AWS CodeCommit AWS CodeBuild
运行 生产 运维管理 Amazon CloudWatch AWS Systems Manager AWS CloudFormation AWS CloudTrail AWS Config AWS Managed Services AWS OpsWorks AWS Service Catalog AWS Trusted Advisor AWS X-Ray
计算 : 从服务器到无服务器 虚拟机 容器 无服务器
计算 : 从服务器到无服务器 模拟物理基础设施 非常适合运行现有软件 大型现有设施 虚拟机 容器 无服务器
广泛的计算实例选项 L i g h t s a i l T2 M5 D2 H1 R5 R5m X1 X1e I3 I3m C5 G3 P3 F1 Z1d Z1dm 虚拟专有服务器 峰值需求型 通用型 存储密集型 大数据优化型 内存优化型 内存计算型 内存密集型 高 I/O 型 裸机高 I/O 型 计算密集型 图形密集型 通用 GPU 型 FPGA 型 计算和内存密集型 EC2 Elastic GPU 型 为 EC2 实例提供图形加速资源 E C 2 F l e e t 配置进一步简化 超大规模 灵活的容量分配方式
计算 : 从服务器到无服务器 高度适合无服务架构 从数小时到数分钟 开发者敏捷性 虚拟机 容器 无服务器
AWS 容器相关的服务 即将推出 A m a z o n E C S A W S F a r g a t e f o r E C S A m a z o n E K S A W S F a r g a t e f o r E K S
客户利用容器系统在生产环境中成就非凡
计算 : 从服务器到无服务器 为开发人员带来极大生产力 彻底消除基础设施管理需求 更多专注于业务逻辑 虚拟机 容器 无服务器
创造者希望专注于创造 业务逻辑
AWS 无服务器应用架构 数据 通信 监控审计 网络 开发布署 Amazon DynamoDB Amazon Cloudfront Amazon Kinesis Amazon Cloudwatch AWS ALB AWS IAM AWS CodeCommit Amazon Aurora Serverless Amazon S3 Amazon SNS AWS X-Ray Amazon API Gateway AWS Cloud 9 AWS CodePipeline 系统开发 Amazon SQS AWS Cloudtrail 身份 AWS CodeStar AWS CodeBuild 计算 协同 Amazon Cognito AWS IoT Mobile AWS Lambda AWS Step Functions Amazon Cognito Userpools
无服务器应用的优势 无需服务器管理灵活的扩展能力高可用性无闲置容量
在 AWS 上运行无服务器架构的部分客户
计算 : 从服务器到无服务器 虚拟机 容器 无服务器
AWS 良好架构 卓越运营安全合规可靠性 性能效率 成本优化
AWS 良好架构 1 不再猜测容量需求 2 建立生产规模级测试系统 原理 3 利用自动化机制简化架构实验 4 允许架构演进 5 利用数据驱动您的架构 6 通过游戏日活动进一步改善架构
AWS 良好架构 良好架构 安全 安全合规原理 身份与访问管理检测控制基础设施保护数据保护事件响应
AWS 良好架构 安全最佳实践 实施良好身份管理的基础 建立可追溯能力 在各层内引入安全性保障 自动实施安全实践 对在途和静止数据加以保护 准备应对安全事件
安全是每个人的责任
AWS 良好架构 静止加密 在途加密 Amazon S3 接入限制 加密无处不在 Load Balancer Amazon EBS KMS 管理密钥 EBS Amazon RDS 良好架构 安全 Amazon Redshift 你的密钥 导入的密钥 AWS CloudTrail 可审计 Amazon Glacier Amazon EFS
议题 1. 赋能创造者 2. 创新加速器 3. 变革型创新 谁是创造者? 计算 -> 容器 -> 无服务器 良好架构与安全 AWS 广度和深度 持续发布新服务 机器学习 现代数据架构 沉浸式客户体验 实验文化 新业务模式
创新加速器
技术与商务支持 支持 专业服务 优化指南 合作伙伴生态 系统 市场 培训与认证解决方案管理账户管理安全和账单报告个性化控制面板 商业应用商业智能 DevOps 工具安全联网数据库存储 分析 开发 / 运维移动服务物联网 机器学习 企业应用 混合架构 迁移 数据仓库 Elasticsearch 一键式应用部署 API 网关 规则引擎 面部识别分析 优化模型 名人识别 虚拟桌面 数据集成 数据架构转换 商业智能 数据管道 资源模板 单一集成控制台 设备影子 文本转换音频 模型托管 实体抽取 共享与协作 集成联网 EB 级数据迁移 Hadoop/Spark 交互式 SQL 查询 构建和测试 身份 设备软件开发工具包 视频分析 边缘机器学习 自然语言理解 企业邮箱 集成身份和权限 应用程序迁移 流式数据分析 ETL 应用生命周期管理 同步 设备网关 情绪分析 加速硬件 语音识别 应用程序流式处理 集成资源和部署管理 数据库迁移 流式数据收集 DevOps 资源管理 移动分析 注册表 主题建模 多重架构 翻译 通信 集成设备和边缘系统 服务器迁移 应用服务 触发器 移动应用测试 本地计算 语音转录 记事本托管 预训练模型 联络中心 队列和通知 电子邮件 容器 针对性推送通知 建模训练 图像标签 工作流程 转码 分析和调试 搜索 修补 核心服务 安全合规 管理工具 区域 可用区 接入点 计算虚拟机 自动扩展 负载均衡 容器 虚拟私有服务器 批处理计算 云函数 Elastic GPU 边缘计算 存储对象 数据块 文件 存档 导入 / 导出 EB 级数据传输网络虚拟私有云 网络直联 域名服务 数据库关系 NoSQL 缓存 迁移 PostgreSQL 兼容内容发布 身份管理 配置合规性 访问控制 密钥管理和存储 监控与日志 账户分组 评估和报告 资源和使用审计 Web 应用防火墙 DDOS 保护 资源管理 监控 服务目录 服务器管理 配置跟踪 资源模板
技术与商务支持 支持 专业服务 优化指南 合作伙伴生态 系统 市场 培训与认证解决方案管理账户管理安全和账单报告个性化控制面板 商业应用商业智能 DevOps 工具安全联网数据库存储 分析 开发 / 运维移动服务物联网 机器学习 企业应用 混合架构 迁移 数据仓库 Elasticsearch 一键式应用部署 API 网关 规则引擎 面部识别分析 优化模型 名人识别 虚拟桌面 数据集成 数据架构转换 商业智能 数据管道 资源模板 单一集成控制台 设备影子 文本转换音频 模型托管 实体抽取 共享与协作 集成联网 EB 级数据迁移 Hadoop/Spark 交互式 SQL 查询 构建和测试 身份 设备软件开发工具包 视频分析 边缘机器学习 自然语言理解 企业邮箱 集成身份和权限 应用程序迁移 流式数据分析 ETL 应用生命周期管理 同步 设备网关 情绪分析 加速硬件 语音识别 应用程序流式处理 集成资源和部署管理 数据库迁移 流式数据收集 DevOps 资源管理 移动分析 注册表 主题建模 多重架构 翻译 通信 集成设备和边缘系统 服务器迁移 应用服务 触发器 移动应用测试 本地计算 语音转录 记事本托管 预训练模型 联络中心 队列和通知 电子邮件 容器 针对性推送通知 建模训练 图像标签 工作流程 转码 分析和调试 搜索 修补 核心服务 安全合规 管理工具 区域 可用区 接入点 计算虚拟机 自动扩展 负载均衡 容器 虚拟私有服务器 批处理计算 云函数 Elastic GPU 边缘计算 存储对象 数据块 文件 存档 导入 / 导出 EB 级数据传输网络虚拟私有云 网络直联 域名服务 数据库关系 NoSQL 缓存 迁移 PostgreSQL 兼容内容发布 身份管理 配置合规性 访问控制 密钥管理和存储 监控与日志 账户分组 评估和报告 资源和使用审计 Web 应用防火墙 DDOS 保护 资源管理 监控 服务目录 服务器管理 配置跟踪 资源模板
A m a z o n 机器学习 : 悠久的传统 个性化推荐 自动配送 / 库存管理无人机语音驱动交互 建立全新客户体验
Amazon.com 上的机器学习 来自不同企业的成千上万员工关注人工智能 零售业 客户 卖家 目录 文本 图像 需求预测 推荐 欺诈检测 浏览节点分类 书内搜索 视觉搜索 供应商提前预测 产品搜索 预测性帮助 元数据验证 命名实体提取 产品图像增强 定价 产品广告 卖家搜索与抓取 审查分析 综述 / 透视 品牌追踪 包装 购物建议 产品匹配 抄袭检测 替代预测 客户问题检测
成千上万客户在 AWS 上运行机器学习任务
那我们学到了什么?
机器学习需要一套新型堆栈 云规模可扩展适用性 无限的数据 超大规模计算 各步骤都快速 广泛的框架支持能力 持续迭代 训练 部署与运营 开发人员 数据科学家 分析师
数据算法模型
新数据 模型 预测
ML @ AWS 我们的使命 将机器学习能力交付给 每一位开发人员和数据科学家
框架 K E R A S
平台 AMAZON SAGEMAKER 框架 K E R A S
应用服务 REKOGNITION REKOGNITION VIDEO POLLY TRANSCRIBE TRANSLATE COMPREHEND LEX 平台 AMAZON SAGEMAKER 框架 K E R A S
前往 ml.aws
议题 1. 赋能创造者 2. 创新加速器 3. 变革型创新 谁是创造者? 计算 -> 容器 -> 无服务器 良好架构与安全 AWS 广度和深度 持续发布新服务 机器学习 现代数据架构 沉浸式客户体验 实验文化 新业务模式
变革式创新
我们的客户投资现代数据平台的建设 沉浸式体验 创建一种无拘无束的个性化客户体验 实验文化 利用机器学习 / 数据科学进行事件建模与预测 新型商业模式 建立新的产品与服务, 将数据与专业知识变现
利用现代数据平台 进行变革式创新
传统的数据分析 商务智能 关系型数据 TB 到 PB 级规模 数据加载前即对模式进行预先定义 数据仓库 运营报告与临时查询 数额可观的前期资本支出 + 每年每 TB 数据 1 万至 5 万美元分析成本 OLTP ERP CRM LOB
数据湖拓展了传统的数据分析 商务智能 数据仓库 大数据处理 实时 机器学习 数据湖 关系型与非关系型数据 TB 至 EB 级规模 多种多样的分析引擎 低成本存储与分析 OLTP ERP CRM LOB 设备 Web 传感器社交媒体
Amazon S3 成为数据湖常用的选择 无与伦比的持久性 可用性与可扩展性 最佳安全性 合规性以及审计功能 对象级控制 立足数据建立业务洞察力 提供众多数据 导入方式 两倍于其它方案的与合作伙伴的集成
AWS Glue 可帮助您充分利用数据资源 Amazon S3 Amazon EFS 存储 关系数据库 Amazon EBS Amazon Glacier A URORA 商用产品社区开源 Amazon Athena 分析 Amazon EMR Hadoop, Spark, Presto, Pig, Hive.. 19 total Amazon Elasticsearch Service Amazon Kinesis 内部数据库 AWS GLUE Amazon Redshift + Redshift Spectrum Amazon QuickSight 机器学习 Amazon DynamoDB 非关系数据库 Amazon ElastiCache Amazon CloudSearch AWS Data Pipeline
AWS 解决方案构建器 AWS 上的数据湖 通过 CloudFormation 部署参考架构 面向标签 搜索与目录数据集配置核心服务 部署控制台以搜索并浏览可用数据集 AWS 2018, 中国 Amazon ( 宁夏 ) Web 区域由西云数据运营 Services, Inc. or its Affiliates. All rights reserved. http://amzn.to/2ntvjcp
AWS 上的数据湖
Airbnb 基于分享经济的业务创新 爱彼迎提供一个社区性市场, 旨在帮助房产业主与旅行者成功联系彼此 挑战 : 每一年, 所需存储的数据 PB 数增长 3 倍 在使用 Hadoop/HDFS 的同时, 性能瓶颈与高昂的成本令爱彼迎困扰不已 解决方案 : 创建一套分层存储系统 : 将热门数据存放于 HDFS 当中, 并将普通 / 冷门数据存放在 S3 数据湖内 S3 以更低成本提供无限存储容量
Airbnb 基于数据湖的数据分析 HDFS 集群 S3 在 EMR 上运行 Hive 在 EMR 上运行 Spark 在 EMR 上运行 Presto 将热门数据存放于 HDFS 当中 普通 / 冷门数据存放在 S3 当中 允许发挥两种方案的优势 性能 可扩展性 成本 利用 Hive Presto 以及 Spark 等进行数据分析
FINRA 的金融监管业务 FINRA 监管着超过 3000 家在美国开展业务的证券公司 挑战 : FINRA 的旧系统往往不具备理想的可扩展性 每天多达 750 亿次活动 需要对超过 20 PB 数据运行复杂的监控查询操作 解决方案 : 将其大数据设备迁移至 S3 数据湖, 并利用 EMR 进行提取与处理 迁移至 RDS 并测试 Aurora
FINRA 基于数据湖的数据分析 S3 在 EMR 上运行 HBase Herd Metastore 在 EMR 上运行 Spark 在 EMR 上运行 Presto 在 EMR 上运行 Hive 市场深度交互式报告 调查 订单生命周期 市场空间 要求对数万亿条交易记录 ( 超过 20 PB) 进行快速访问 较内部部署系统实现高达 60% 成本节约 支持众多 EMR(Hadoop) 用户 包括负责处理数据的 Spark Presto 与 Hive 引擎 在 Amazon EMR 上运行 Apache HBase 以存储及提供数据
FINRA 自动化数据交付系统 (ADDS ) ADDS 交易回溯 通过勾选项进行审查文件设置 TRACE 安全活动报告 ( 简称 TSAR) 日终 TRACE 交易文件 TRACE ADF ORF 数据
沉浸式客户体验
中国教育集团云上部署教育应用 宁夏区域 北京区域 S3 S3 备份文件 VPC CloudWatch CloudTrail 可用区 A RDS-MySQL EC2 WAF Bastion 数据库层 ERP 缴费 教务 迎新 宿管 招生 OA 等应用 ALB ELB Users 可用区 B RDS-Oracle EC2 应用服务器 WAF NAT Private subnet Private subnet Public subnet
英语流利说利用机器学习加强外语学习
实验文化
西门子的数字化制造 西门子是一家全球领先的自动化方案供应商, 提供各类关键任务操作技术, 先后提供 3000 万套自动化系统 7500 万块合约智能仪表以及 80 万款相关产品 挑战 : 如何利用来自数据百万台设备的数据资源, 具体包括发电 能源管理 运输 工业保护以及建筑技术等领域 解决方案 : 为客户提供 SaaS 解决方案, 借以将工业数据转化为商业成果 为合作伙伴生态系统提供 PaaS, 用于构建面向特定行业的应用方案
西门子 MindSphere AWS 上的 SaaS 产品生命周期管理与制造运营 西门子 MindSphere 设计与工程 通过向产品 生产与效能中引入数字孪生功能以实现 封环 客户创新 联网设备 S3 Redshift RDS 自动化与运营 维护与服务 具有高级分析功能的强大行业解决方案 更快开发出强大的工业物联网解决方案 利用原生云可访问性打开 PaaS 的大门 数字孪生
新业务模式
金风科技数字化风电场解决方案 规划设计工程建设后期运营 1.5 years 1 year 20 years 产品生命周期 数字化产品 平台 EC2 RDS ELB EMR Dynamo DB S3 应用达 50 多项 AWS 服务 设备装置
晶泰科技云上数据驱动的预测平台 亿级晶体结构处理能力 高速晶体聚类 GPU RDS 输入分子结构 S3 Athena 晶体全局搜索 晶体库 能量截断 聚类 EC2 P3 instance 能量 - 密度图晶体优化 世界领先的晶体搜索算法 Spot instance SQS 海量并行的高精度晶体结构计算 Spot instance ECS 交互式可视化分析 Lambda EMR
议题 1. 赋能创造者 2. 创新加速器 3. 变革型创新 谁是创造者? 计算 -> 容器 -> 无服务器 良好架构与安全 AWS 广度和深度 持续发布新服务 机器学习 现代数据架构 沉浸式客户体验 实验文化 新业务模式
感谢参加 AWS INNOVATE 2018 在线技术大会 我们希望您在这里找到感兴趣的内容! 也请帮助我们完成投票打分和反馈问卷 欲获取关于 AWS 的更多信息和技术内容, 可以通过以下方式找到我们 : 微信公众号 :AWSChina 新浪微博 :https://www.weibo.com/amazonaws 领英 :https://www.linkedin.com/company/aws-china/ 知乎 :https://www.zhihu.com/org/aws-54/activities 视频中心 :http://aws.amazon.bokecc.com/ 更多线上活动 :https://aws.amazon.com/cn/about-aws/events/webinar/
谢谢! http://aws.amazon.com/evangelists/xia-zhang