OTA 行业在 AWS 上最佳实践 方太林方案架构师 2018 年 7 月 17 日
议程 OTA 行业的特点及面临的挑战 OTA 行业相关的 AWS 服务介绍 OTA 行业在 AWS 云上最佳实践 AWS 上 OTA 客户案例介绍
OTA 行业的特点及面临的挑战
OTA 行业的特点及面临的挑战行业状况 近几年全球经济的走强推动了旅游行业蓬勃的发展 ; 2017 年旅行和旅游的产值占全球 GDP 的 10.2%; 商务旅行和休闲旅游的花销也预计在 2018 年将增长 6.1%; 酒店预订在 2018 年预计增加到 1700 亿次, 同比增长 5-6%; 美国是国际旅行的主要目的地, 也是最大的受益国 ; 预计到 2020 年, 整个行业产值将达到 4000 亿, 而 OTA 占比将达到 41%;
OTA 行业的特点及面临的挑战 增长趋势
OTA 行业的特点及面临的挑战 行业特点 OTA 涉及的领域有航班, 住宿, 汽车租赁, 邮轮, 火车和旅行组合 ; OTA 企业与航班, 住宿, 汽车租赁, 邮轮, 火车等行业既合作, 又竞争 ; 消费者对旅行的期望更高 : 价格更低, 体验更好 ; 消费重点从产品到旅行体验的转移 ;
OTA 行业的特点及面临的挑战 竞争格局及挑战 主要的 OTA 企业控制市场份额在提升, 他们之间竞争加剧 ; 旅行初创公司在过去 2 年累计募集到 300 亿美元, 是之前 10 年的募集资金的总和 ; 他们给传统旅行公司及 OTA 公司极大的挑战 ; 跨界趋势明显,Airbnb 扩展到旅行, 机票预订 ;Google Flights 也提供类似的订票业务 ;TripAdvisor 也在建自己的预定系统 ; 消费者有更多的信息获取渠道, 网站,Apps, 社区论坛等 ; 那些不能创新的 OTA 公司, 将面临失去市场份额的风险 ;
OTA 行业的特点及面临的挑战 竞争格局及挑战 主要的 OTA 企业控制大部分市场份额, 他们之间竞争加剧 ; 旅行初创公司在过去 2 年累计募集到 300 亿美元, 是之前 10 年的募集资金的总和 ; 他们给传统旅行公司及 OTA 公司极大的挑战 ; 跨界趋势明显,Airbnb 扩展到旅行, 机票预订 ;Google Flights 也提供类似的订票业务 ;TripAdvisor 也在建自己的预定系统 ; 消费者有更多的信息获取渠道, 网站,Apps, 社区论坛等 ; 那些不能创新的 OTA 公司, 将面临失去市场份额的风险 ;
OTA 行业的特点及面临的挑战 竞争格局及挑战 主要的 OTA 企业控制大部分市场份额, 他们之间竞争加剧 ; 旅行初创公司在过去 2 年累计募集到 300 亿美元, 是之前 10 年的募集资金的总和 ; 他们给传统旅行公司及 OTA 公司极大的挑战 ; 跨界趋势明显,Airbnb 扩展到旅行, 机票预订 ;Google Flights 也提供类似的订票业务 ;TripAdvisor 也在建自己的预定系统 ; 消费者有更多的信息获取渠道, 网站,Apps, 社区论坛等 ; 那些不能创新的 OTA 公司, 将面临失去市场份额的风险 ;
OTA 行业相关的 AWS 服务介绍
AWS 计算服务 EC2 家族 通用型 计算优化型 存储和 I/O 优化型 加速型 内存优化型 M4 C5 D2 I3 P3 R4 C4 F1 X1 C3 G3 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS 计算服务适合做 AI 模型训练的 P3 实例 P3 NVIDIA Tesla V100 Volta GPU 单实例 1 PetaFLOP 计算性能 相比 P2 系列, 在机器学习的应用场景, 提供达 14X 性能提升 在 HPC 应用场景, 相比 P2, 提供高达 2.6X 性能提升 Instance Size GPUs Accelerator (V100) GPU Peer to Peer GPU Memory (GB) vcpus Memory (GB) Network Bandwidth EBS Bandwidth P3.2xlarge 1 1 No 16 8 61 Up to 10Gbps 1.7Gbps P3.8xlarge 4 4 NVLink 64 32 244 10Gbps 7Gbps P3.16xlarge 8 8 NVLink 128 64 488 25Gbps 14Gbps
2006 2007 2008 2009 2010 Amazon EC2 instances history m1.small m1.large c1.xlarge m2.2xlarge m2.xlarge 2011 cc2.8xlarge 2012 m1.medium 2013 cr1.8xlarge 2014 m3.medium 2015 g2.8xlarge 2016 m4.16xlarge 2017 x1e.32xlarge m1.xlarge c1.medium m2.4xlarge cc1.4xlarge hi1.4xlarge g2.2xlarge m3.large c4.large x1.16xlarge g3.4xlarge t1.micro hs1.8xlarge c3.8xlarge r3.large c4.xlarge p2.xlarge g3.8xlarge cg1.4xlarge m3.2xlarge c4.4xlarge r3.xlarge c4.2xlarge p2.8xlarge g3.16xlarge m3.xlarge c3.2xlarge r3.2xlarge c4.4xlarge p2.16xlarge i3.large c3.xlarge r3.4xlarge c4.8xlarge r4.large i3.xlarge AWS 计算服务 EC2 历史 c3.large i2.xlarge r3.8xlarge t2.micro d2.xlarge d2.2xlarge r4.xlarge r4.2xlarge i3.2xlarge i3.4xlarge i2.2xlarge t2.small d2.4xlarge r4.4xlarge i3.8xlarge i2.4xlarge t2.medium d2.8xlarge r4.8xlarge i3.16xlarge i2.8xlarge t2.large r4.16xlarge f1.2xlarge m4.large f1.16xlarge m4.xlarge c5.19xlarge m4.2xlarge c5.9xlarge m4.4xlarge c5.4xlarge m4.10xlarge c5.2xlarge t2.nano c5.xlarge x1.32xlarge p3.16xlarge p3.8xlarge p3.2xlarge x1e.16xlarge x1e.8xlarge x1e.4xlarge x1e.2xlarge x1e.xlarge
AWS 容器服务 AMAZON CONTAINER SERVICES 1 选择编排工具 ECS EKS 2 选择启动模式 pe EC2 Fargate EC2 Fargate
什么是 Direct Connect? Direct Connect 使你能在本地和 AWS 云之间建立专有的网络连接
网络 --DX 网关 https://aws.amazon.com/cn/blogs/aws/new-aws-directconnect-gateway-inter-region-vpc-access/
Network--What is AWS Direct Connect? Co location HDFS Amazon Redshift EC2 Amazon SES Amazon Glacier Direct Connect Virtual Private Cloud AWS Cloud Elastic Beanstalk SQS 1 Gbps 10 Gbps Customer Data Center
网络 ---VPC 对等连接 区域内 跨区域
网络中国移动解决方案 --- 针对中国区连接海外 DX 网关 大陆办公室 1 AWS(Global) 如何更高效的将中国的应用程序和内容连接到美国总部的本地业务系统? AWS( 中国 ) 2 AWS(Global) 如何跨 AWS 区域的业务数据同步 ( 例如中国与新加坡 )? 3 大陆办公室 AWS( 中国 ) 如何将中国 AWS 云上托管的应用程序如何更快的将内容上传与下载? 北京 3 中国 大陆办公室 中国移动云专线 1 2 Global 香港
DX + VPC Peering 网络图 VGW US West Region VGW Direct Connect Connection DX GW Tokyo Region VGW China data center AWS HK DX GW Frankfurt Region Notes: 1. Communication between China DC and Oversea regions is via DX connection; 2. Inter-region communication is based on VPC peering; 3. VPC and DX GW don t support transit function for regions; 4. No overlapped IP addresses for all regions 5. HK region will be available by the end of 2018 VGW HK Region VPC Peering
大数据服务 AWS 数据户 机器学习 Amazon SageMaker AWS Deep Learning AMIs Amazon Rekognition Amazon Lex AWS DeepLens Amazon Comprehend Amazon Translate Amazon Transcribe Amazon Polly 大数据分析 Amazon Athena Amazon EMR Amazon Redshift Amazon Elasticsearch Service Amazon Kinesis Amazon QuickSight 基于 AWS 的数据湖 Storage Archival Storage Data Catalog 本地数据移动 AWS Direct Connect AWS Snowball AWS Snowmobile AWS Database Migration Service 实时数据移动 AWS IoT Core Amazon Kinesis Data Firehose Amazon Kinesis Data Streams Amazon Kinesis Video Streams
Hadoop Ganglia HBase Hive & Catalog Hue Mahout Oozie Phoenix Pig Presto Spark Sqoop Tez Zeppelin Zookeeper Flink Livy MXNet Emr-4.0.0 July 2015 Emr-4.7.0 June 2016 Emr-5.3.0 January 2017 Emr-5.11.0 December 2017 EMR 企业级 Hadoop & Spark 部署 Hadoop and Spark 生态系统中最新版 EMR 版本 2.7.3 3.7.2 1.3.1 + S3 2.3.2 4.0.1 0.13.0 4.3.0 4.11.0 0.17.0.187 2.2.1 1.4.6 0.8.4 0.7.3 3.4.10 1.3.2 0.4.0 0.12.0 2.7.3 3.7.2 1.2.3 + S3 2.1.1 3.11.0 0.12.2 4.3.0 4.7.0 0.16.0 0.157.1 2.1.0 1.4.6 0.8.4 0.6.2 3.4.9 1.1.4 N19 个开源项目 : Apache Hadoop, Spark, HBase, Presto, and more 2.7.2 3.7.2 1.2.1 1.0.0 3.7.1 0.12.0 4.2.0 4.7.0 0.14.0.147 1.6.1 1.4.6 0.8.3 0.5.6 3.4.8 新版本发布后 30 天更新的频率 2.6.0 1.0.0 0.10.0 0.14.0 1.4.1
基于 Amazon S3 的 EMR 多集群 Amazon EMR EC2 Instance Memory HDFS HDFS Local Intermediates stored on local disk or HDFS HDFS Amazon S3 Local Intermediate HDFS/Storage Transient ETL Job Amazon EMR EC2 Instance Memory HDFS Source of Truth HDFS Local Intermediates stored on local disk or HDFS HDFS Local Intermediate HDFS/Storage Interactive Spark Cluster
Customers have options 外部 Metadata 管理 Amazon EMR Glue Data Catalog HDFS Amazon S3 Transient ETL Job MySQL DB instance Amazon EMR HDFS Source of Truth Describes Data in S3 Interactive Spark Cluster
AWS AI 服务堆栈 Application Services Vision: Amazon Rekognition Image Amazon Rekognition Video Speech: Polly Transcribe Language: Lex Translate Comprehend Platform Services Amazon SageMaker AWS DeepLens Amazon Machine Learning Spark & EMR Mechanical Turk AWS Deep Learning AMI Frameworks & Infrastructure TensorFlow GPU (P3 Instances) Gluon Apache MXNet CPU Cognitive Toolkit Caffe2 & Caffe IoT (Greengrass) Keras PyTorch Mobile
数据科学家和开发人员可以借助 SageMaker 托管服务快速而容易获得机器学习模型, 缩短从想法到实际生产的时间 A managed service that provides the quickest and easiest way for data scientists and developers to get ML models from idea to production.
Amazon SageMaker 组件 Building Training Amazon s fast, scalable algorithms Distributed Apache MXNet and TensorFlow Bring your own algorithm Deploying Hyperparameter optimization
自然语言处理服务 Amazon Transcribe Amazon Translate Automatic conversion of speech into accurate, grammatically correct text Natural and fluent language translation Amazon Polly Turn text into lifelike speech using deep learning Amazon Comprehend Amazon Lex Discover insights and relationships in text Conversational interfaces for text-based and voice-based applications
NLP 使用场景 Voice of Customer Applications Knowledge Management Education Customer Service/ Call Centers Semantic Search Accessibility Enterprise Digital Assistant Captioning Workflows Information Bots Personalization Localization
Amazon Recognition 图像和视频识别 Image & Video Object and Scene Detection Facial Analysis Face Recognition Unsafe Image Detection Celebrity Recognition Text in Image
AWS 云的上区块链 https://aws.amazon.com/cn/blockchain/?nc1=h_ls
OTA 行业在 AWS 云上最佳实践
OTA 行业 AWS 云上最佳实践 安全永远是第一位的事情 ; 使用托管服务, 而不要去重新发明轮子 ; 使用微服务和无服务器服务满足不同场景需求 ; 收集能收集的数据, 建立数据湖的架构来保存和处理大数据 ; 应用中使用 AI, 提高应用的用户体验和成单率 ; 使用 DevOps, 实现 CI/CD 加快迭代速度, 快速响应市场 ; 自动化能自动化的所有流程 ; A/B 测试, 获取不但该进的机会
影响未来 OTA 的技术 人工智能物联网语音技术自动化区块链
AWS 上 OTA 客户案例介绍
Expedia Inc. One of the world s leading travel companies
Expedia 使用的 AWS 区域
ECS 生产集群 服务 200 多应用 14 instances: 56 apps (+ 19 canaries) 17 instances: 78 apps (+ 25 canaries) 35 instances: 107 apps (+ 23 canaries) 5 instances: 7 apps (+ 4 canaries) Charts produced with c3vis: github.com/expediadotcom/c3vis
在 AWS 上的持续交付系统
利用深度学习对图片评分进行预测 295,000 Hotels 10,000,000 Images
构建数据集 利用 Amazon Mechanical Turk 对 10 万张图片进行评分 评分范围为 1-10 分, 平均每张图片被 6 个人打分 要求评分者根据自身情况选择一个旅行目的, 如商务 家庭 个人等 6.5 所有图片的平均分 < 1 周完成时间
利用迁移学习对 10 万张图片训练 P2 NVIDIA K80 P2.8xlarge 8x 12GB NVIDIA K80 GPUs
机器评判结果 Motel 6 LasVegas (31 张图片 ) Top 27 category grouping Top 4 ML Bottom 4 ML
机器评判结果 Caribe Hilton San Juan, Puerto Rico (219 张图片 ) Top 24 category grouping Top 4 ML Bottom 4 ML
Expedia Suggest Service Architecture on AWS
Expedia Global Deals Engine Architecture on AWS
Expedia Standard Deployment Architecture on AWS
谢谢!