PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

仪荒步
5 years ago
Views:

1 Amazon Athena 简介无服务器交互式数据查询引擎肖凌,AWS 解决方案架构师 Bob Xiao, Solutions Architect, Amazon Web Services 2017 年 2 月 28 日 Feb 28, 2017

2 此研讨会的学习内容 Amazon Athena 概述主要特点客户示例排除查询错误常见问答

3 客户面临的挑战在 Amazon S3 中分析数据时需要的工作量很大用户通常只能访问聚合数据集需要具备专业知识才能管理 Hadoop 群集或数据仓库

4 Amazon Athena 简介 Amazon Athena 是一种交互式查询服务, 可使用此服务通过标准 SQL 直接在 Amazon S3 中轻松分析数据

5 Athena 是无服务器的无基础设施或管理零启动时间透明升级

6 Amazon Athena 易于使用登录到控制台创建表键入 Hive DDL 语句使用控制台的添加表向导开始查询

7 Amazon Athena 高度可用您可连接到服务终端节点或者登录到控制台 Athena 跨多个可用区使用暖计算池您的数据位于 Amazon S3 中, 而 Amazon S3 也具有较高的可用性, 为实现 % 的持久性而设计

8 直接从 Amazon S3 查询数据不加载数据按数据的原始格式查询数据文本 CSV JSON Web 日志 AWS 服务日志转换为经优化的格式 ( 如 ORC 或 Parquet), 以实现最佳性能和最低成本不需要 ETL 直接从 Amazon S3 中流式传输数据利用 Amazon S3 持久性和可用性

9 使用 ANSI SQL 开始编写 ANSI SQL 支持复杂联接嵌套查询和窗口函数支持复杂数据类型 ( 数组结构体 ) 支持按任意键对数据进行分区 ( 日期时间自定义键 ) 例如, 年月日小时或自定义键日期

10 包含熟悉技术用于 SQL 查询内存中的分布式查询引擎与扩展兼容的 ANSI-SQL 用于 DDL 功能复杂数据类型大量格式支持数据分区

11 Amazon Athena 支持多种数据格式文本文件, 例如 CSV 原始日志 Apache Web 日志 TSV 文件 JSON( 简单, 嵌套 ) 压缩文件列式格式, 例如 Apache Parquet 和 Apache ORC AVRO 支持 - 即将推出

12 Amazon Athena 的运行速度非常快调优性能自动并行处理查询结果将流式传输到控制台结果也存储在 S3 中提升查询性能压缩数据使用列式格式

13 Amazon Athena 是经济高效的按查询付费从 S3 扫描每 TB 数据的成本为 5 美元 DDL 查询和失败查询是免费的使用压缩列式格式分区来节省成本

14 Athena 的目标用户是哪些人? 寻求处理存储在 Amazon S3 中的数据的任何人数据来自 IOT 设备 Apache 日志 Omniture 日志 CF 日志应用程序日志了解 SQL 的任何人开发人员或分析人员临时探究数据和数据发现寻求在 Amazon S3 上构建数据湖的客户

15 示例管道

16 示例管道使用 SQL 临时访问原始数据

17 示例管道使用 Athena 临时访问数据 Athena 也可以查询聚合数据集

18 回顾一下挑战在 Amazon S3 中分析数据时需要的工作量很大不需要 ETL 不加载数据在数据所在位置查询数据用户通常只能访问聚合数据集按所需粒度查询数据需要具备专业知识才能管理 Hadoop 群集或数据仓库没有要管理的基础设施

19 访问 Amazon Athena

20 使用 JDBC 驱动程序

21 将 Amazon Athena 与 Amazon QuickSight 配合使用 QuickSight 可让您从各种 AWS 第三方和本地源 ( 包括 Amazon Athena) 连接到数据 Amazon Redshift Amazon RDS Amazon S3 Amazon Athena

27 JDBC 还提供编程访问 /* Setup the driver */ Properties info = new Properties(); info.put("user", "AWSAccessKey"); info.put("password", "AWSSecretAccessKey"); info.put("s3_staging_dir", "s3://s3 Bucket Location/"); Class.forName("com.amazonaws.athena.jdbc.AthenaDriver"); Connection connection = DriverManager.getConnection("jdbc:awsathena://athena.us-east- 1.amazonaws.com:443/", info);

28 创建表并执行查询 /* Create a table */ Statement statement = connection.createstatement(); ResultSet queryresults = statement.executequery("create EXTERNAL TABLE tablename ( Col1 String ) LOCATION s3://bucket/tablelocation"); /* Execute a Query */ Statement statement = connection.createstatement(); ResultSet queryresults = statement.executequery("select * FROM cloudfront_logs");

29 创建表和查询数据

30 创建表概念创建用 Hive 编写的表语句 ( 或 DDL) 高度灵活基于读取的架构 Hive 与 SQL 类似, 但前者允许其他概念, 例如外部表和数据分区支持的数据格式 JSON TXT CSV TSV Parquet 和 ORC( 通过 Serde) 数据存储在 Amazon S3 中元数据存储在元数据存储中

31 Athena 的内部元数据存储存储元数据表定义列名称分区高度可用且持久无需管理通过 DDL 语句访问与 Hive 元存储类似

32 运行查询很简单运行时间和扫描的数据

33 Apache Parquet 和 Apache ORC 列式格式 PARQUET 列式格式分离到页脚的架构列主要格式所有数据将推送到叶集成压缩和索引支持谓词下推 ORC Apache 顶层项目分离到页脚的架构具有条带的主列集成压缩索引和统计数据支持谓词下推

34 转换为 ORC 和 PARQUET 可以使用 Hive CTAS 转换数据 CREATE TABLE new_key_value_store STORED AS PARQUET AS SELECT col_1, col2, col3 FROM noncolumartable SORT BY new_key, key_value_pair; 也可以使用 Spark 将文件转换为 PARQUET/ORC 20 行 Pyspark 代码 ( 在 EMR 上运行 ) 使用 snappy 转换将 1TB 文本数据转换为 130 GB 的 Parquet 总成本为 5 美元

35 按查询付费每扫描 1TB 数据支付 5 美元根据查询扫描的数据量付费节省成本的方法压缩转换为列式格式使用分区免费 :DDL 查询, 失败的查询数据集 Amazon S3 上的大小查询运行时间扫描的数据量费用存储为文本文件的日志 1TB 237 秒 1.15TB 5.75 美元以 Apache Parquet 格式存储的日志 * 130GB 5.13 秒 2.69GB 美元节省使用 Parquet 可节省 87% 的成本速度快 34 倍扫描的数据量少 99% 成本低 99.7%

36 基于物联网 (IoT) 场景的典型应用

37 Amazon + Intel 10+ year partnership Joint development Shared customer passion High performance + low costs World class supply chain Amazon EC2 AWS IOT CLOUD & DATA CENTER THINGS & DEVICES Amazon S3 Alexa Voice Services