Slide 1

Size: px

Start display at page:

Download "Slide 1"

六从
6 years ago
Views:

Rudin,Facebook,TDWI 2013 https://www.linkedin.com/groups/find-out-why-google-decided-4434815.s.273792742 http://tdwi.

5 SQL 至关重要对于我们业务逻辑的任一部分来说, 处理非 ACID 数据存储都非常复杂, 如果不用 SQL 查询, 我们的业务根本没法开展 Google,VLDB 2013 [Facebook] 开始是用 Hadoop 现在我们在引入关系型数据库系统来增强 Hadoop [ 我们 ] 意识到使用错误的技术来解决某些问题可能比较困难 Ken Rudin,Facebook,TDWI 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 5

8 SQL 的强大功能原生采用基于集合的关系代数元素的个数?8 SELECT COUNT() FROM data set 非重复元素的个数?4 SELECT COUNT(DISTINCT) FROM data set 所有企鹅的总值? SELECT SUM() FROM data set WHERE data element IS penguin 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 8

9 SQL 的强大功能原生采用基于集合的关系代数元素的个数?8 SELECT COUNT() FROM data set 非重复元素的个数?4 SELECT COUNT(DISTINCT) FROM data set 所有企鹅的总值? SELECT SUM() FROM data set WHERE data element IS penguin A B A B A B A B A 联接 B A 外联接 B A 并 B A 不包含于 B 不是数学意义上正确的可视化表现也可能是只有一个元素的简化集合, 如上所示版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 9

12 Oracle SQL:30 年创新之旅 SQL 语言不断演变引入窗口函数统计函数 SQL model 子句分区外联接数据挖掘模式匹配 Top N 子句非重复项近似计数 JSON 支持 8i 9i 10g 11g 12c 增强了窗口函数 (percentile 等 ) Rollup grouping sets cube 运算符 SQL Pivot 递归 WITH ListAgg 第 N 个值窗口版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 12

13 Oracle SQL 更高效 SQL 语言特性 Oracle 某项 SQL on Hadoop 技术 ORDER BY UNION ALL BETWEEN SQL-2003 窗口函数 ( 移动平均数 LEAD/LAG 等 ) 下一个版本? WHERE 子句中的子查询下一个版本? MERGE 语句下一个版本? 集合运算 (MINUS INTERSECT) 下一个版本之后? SQL-1999 聚合函数 (ROLLUP GROUPING SET) 下一个版本之后? 递归 WITH SQL 模式匹配 UPDATE DELETE 约束用户定义的表函数版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 13

分析功能在 SQL 查询中使用排序的数组语义 SQL> select DEPTNO, 2 ENAME, 3 ENAME, SAL 4 from SAL

DEPTNO ORDER BY SAL DESC) INDEX, DEPTNO ENAME INDEX ENAME SAL SAL ----------

2450 2450 10 MILLER 3 MILLER 1300 1300 20 SCOTT 1 SCOTT 3000 3000 20 FORD 2

3 TURNER 1500 1500 30 MARTIN 4 MARTIN 1250 1250 30 WARD 5 WARD 1250 1250 30

16 分析功能在 SQL 查询中使用排序的数组语义 SQL> select DEPTNO, 2 ENAME, 3 ENAME, SAL 4 from SAL EMP 5 order from EMP by DEPTNO, SAL DESC 6 / 2 RANK() OVER (PARTITION BY DEPTNO ORDER BY SAL DESC) INDEX, DEPTNO ENAME INDEX ENAME SAL SAL KING 1 KING CLARK 2 CLARK MILLER 3 MILLER SCOTT 1 SCOTT FORD 2 FORD BLAKE 1 BLAKE ALLEN 2 ALLEN TURNER 3 TURNER MARTIN 4 MARTIN WARD 5 WARD JAMES 6 JAMES rows rows selected. selected. 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 16

分析功能在 SQL 查询中使用排序的数组语义 SQL> select avg( VISIT_DATE - LAST_VISIT_DATE ) DAYS_BETWEEN_VISITS 2

PATIENT_VISIT_TABLE by PATIENT_ID t2 order by VISIT_DATE) 5 as where LAST_VISIT_DATE t2.

visit_date 7 ) ) LAST_VISIT_DATE 8 / from PATIENT_VISIT_TABLE t1 9 ) DAYS_BETWEEN_VISITS 10 /

17 分析功能在 SQL 查询中使用排序的数组语义 SQL> select avg( VISIT_DATE - LAST_VISIT_DATE ) DAYS_BETWEEN_VISITS 2 from ( select VISIT_DATE, 3 ( lag(visit_date) select max(visit_date) 4 over from (partition PATIENT_VISIT_TABLE by PATIENT_ID t2 order by VISIT_DATE) 5 as where LAST_VISIT_DATE t2.patient_id = t1.patient_id 6 from PATIENT_VISIT_TABLE and t2.visit_date < t1.visit_date 7 ) ) LAST_VISIT_DATE 8 / from PATIENT_VISIT_TABLE t1 9 ) DAYS_BETWEEN_VISITS 10 / DAYS_BETWEEN_VISITS 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 17

SQL 的强大功能简化且自然的开发不使用分析函数 select avg(b.event_datetime - a.prior_event_datetime) as avg_wait from (select a.

sysdate - 2 order by order_id, prior_event_datetime, prior_event_cd ) a ) a, (select b.

by order_id, event_datetime, event_cd ) b ) b where a.order_id = b.order_id and a.row_number = b.row_number - 1 and a.prior_event_cd = '1001' and b.

18 SQL 的强大功能简化且自然的开发不使用分析函数 select avg(b.event_datetime - a.prior_event_datetime) as avg_wait from (select a.*, rownum as row_number from (select order_id, event_datetime as prior_event_datetime, new_event_cd as prior_event_cd from order_pipeline_events where warehouse_id = 'RNO1' and event_datetime > sysdate - 2 order by order_id, prior_event_datetime, prior_event_cd ) a ) a, (select b.*, rownum as row_number from (select order_id, event_datetime as event_datetime, new_event_cd as event_cd from order_pipeline_events where warehouse_id = 'RNO1' and event_datetime > sysdate - 2 order by order_id, event_datetime, event_cd ) b ) b where a.order_id = b.order_id and a.row_number = b.row_number - 1 and a.prior_event_cd = '1001' and b.event_cd = '1002 ; 使用分析函数 select avg(event_datetime - prior_event_datetime) as avg_wait from (select new_event_cd as event_cd, event_datetime, lag(event_datetime) over (partition by order_id order by event_datetime, new_event_cd) as prior_event_datetime,lag(new_event_cd) over (partition by order_id order by event_datetime, new_event_cd) as prior_event_cd from order_pipeline_events where warehouse_id = 'RNO1' and event_datetime > sysdate - 2 ) where prior_event_cd = '1001' and event_cd = '1002'; 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 18

SQL 的强大功能更高性能不使用分析函数 SELECT STATEMENT SORT AGGREGATE HASH JOIN VIEW COUNT VIEW 27.1 27.

RANGE ITERATOR PARTITION HASH ALL TABLE ACCESS BY LOCAL INDEX ROWID INDEX RANGE SCAN 使用分析函数 SELECT STATEMENT SORT AGGREGATE VIEW WINDOW BUFFER SORT

19 SQL 的强大功能更高性能不使用分析函数 SELECT STATEMENT SORT AGGREGATE HASH JOIN VIEW COUNT VIEW SORT ORDER BY PARTITION RANGE ITERATOR PARTITION HASH ALL TABLE ACCESS BY LOCAL INDEX ROWID INDEX RANGE SCAN VIEW COUNT VIEW SORT ORDER BY PARTITION RANGE ITERATOR PARTITION HASH ALL TABLE ACCESS BY LOCAL INDEX ROWID INDEX RANGE SCAN 使用分析函数 SELECT STATEMENT SORT AGGREGATE VIEW WINDOW BUFFER SORT ORDER BY PARTITION RANGE ITERATOR PARTITION HASH ALL TABLE ACCESS BY LOCAL INDEX ROWID INDEX RANGE SCAN 不使用分析函数访问两个大表一次大的自联接使用分析函数访问一个大表无联接版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 Oracle 机密仅限内部使用 / 保密信息 / 高度保密信息 19

22 } next = linenext.getquantity(); if (!q.isempty() && (prev.isempty() (eq(q, prev) && gt(q, next)))) { state = "S"; return state; } if (gt(q, prev) && gt(q, next)) { state = "T"; return state; 用 } Oracle SQL 进行模式匹配 if (lt(q, prev) && lt(q, next)) { state = "B"; return state; } if (!q.isempty() && (next.isempty() (gt(q, prev) && eq(q, next)))) { state = "E"; return state; 简化开发和应用代码 } :SQL 对比 Java } if (q.isempty() eq(q, prev)) { state = "F"; return state; } return state; private boolean eq(string a, String b) { if (a.isempty() b.isempty()) { return false; } return a.equals(b); } private boolean gt(string a, String b) { if (a.isempty() b.isempty()) { return false; } return Double.parseDouble(a) > Double.parseDouble(b); } private boolean lt(string a, String b) { if (a.isempty() b.isempty()) { return false; } return Double.parseDouble(a) < Double.parseDouble(b); } public String getstate() { return this.state; } } BagFactory bagfactory = public Tuple exec(tuple input) throws IOException { long c = 0; String line = ""; String pbkey = ""; V0Line nextline; V0Line thisline; V0Line processline; V0Line evalline = null; V0Line prevline; boolean nomorevalues = false; String matchlist = ""; ArrayList<V0Line> linefifo = new ArrayList<V0Line>(); boolean finished = false; DataBag output = bagfactory.newdefaultbag(); if (input == null) { return null; } if (input.size() == 0) { return null; } Object o = input.get(0); if (o == null) { return null; } 22 //Object o = input.get(0); 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 22 if (!(o instanceof DataBag)) { int errcode = 2114; 250 多行的 Java UDF 代码.... 在股市数据中搜索双重底 (w 形 ) 模式 SELECT first_x, last_z FROM ticker MATCH_RECOGNIZE ( PARTITION BY stock_id ORDER BY timestamp MEASURES FIRST(x.time) AS first_x, LAST(z.time) AS last_z ONE ROW PER MATCH PATTERN (X+ Y+ W+ Z+) DEFINE X AS (price < PREV(price)), Y AS (price > PREV(price)), W AS (price < PREV(price)), Z AS (price > PREV(price) AND z.time - FIRST(x.time) <= 7 )) 12 行 SQL 代码二十分之一的代码量

23 非重复项近似计数当足够好就是足够好时并非所有查询都要求得出绝对准确的结果上周有多少位不同个体访问了我们的网站? 新 SQL 函数为 COUNT DISTINCT 聚合提供近似结果基于 HyperLogLog 算法比精确计算明显要快快 5 倍到 50 倍 ( 提高的倍数视情况而定 ) 准确率 > 97%( 有 95% 的把握 ) SELECT approx_count_distinct(user_id) AS visitors FROM weblog_sessions WHERE timestamp > 21-May-2014 ; 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 23

Oracle 数据库支持您的所有数据结构化数据数字字符串日期行格式和列格式非结构化数据 LOB 文本

27 强大的 SQL 访问您的所有数据引入窗口函数统计函数 SQL model 子句分区外联接数据挖掘模式匹配 Top N 子句非重复项近似计数 JSON 支持 8i 9i 10g 11g 12c 增强了窗口函数 (percentile 等 ) Rollup grouping sets cube 运算符 SQL Pivot 递归 WITH ListAgg 第 N 个值窗口版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 27

HDFS 数据节点 BDS 服务器大数据一体机 HDFS 数据节点 BDS 服务器 HDFS 数据节点 BDS 服务器 Oracle

29 智能查询优化 Exadata 和 Big Data SQL: 几乎可将智能扫描应用于所有数据 RDBMS 和 Hadoop 中的查询数据 Oracle SQL 快速大规模并行 Exadata 在本地执行筛选最大限度减少数据移动 HDFS 数据节点 BDS 服务器 HDFS 数据节点 BDS 服务器大数据一体机 HDFS 数据节点 BDS 服务器 HDFS 数据节点 BDS 服务器 Oracle Exadata 存储服务器 Oracle Exadata 存储服务器版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 29

扩展 Oracle 外部表 CREATE TABLE movielog ( click VARCHAR2(4000)) ORGANIZATION EXTERNAL ( TYPE ORACLE_HIVE DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS ( com.oracle.bigdata.

30 扩展 Oracle 外部表 CREATE TABLE movielog ( click VARCHAR2(4000)) ORGANIZATION EXTERNAL ( TYPE ORACLE_HIVE DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS ( com.oracle.bigdata.tablename logs com.oracle.bigdata.cluster mycluster )) REJECT LIMIT UNLIMITED; 新类型的外部表 ORACLE_HIVE( 继承元数据 ) ORACLE_HDFS( 指定元数据 ) 适用于大数据的访问参数 Hadoop 集群远程 Hive 数据库 / 表 DBMS_HADOOP 程序包, 用于自动导入版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 30

32 Big Data SQL: 一种新的 Hadoop 处理引擎 MapReduce 和 Hive 处理层 Spark Impala 搜索 Big Data SQL 资源管理 (YARN cgroups) 存储层文件系统 (HDFS) NoSQL 数据库 (Oracle NoSQL DB Hbase) 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 Oracle 机密仅限内部使用 / 保密信息 / 高度保密信息 32

33 Big Data SQL SELECT w.sess_id, c.name FROM web_logs w, customers c WHERE w.source_country = Brazil AND w.cust_id = c.customer_id; 在 BDA 节点上运行相关 SQL Big Data SQL 数十 GB 的数据 WEB_LOGS B B B 只返回回复查询所需的列和行 CUSTOMERS Hadoop 集群 Oracle 数据库版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 33

34 Oracle Big Data SQL 示例数据库中的表 CUSTOMER SALES FACT APPLOGS( 外部表 ) 安全地分析客户行为和销售事务以进行定向营销 SQL 联接 Hadoop 中的表 APPLOGS {"logid":"l ", APPLOGS "customerid":"richard.obrien@mail.com", "platform":"desktop", "eventdate":"11/6/12", "httpcode":"200", "brandname":"coca-cola, "ipaddress":" ", "qty":1} 将来自应用日志的客户行为数据存储为 JSON 文档版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 34

Big Data SQL WEB_LOGS B B B Hadoop 集群 SELECT w.sess_id, c.name FROM web_logs w, customers c WHERE w.source_country = Brazil Big Data AND SQL 中的 w.cust_id SQL 下推 = c.

35 Big Data SQL WEB_LOGS B B B Hadoop 集群 SELECT w.sess_id, c.name FROM web_logs w, customers c WHERE w.source_country = Brazil Big Data AND SQL 中的 w.cust_id SQL 下推 = c.customer_id; Hadoop 扫描非结构化数据 WHERE 子句运算列投影布隆筛选器可提升联接性能 Big Data SQL JSON 解析数据挖掘模型运算数十 GB 的数据在 BDA 节点上运行相关 SQL 只返回回复查询所需的列和行 Oracle 数据库 CUSTOMERS 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 35

37 大数据一体机 X5-2 Sun Oracle X5-2L 服务器, 每台服务器配备 : 2 个 18 核 Intel Xeon E5 处理器 128 GB 内存 96TB 磁盘空间集成的软件 (4.1): Oracle Linux 6.5 Oracle JDK 7u72 Oracle Big Data SQL 1.1* Apache Hadoop 5.3 的 Cloudera 发行版 EDH 版 Cloudera Manager 5.3 Oracle R Distribution Oracle NoSQL Database CE * Oracle Big Data SQL 许可单独发售版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 37

38 BDA X5-2 最新动态更快的处理器更多内核更多内存不变的价格 18 核 Intel Xeon Haswell-EP 当今市面上最快的 Intel 处理器速度更快容量更大的内存 DDR4 可从 128GB (8x16GB) 升级为 768 GB BDA X5-2 对比 X4-2 全机架 2.25 倍的内核数 648 个内核 Intel Xeon E v3 2 倍内存默认 2.3TB DDR4-2133MHz 多 50% 的 DIMM 插槽最多可达 13.2TB DDR4-2133MHz 版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 38

40 Oracle 大数据管理系统 Oracle Big Data SQL Oracle 数据库 Cloudera Hadoop Oracle NoSQL Database Big Data Spatial and Graph B Oracle Big Data Connectors Oracle Data Integrator Oracle 行业模型 Oracle 数据库 Oracle Oracle Advanced Advanced Security Analytics Oracle Advanced Oracle Spatial Analytics & Graph Oracle Spatial & Graph 大数据一体机 Oracle Exadata 数据源版权所有 2014,Oracle 和 / 或其关联公司保留所有权利 40

PowerPoint 演示文稿

PowerPoint 演示文稿 1 以下内容旨在概述产品的总体发展方向该内容仅供参考, 不可纳入任何合同本演示不承诺提供任何材料代码或功能, 也不应将其作为购买决策的依据 Oracle 有权自行决定任何产品的特性或功能的开发发布和时间安排 2 Oracle Database 12c 应用开发韩锷春开发者计划高级经理插入云端应用开发大数据整合数据优化数据仓储高可用性内存中性能和可扩展性安全性与合规性 4 在 Oracle