PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

跃腾巫
5 years ago
Views:

2 以下内容旨在概述产品的总体发展方向该内容仅供参考, 不可纳入任何合同该信息不承诺提供任何资料代码或功能, 并且不应该作为制定购买决策的依据描述的有关 Oracle 产品的任何特性或功能的开发发行和时间规划均由 Oracle 自行决定

议题 Oracle Hadoop 装载器 Oracle Hadoop 分布式文件系统直接连接器 Oracle Data Integrator

Oracle Hadoop 装载器概述 ORACLE HADOOP 装载器 SHUFFLE /SORT MapReduce

7 Oracle Hadoop 装载器离线模式 1. 从数据库读取目标表元数据 3. 从 Reducer 节点写入 Oracle Data Pump 文件 4. 将文件从 HDFS 复制到数据库可以访问这些文件的位置 SHUFFLE /SORT 数据数据 5. 使用外部表机制并行导入数据库 2. 执行分区排序和数据转换数据数据 4. 1 使用 ODCH 访问 HDFS 中的 datapump 文件 ( 稍后介绍 ) SHUFFLE /SORT 数据 7 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

8 Oracle Hadoop 装载器实施步骤步骤 1: 选中数据输入格式使用内置的格式 :Hive 表输入 -HivetoAvro 或者文本文件 -DelimitedText 或者自己写 Java 类, 实现接口 :org.apache.hadoop.mapreduce.recordreader 以支持自定义格式步骤 2: 创建装载器映射文档创建装载器映射文档, 说明目标表, 列, 以及列和输入数据的映射关系步骤 3: 指定表的元数据指定 JDBC 连接, 装载器自动从数据库中获取, 适用于 Loader 直连接数据库的情况或者通过 OraLoaderMetadata 工具将元数据提取成 XML 格式的文档, 适用于 Loader 不直接连接数据库步骤 4: 运行装载器 Run: hadoop ${OLH_HOME}/jlib/oraloader.jar oracle.hadoop.loader.oraloader -conf MyConf.xml 步骤 5: 如果使用离线模式, 则需要处理离线文件 8 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

13 Oracle Hadoop 分布式文件系统直接连接器实施步骤步骤 1: 定义好外部表 CREATE TABLE SALES_HDFS_EXT_TAB (.. ) ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY "SALES_EXT_DIR" ACCESS PARAMETERS ( RECORDS DELIMITED BY NEWLINE FIELDS TERMINATED BY ', (PREPROCESSOR "HDFS_BIN_PATH:hdfs_stream ) LOCATION ('sales1','sales2','sales3') ); hdfs_stream is a map/reduce program to extract HDFS data file as data stream for Oracle DB. 步骤 2: 生成 HDFS 文件对应的位置文件 hadoop jar orahdfs.jar oracle.hadoop.hdfs.exttab.externaltable -conf config_file -publish 13 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

14 Oracle Hadoop 分布式文件系统直接连接器优势直接访问 HDFS 上的数据文件 ( 无需 FUSE 插件 ) 创建指向 HDFS 上文件位置的外部表使用 SQL 从数据库查询数据需要时将数据加载到数据库快速数据移动 : 并行优化自动负载平衡数据文件可以是带分隔符文本文件格式原始数据 Oracle Loader for Hadoop 创建的 Data Pump 文件 14 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

15 从 Oracle 数据库访问 Hadoop 数据 Oracle Loader for Hadoop 通过 JDBC 在线加载通过直接路径在线加载通过 datapump 文件离线加载 Oracle Direct Connector for HDFS 从 Oracle 数据库对 HDFS 进行 SQL 访问与 Oracle Loader for Hadoop 联用用例特性最简单的未分区表用例分区表的快速在线加载外部表的最快加载方法数据库服务器上的加载较少避开高峰期数据留在 HDFS 上从数据库并行访问访问由 OLH 创建的文件或导入 Oracle 表 15 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

Oracle Data Integrator 企业版通过 E-LT 优化了数据加载传统 ETL 架构 E-LT 提供了灵活的架构以优化性能提取转换加载手动脚本下一代架构

ODI-EE 知识模块能提供灵活性和可扩展性可插入的知识模块架构元数据的反向工程日志记录 (CDC) 从源加载到临时存储检查约束条件集成转换数据服务现成的知识模块示例 SAP/R3 Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel

19 ODI-EE 知识模块能提供灵活性和可扩展性可插入的知识模块架构元数据的反向工程日志记录 (CDC) 从源加载到临时存储检查约束条件集成转换数据服务现成的知识模块示例 SAP/R3 Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/Multilo ad Oracle Merge Oracle Web 服务 Siebel DB2 Journals DB2 Exp/Imp Oracle SQL*Loader Check Sybase Type II SCD Siebel EIM Schema DB2 Web Services 19 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

21 Oracle Data Integrator Hadoop 适配器 1. 将本地文件或 HDFS 文件加载到 Hive 数据库 2. 在 Hive 中转换和验证数据 3. 将处理后的数据从 Hive 加载到 Oracle 中 SHUFFLE /SORT 数据数据 ORACLE 数据库 HDFS ODCH 数据数据 SHUFFLE /SORT 数据 21 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

22 Oracle Data Integrator Hadoop 适配器知识模块 1. 将本地文件或 HDFS 文件加载到 Hive 数据库知识模块 -- IKM File to Hive 2. 在 Hive 中转换和验证数据知识模块 -- IKM Hive Control Append 知识模块 -- IKM Hive Transform 知识模块 -- RKM Hive 3. 将处理后的数据从 Hive 加载到 Oracle 数据库中知识模块 -- IKM File/Hive to Oracle (OLH) 22 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

23 Oracle Data Integrator Hadoop 适配器优势提高数据集成性能在 Hadoop 集群中处理大部分任务, 以利用 Hadoop 集群的资源使用高性能的 Hive 知识模块使用高性能的 OLH 知识模块提高开发和数据集成效率使用统一的 ODI 编程接口使用与 SQL 类似的 HiveQL 语言无需编写 Map/Reduce 程序在 ODI 内进行 Hadoop 作业调度 23 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

25 Oracle R Hadoop 连接器实现在原生 R 中访问 Hadoop 客户端主机 Oracle 大数据机 Oracle 数据库云服务器 R 引擎 ORHC ORE R 引擎 ORHC 原生的 R MapReduce 原生的 R HDFS 访问 Hadoop 集群软件 MapReduce 节点 HDFS R 引擎 ORE 25 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

26 若不用 ORHC, 则需 Java 技能 Mapper 和 Reducer import java.io.ioexception; import org.apache.hadoop.io.intwritable; import org.apache.hadoop.io.longwritable; import org.apache.hadoop.io.text; import org.apache.hadoop.mapred.mapreducebase; import org.apache.hadoop.mapred.mapper; import org.apache.hadoop.mapred.outputcollector; import org.apache.hadoop.mapred.reporter; public class WordMapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { public void map(longwritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String s = value.tostring(); for (String word :s.split("\\w+")) { if (word.length() > 0) { output.collect(new Text(word), new IntWritable(1)); } } } } import java.io.ioexception; import java.util.iterator; import org.apache.hadoop.io.intwritable; import org.apache.hadoop.io.text; import org.apache.hadoop.mapred.outputcollector; import org.apache.hadoop.mapred.mapreducebase; import org.apache.hadoop.mapred.reducer; import org.apache.hadoop.mapred.reporter; public class SumReducer extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { int wordcount = 0; while (values.hasnext()) { IntWritable value = values.next(); wordcount += value.get(); } output.collect(key, new IntWritable(wordCount)); } } 26 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

27 在 R 中直接使用 Map/Reduce dfs <- hdfs.attach("ontime_db") res <- hadoop.run( dfs, mapper = function(key, value) { if (key == 'SFO' &!is.na(x$arrdelay)) { keyval(key, value) } else { NULL } }, reducer = function(key, values) { for (x in values) { sumad <- sumad + x$arrdelay count <- count + 1 } res <- sumad / count keyval(key, res) }) > hdfs.get(res) key val1 1 SFO 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

28 Oracle R Hadoop 连接器架构客户端主机 ( 例如笔记本电脑 ) 服务器 ( 例如大数据机 ) R 引擎 orhc ORE 软件包 R 引擎 orhc-drv 包 Java VM orhc ORE 客户端软件包 Hadoop 集群软件 Java VM Hadoop 集群 DBMS 机 ( 例如数据库云服务器 ) MapReduce 节点 JobTracker HDFS 节点名称节点 R 引擎 ORE 软件包 Oracle 数据库任务节点数据节点 ORE 库任务节点数据节点 28 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

29 Oracle R Hadoop 连接器优势支持透明访问 Hadoop 集群 :MapReduce 和 HDFS 文件 R 用户无需学习新语言或了解界面即可使用 Hadoop 可以利用开源的 R 软件包处理 HDFS 文件工作从实验室过渡到 Hadoop 集群上的生产部署无需了解 Hadoop 内幕 Hadoop CLI 或 IT 基础架构 Hadoop 集群管理员无需学习 R 即可在生产中进行 R MapReduce 作业调度 29 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

31 Oracle Big Data Connectors 总结 Oracle Loader for Hadoop 实现 Hadoop 数据到 Oracle 数据库的高性能加载 Oracle Direct Connector for HDFS 支持使用 SQL 对 Hadoop 数据进行高性能高效访问 Oracle Data Integrator 在本地解释 Hive 元数据并生成优化的 HiveQL 代码 Oracle R Connector for Hadoop 支持从 R 对 Hadoop 数据进行交互式访问 31 版权所有 2011,Oracle 和 / 或其分支机构保留所有权利

32 更多信息 Oracle 技术网 Oracle 技术网在线文档 Big Data Connector 在线文档下载 Big Data Connector 下载

33 问答

PowerPoint Presentation

PowerPoint Presentation 利用 Oracle Big Data Connectors 将 Hadoop 与 Oracle 集成罗海雄甲骨文公司资深技术顾问 1 Copyright 2011, Oracle and/or its affiliates. All rights 以下内容旨在概述产品的总体发展方向该内容仅供参考, 不可纳入任何合同该内容不构成提供任何材料代码或功能的承诺, 并且不应该作为制定购买决策的依据