DAT337

Size: px

Start display at page:

Download "DAT337"

陈淘庄
4 years ago
Views:

1 2005年9月28日3时52分 DAT 337 使用 SQL Server Integration Services 装载数据仓库吕科技术咨询顾问上海星移软件有限公司 Integration Services 简介商业智能的平台 Integrate 从源系统中抽取数据将数据转换为更适合在 OLAP 系统中使用的格式将数据装载到数据仓库或数据集市中 Analye 根据商业逻辑对数据进行分析以多维的形式展现数据通过数据挖掘发现深层次的信息 Report 数据展现和发布报表的设计管理和发布新的 SQL Server 商业智能应用程序 DTS的升级版本 DTS的升级版本新一代的高性能数据整合平台 SSIS 能做什么 SSIS Overview 支持多种数据源文本 Xml 支持多种数据源文本 Xml OLE DB DB ODBC 支持复杂的数据转换流程包括多路循环条件执行数据可以按规则分发强大的错误处理机制强大的事件提醒功能支持多路输入及输出 This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 1

2 聚合和排序数据转换的重要操作在数据流中支持多种聚合函数 Group By, Sum, Count Distinct 等在数据流中排序 SSIS 支持真正的 ETL,, 不是 ELT 聚合性能甚至超过数据库关联清洗数据的重要操作 Lookup 较大的事实表和较小的维度表, 如分类维度 Merge Join 较大的事实表和较大的维度表, 如客户维度适应新的数据仓库架构适应新的数据仓库架构 ( 续 ) 以往的数据仓库装载使用 SSIS 装载数据仓库在以往的场景中, 只能够把数据原封不动的抽取到数据库服务器上由数据库来执行聚合排序和其他操作影响用户访问的性能这种解决方案就不适合于大容量的数据或复杂的逻辑 SSIS 抽取数据还是和以前一样但是, 由 SSIS 来执行聚合和排序操作, 然后装载到数据库中它释放了数据库服务器的压力, 使其可用于用户查询支持 64 位的环境, 可以更好的处理大数据量和复杂的逻辑就算在 32 位的环境下, 也可以更好的分散服务器的压力特殊的功能演示 - UnPivot 时间维的生成通过 Analysis Services 指定日期范围来生成纬度成员 Pivot 和 Unpivot 操作更多的功能 From Currency GBP CAD GBP To Currency GBP Exchange CAD Rate EUR EUR GBP This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 2

Core Features 数据清洗 Fuy lookup 模糊查找, 找到最合适的匹配值 Fuy duplicates 模糊分组, 例如 Windows XP, WinXP, 由微软中国研究院完成数据挖掘在 ETL 过程中使用挖掘模型使用输入数据来训练挖掘模型使用挖掘模型来处理数据基于模式的 data quality 使用挖掘模型来预测背离值在运行时根据数据来选择最佳算法 Data

3 Core Features 数据清洗 Fuy lookup 模糊查找, 找到最合适的匹配值 Fuy duplicates 模糊分组, 例如 Windows XP, WinXP, 由微软中国研究院完成数据挖掘在 ETL 过程中使用挖掘模型使用输入数据来训练挖掘模型使用挖掘模型来处理数据基于模式的 data quality 使用挖掘模型来预测背离值在运行时根据数据来选择最佳算法 Data Quality Analysis Services 设计时和运行时的集成 Analysis Services 作为数据目的 Analysis Services 集成 This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 3

4 装载到 Analysis Services Analysis services 作为数据目的一步到位, 不需要中间存储以往二维数据 SQL Server AS SSIS 二维数据 /XML/Web Service/ AS 对 Analysis Services 进一步的支持 Execute DDL task 就像执行 SQL 命令一样建立多维数据集分区等共享的项目结构一起管理 AS 和 ETL 项目 ( 包括 RS 和 VS) 只需一次定义数据源信息缓慢变化维自动建立一类和二类缓慢变化维 Fixed Attribute 当改变是个错误 Changing Attribute 不记录历史的更改, 如名称 Historical Attribute 记录历史痕迹的更改, 如所属机构会引发新增维度成员 Inferred member 迟到的维度数据先装载事实数据缓慢变化维 ( 续 ) Business key 来自于源数据的 key Surrogate key 可来自于其它字段通常是自动增长其他的改变缓慢变化维向导 SQL Task 可执行存储过程和其他 SQL 语句可扩展性可以编写自己的 SSIS 组件可以在 script 任务中调用.NET 代码可调用性 Web service XML.NET This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 4

5 可靠性和可恢复性 Error flows 在任务中处理错误数据 Event handling 在执行包时响应事件 Package restart 设置失败的检查点操作日志记录丰富的 logging providers,, 如 : 文本数据库 XML Windows event log 或自定义的 log provider 可以给单个或多个任务设置独立的日志性能监视器整个生命周期的支持运行时设置属性和变量可通过 XML, 注册表, 环境变量, SQL 进行配置发布功能总结更快的速度! 以数据流的方式, 能够高效的处理复杂的逻辑更强的功能! 新增的 Data flow 增加的 Task 和 Transformation 与其它微软 BI 产品的结合真正的 ETL! 在流程中清洗数据微软 SQL Server 社区 microsoft.public.sqlserver.server microsoft.public.cn.sqlserver 我的社区中文 SQL Server 主页 : sql 下一个会议 DAT239:SQL Server 2005 数据仓库新功能问题其它英文资源 se/ssis/default.aspx 什么是 SQL Server Integration Services? ETL 和 ELT 相比有什么好处? 和 Analysis Services 的集成带来什么好处? 缓慢变化维有什么用处? This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 5

6 This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 6

3.1 SQL Server 2005 Analysis Services Unified Dimension Model (UDM) 3 ( Ad-Hoc) SQL Server 2005 E - R T-SQL(Star Schema) (Data Mart) (ETL) ( Ora

C H A P T E R 3 SQL Server 2005 SQL Server 2000SQL Server SQL Server 20052005 3.1 SQL Server 2005 Analysis Services 3.1.1 Unified Dimension Model (UDM) 3 ( Ad-Hoc) SQL Server 2005 E - R T-SQL(Star Schema)