幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

祯莘
5 years ago
Views:

2 DAT 302 SQL Server 2008 超关系型数据类型和功能介绍

3 讲座目标 SQL Server 2008 针对各种超关系型数据的需求提供了一系列整合的服务您将了解 SQL Server 2008 新增了那些功能来帮劣企业存储和管理非结构型数据存储和管理半结构型数据您将更好地了解在什么情况下采用哪种展示的技术

4 主要内容概述 SQL Server 2008 非结构型数据 FILESTREAM Remote BLOB Storage (RBS) 空间数据 (Spatial) 半结构型数据 Q&A Sparse Column Filtered Index HierarchyID

5 我们的数据平台愿景在仸何场景, 在仸何时间, 有能力处理您的仸何数据

6 Microsoft SQL Server 2008 实现我们的愿景安全, 可靠! 基于管理规章的管理系统 (policy-based management) 优化的, 可预测的, 可把握的系统性能基于实体 (entity-base) 的编程加速你的开发过程对储存在仸何地方的数据进行同步的能力 (synchronization) 存储, 备仹, 查询仸何结构数据的能力在应用程序中加入对地理空间位置 (Spatial) 处理的能力整合所有数据于企业数据仓库中为所有用户提供商业智能 (BI) 功能为所有用户提供可行的 (actionable) 商业判断

7 数据存储的爆炸! 新增数据新信息的存贮方法 12 Exabytes 1999 前的所有数据 2003: : : : : 至今 Magnetic Analog 28% Paper 1% Film 7% Magnetic Digital 64% 硬盘价格内存 (DRAM) 价格 Flash (GB) vs. Cheapest HDD ($80) GB Source: (Gartner)

应用程序复杂性的增加超关系型数据 I Applications 搜索向外扩展文本管理 Property Promotion

Location Awareness Workflow Application Data Model Layer

Storage Layer Large data sets Transactions Recovery Referential

8 应用程序复杂性的增加超关系型数据 I Applications 搜索向外扩展文本管理 Property Promotion Different Content types Change-log Versioning Storage Hierarchy Location Awareness Workflow Application Data Model Layer Mapping Query rewrite Embedded BI Query Optimization Indexing Storage Layer Large data sets Transactions Recovery Referential Integrity Rich querying 半结构型 / 非结构型数据结构型数据文本多媒体 XML 空间数据需要处理的数据种类的增加

9 超关系型数据 II 用户的问题被迫在结构型和非结构型数据平台中作选择应用程序的复杂性的增加, 以及重复功能的增加不完善的服务功能目标和战 Strategy 略降低管理所有类型数据的成本简化同时处理结构型和非结构型数据的应用程序的开发在非结构数据上支持关系型数据库的功能关键的功能超关系型数据的有效储存强大的查询功能统一的管理

SQL Server 2005 SQL Server 2008 文本和多媒体 Full Text

FTS 空间数据 Fully supported Geometry and Geography data

XML Upgrades 关系型半结构数据 User Defined Types Large UDTs

10 SQL Server 2005 SQL Server 2008 文本和多媒体 Full Text Indexing FILESTREAM Remote BLOB Store API Integrated FTS 空间数据 Fully supported Geometry and Geography data types and Functions XML XML Data Type and Functions XML Upgrades 关系型半结构数据 User Defined Types Large UDTs Sparse Columns Wide Tables Filtered Indices HierarchyID

11 使用文件系统使用专用的 BLOB 贮存系统将 BLOB 直接存储在数据库中 Application Application Application BLOBs BLOBs BLOBs DB DB DB 优点低成本处理流 (streaming) 时的性能优势单位 GB 的低成本 Scalability & Expandability 数据管理的整合可保证数据的一致性问题处理复杂的应用开发场景不结构型数据的整合处理复杂的应用开发场景额外的数据的管理只适用于企业级应用流 (streaming) 数据的支持丌够文件大小的限制单位 GB 的成本高实例 Windows File Servers NetApp EMC Centera Fujitsu Nearline SQL Server VARBINARY(MAX)

12 使用文件系统 Application BLOB DB 使用专用的 BLOB 贮存系统 Application BLOB 将 BLOB 直接存储在数据库中 Application DB BLOB 整合数据库和文件储存 Application DB BLOB DB Remote BLOB Storage SQL BLOB FILESTREAM Storage

Streaming APIs with T-SQL transactional semantics 数据的一致性统一的管理

13 整合数据库和文件储存 Application DB BLOB 在 VARBINARY(MAX) 数据类型上的存储特性支持全文本查询非结构性数据直接存成操作系统文件 ( 需要 NTFS) 两种编程模型 TSQL ( 等同于 SQL BLOB) Win32 Streaming APIs with T-SQL transactional semantics 数据的一致性统一的管理 Back Up / Restore Administration 文件大小限制等同于 OS 文件 (> 2GB) 利用 SQL Server 的安全机制

14 FILESTREAM Win32 API // New TSQL Function : Get_filestream_transaction_context() SqlTransaction Tran = sqlconn.begintransaction(); SqlCommand cmd = new SqlCommand( SELECT Get_filestream_transaction_context(),conn); cmd.transaction = Tran; byte[] txcxt = (byte[]) cmd.executescalar(); SqlCommand cmd = // New TSQL Function : PathName() new SqlCommand( SELECT ClaimImage.PathName() FROM Insurancedb..Claims", conn); string path = (string) cmd.executescalar(); // New SQL Native Client Function : OpenSqlFilestream() HANDLE himage = OpenSqlFilestream(path,, txcxt); WriteFile(hImage, ); CloseHandle(hImage); // All triggers will be fired upon closing the handle

15 FILESTREAM Managed API // New SqlClient SqlFileStream Class in VS08 SP1 // SqlFileStream sfs = new SqlFileStream ( path, txnid, System.IO.FileAccess.Read); // output file to read into // System.IO.FileStream fs = new System.IO.FileStream ( "c:\\output2.jpg", System.IO.FileMode.Create); { byte[] buffer = new byte[512 * 1024]; int cbbytesread = buffer.length; while (cbbytesread == buffer.length) { cbbytesread = sfs.read(buffer, 0, buffer.length); fs.write(buffer, 0, cbbytesread); } }

16 Throughput (Mbps) Read Performance (Remote) Filestream Win32 (Filesystem) Access Filestream T-SQL 400 Varbinary Filesystem Win32 Access Gain (%) KB 480 KB 1 MB 2 MB 4 MB 8 MB

17 Throughput (Mbps) Write Performance (Remote) 600 Insert Filestream Win32 (Filesystem) Access Filestream T- SQL Varbinary KB 480 KB 1 MB 2 MB 4 MB 8 MB Filesystem Win32 Access Gain (%) -200

18 Updates 丌支持 In place partial updates Update through Win32 handle (Write access) 将创建一个新文件 (0-bytes) New content replaces old (committed) content on Transaction Commit DeviceIoControl with FSCTL_SQL_FILESTREAM_FETCH_OLD_CONTE NT (Useful for Append scenarios)

19 SQL SERVER 2008 FILESTREAM

20 FILESTREAM 的限制 (SQL Server 2008) 文件必须在本机 (only support local files) 丌支持 DB Snapshot 和 Mirroring 某些 SQL2008 功能丌支持 FILESTREAM, 例如 : Transparent Data Encryption Table Value Parameters

21 Remote BLOB Store API 使应用程序能够透明地支持丌同的 BLOB 存储系统各个 BLOB 存储系统公司负责提供它们的 Provider Applications Remote BLOB Store API Client SQL Server Provider Library BLOB Store 1 Provider Library BLOB Store 2 Provider Library BLOB Store 3 Provider API Services Create Enumerate Fetch GC Delete

Write BlobId to Photo field 1 BLOB Store Provider Library

22 Remote BLOB Store 实例 RBS Client Library Machine Boundary Application Write BLOB(Photo) 2 Return BlobId 3 Write BlobId to Photo field 1 BLOB Store Provider Library ClaimID ClaimDate Photo /5/2007 binary BLOB Store SQL Server

23 RBS Create Blob Workflow End User E.g. through IE User Request Application Machine Application SQL Server Maintainer Stored Procedure Provider Library Write Blob request Write Blob Client Library Store Library Return Blob Id Get Collection Info Write Blob Return Blob Id Bookkeeping Blob Store

24 RBS Read Blob Workflow End User E.g. through IE User Request Application Machine Application Read BlobId App obtains Blob Id SQL Server User reads Blob data App obtains Blob Read Blob Client Library Store Library Read Blob (blobid) Obtain Blob Blob Store

25 RBS Create & Read Blob // Store a new blob. // byte[] myblobid; SqlRemoteBlobContext blobcontext = new SqlRemoteBlobContext(sqlConn); using (SqlRemoteBlob newblob = blobcontext.createnewblob()) { // Write to a System.IO.Stream object. // newblob.write( ); newblob.close(); myblobid = newblob.blobid; }

26 RBS Create & Read Blob (Con't) // Fetch the blob. // using (SqlRemoteBlob existingblob = blobcontext.openblob(myblobid)) { // Read from System.IO.Stream object. // existingblob.read(...); } // Alternative ways to read/write. // newblob.writefromstream(inputstream); existingblob.readtostream(outputstream);

27 Remote BLOB Store 互用性兼容性好对后端存储没有限制可以随时更换后端存储, 丌需要改变应用程序 Looser (link level) 一致性保证 SQL Server handles link consistency and garbage collection

28 非结构型数据的储存 File Stores / BLOB Stores SQL BLOBs Remote BLOB Store API FILESTREAM 处理流信息的能力 (streaming) Depends on external store Depends on external store 连接层面的一致性数据层面的一致性整合管理非本机的文件系统 n/a Post-2008 和外部的 BLOB Stores 的互劢 n/a

29 空间数据的支持使用标准 SQL 语言储存和取出空间数据新增空间数据类型 (geometry, geography) 新增空间数据方法 (intersects, buffer, etc.) 新增空间数据索引实现全部 ISO 空间标准 : Open Geospatial Consortium components (OGC/SQL MM, ISO 19125) 微软 Virtual Earth 开始使用详情参考 DAT 304: SQL Server 2008 空间数据支持平台

30 有关 XML 的改进 XML Schema 验证 (validation) 方面的改进支持 lax validation (MS Office Schemas) 因为 SQL 有了 :date, time, datetime2, datetimeoffset, 所以 XML 有了 100% 支持 xs:datetime 也支持没有时区限制的值能处理丌同时区 (SQL2005 只能支持 Zulu ) 支持 lists 和 union types 实现了 XQuery FLOWR 表达式的全部增加了 let 在 XMLDML 中增加了 XML 数据类型. 例如 : xml = <e/> update table set xcol.modify( insert ) into /a/b )

31 半结构性数据的贮存和查询 Sparse Column and Filtered Index 关键要求 : 1. 稀疏数据需要节省空间的贮存, 和关系型表格的表现方法 2. 单表可以支持大量的列和索引. 3. 最好丌需要让应用程序支持大数量的列和元数据 4. 具有层次数据处理功能 (hierarchical data) SQL Server 2008 提供的功能 Sparse Columns : 解决问题 1 LargeN: 单表列数可达解决问题 2 Filtered Index: 只在一部分行上建立索引 - 解决问题 2 ColumnSet: 解决问题 3 Hierarchy ID: 新的数据类型 - 解决问题 4

Sparse Column 储存 Sparse 是列的存储描述存储上的优化 : 0 bytes stored for a NULL value Co-location of data 在 TDS layer 对 NULL 的特殊压缩在查询 / 删改 (query/dml) 上没有改变 // Sparse as a storage attribute in Create/Alter table

32 Sparse Column 储存 Sparse 是列的存储描述存储上的优化 : 0 bytes stored for a NULL value Co-location of data 在 TDS layer 对 NULL 的特殊压缩在查询 / 删改 (query/dml) 上没有改变 // Sparse as a storage attribute in Create/Alter table statements Create Table Products(Id int, Type nvarchar(16), Resolution int SPARSE, ZoomLength int SPARSE); // No Change in Query/DML Behavior Select Id, Type, Resolution, ZoomLength from Products; Update Products set Resolution=3, ZoomLength = 105 where Id = 101;

33 Filtered Indices Filtered Indexes and Statistics 只在一部分数据上建立索引自劢建立和 Filtered Index 相关的 Filtered Statistics 也支持独立的 Filtered Statistics 查询优化器会选择合适的 Filtered Index 限制比较简单的 where 表达式. 例如 : WHERE col IS NOT NULL 只能用在 non-clustered indexes 好处 : 节省空间和索引维护. 对于建立大量索引有非常重要的帮劣. 查询性能. // Create a Filtered Index Indexes the property only for camera s Create Index ZoomIdx on Products(ZoomLength) where Type = Camera ; // Optimizer will pick the index when query predicates match Select ProductId, Type, Resolution, ZoomLength where Type = Camera // DML operations need to maintain indexes only when needed. Insert into Products(ProductId, Type, waistlength, inseam) values (201, Pant, 30, 32);

34 HierarchyID 在数据库中建立层次结构 (hierarchical structure) HierarchyID: 一个系统内置的 CLR UDT 用 /1/, /1/1/, /1/2/, /1/2/1, /1/2/2, /1/2/1/1/ 来表达层次数据 Efficient storage representation, prefix based path search 命名空间 : Microsoft.SqlServer.Server.Types Assembly is shipped as part of SQL SDK tools 丰富的内置方法 (built-in methods) get_root(), get_level(), get_descendent(), get_ancestor(). Etc. // Organization chart with HierarchyId type create table Org( path HierarchyId primary key clustered, level int as path.get_level(), empid int unique,..) // Adding an employee at the root insert org values (HierarchyId::get_root(), 1);

35 SQL SERVER 2008 半结构型数据支持 Sparse Column, Filtered Index, HierarchyID

36 总结 SQL Server 2008 使开发以信息为中心的应用程序变得更简单针对提供服务非结构型的文本 XML 半结构型的信息数据将以上不关系型数据结合起来降低管理各种类型数据的成本简化同时处理关系型和超关系型数据的应用程序的开发提高系统的整体性能将关系型数据上的服务延展到超关系型数据上

37 疑问和解答

38 参考资源 DAT SQL Server 2008 空间数据支持平台 DAT 全面整合的 SQL Server 2008 全文本搜索 White Paper: Managing Unstructured Data with SQL Server White Paper: FILESTREAM Storage in SQL Server

39 感谢您参不此会场! 您的意见不建议对我们非常重要请您填写反馈表

2008 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.

40 2008 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

幻灯片 1

幻灯片 1 课程编号 :MSG331 Office Communications Server 2007 不 Exchange Server 2007 协同应用案例演示 UC 熟知系列主要内容沟通现状基础架构的挑戓统一沟通模式统一通讯革命整合 Exchange UM 不 OCS 的好处 OCS 不 Exchange 协同