大数据技术原理与应用

Size: px

Start display at page:

Download "大数据技术原理与应用"

锤娈危
5 years ago
Views:

编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 5 章 NoSQL 数据库 (PPT 版本号 :2017 年 2 月版本 )

1 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 5 章 NoSQL 数据库 (PPT 版本号 :2017 年 2 月版本 ) 林子雨厦门大学计算机科学系 ziyulin@xmu.edu.cn 主页 :

2 本章配套教学视频大数据技术原理与应用 ( 第 2 版 ) 第 5 章 NoSQL 数据库在线视频观看地址

3 提纲 5.1 NoSQL 简介 5.2 NoSQL 兴起的原因 5.3 NoSQL 与关系数据库的比较 5.4 NoSQL 的四大类型 5.5 NoSQL 的三大基石 5.6 从 NoSQL 到 NewSQL 数据库 5.7 文档数据库 MongoDB 本 PPT 是如下教材的配套讲义 : 大数据技术原理与应用概念存储处理分析与应用 (2017 年 2 月第 2 版 ) ISBN: 厦门大学林子雨编著, 人民邮电出版社欢迎访问大数据技术原理与应用教材官方网站 :

4 5.1 NoSQL 简介概念演变 Not only SQL 最初表示反 SQL 运动用新型的非关系数据库取代关系数据库现在表示关系和非关系型数据库各有优缺点彼此都无法互相取代通常,NoSQL 数据库具有以下几个特点 : (1) 灵活的可扩展性 (2) 灵活的数据模型 (3) 与云计算紧密融合

5 5.1 NoSQL 简介现在已经有很多公司使用了 NoSQL 数据库 : Google Facebook Mozilla Adobe Foursquare LinkedIn Digg McGraw-Hill Education Vermont Public Radio 百度腾讯阿里新浪华为

6 5.2 NoSQL 兴起的原因 1 关系数据库已经无法满足 Web2.0 的需求主要表现在以下几个方面 : (1) 无法满足海量数据的管理需求 (2) 无法满足数据高并发的需求 (3) 无法满足高可扩展性和高可用性的需求

7 5.2 NoSQL 兴起的原因 MySQL 集群是否可以完全解决问题? 复杂性 : 部署管理配置很复杂数据库复制 :MySQL 主备之间采用复制方式, 只能是异步复制, 当主库压力较大时可能产生较大延迟, 主备切换可能会丢失最后一部分更新事务, 这时往往需要人工介入, 备份和恢复不方便扩容问题 : 如果系统压力过大需要增加新的机器, 这个过程涉及数据重新划分, 整个过程比较复杂, 且容易出错动态数据迁移问题 : 如果某个数据库组压力过大, 需要将其中部分数据迁移出去, 迁移过程需要总控节点整体协调, 以及数据库节点的配合这个过程很难做到自动化

8 5.2 NoSQL 兴起的原因 2 One size fits all 模式很难适用于截然不同的业务场景关系模型作为统一的数据模型既被用于数据分析, 也被用于在线业务但这两者一个强调高吞吐, 一个强调低延时, 已经演化出完全不同的架构用同一套模型来抽象显然是不合适的 Hadoop 就是针对数据分析 MongoDB Redis 等是针对在线业务, 两者都抛弃了关系模型

9 5.2 NoSQL 兴起的原因 3 关系数据库的关键特性包括完善的事务机制和高效的查询机制但是, 关系数据库引以为傲的两个关键特性, 到了 Web2.0 时代却成了鸡肋, 主要表现在以下几个方面 : (1)Web2.0 网站系统通常不要求严格的数据库事务 (2)Web2.0 并不要求严格的读写实时性 (3)Web2.0 通常不包含大量复杂的 SQL 查询 ( 去结构化, 存储空间换取更好的查询性能 )

10 5.3 NoSQL 与关系数据库的比较表 5-1 NoSQL 和关系数据库的简单比较比较标准 RDBMS NoSQL 备注数据库原理完全支持部分支持数据规模大超大 RDBMS 有关系代数理论作为基础 NoSQL 没有统一的理论基础 RDBMS 很难实现横向扩展, 纵向扩展的空间也比较有限, 性能会随着数据规模的增大而降低 NoSQL 可以很容易通过添加更多设备来支持更大规模的数据数据库模式固定灵活 RDBMS 需要定义数据库模式, 严格遵守数据定义和相关约束条件 NoSQL 不存在数据库模式, 可以自由灵活定义并存储各种不同类型的数据查询效率快可以实现高效的简单查询, 但是不具备高度结构化查询等特性, 复杂查询的性能不尽人意 RDBMS 借助于索引机制可以实现快速查询 ( 包括记录查询和范围查询 ) 很多 NoSQL 数据库没有面向复杂查询的索引, 虽然 NoSQL 可以使用 MapReduce 来加速查询, 但是, 在复杂查询方面的性能仍然不如 RDBMS

11 5.3 NoSQL 与关系数据库的比较比较标准 RDBMS NoSQL 备注一致性强一致性弱一致性 RDBMS 严格遵守事务 ACID 模型, 可以保证事务强一致性很多 NoSQL 数据库放松了对事务 ACID 四性的要求, 而是遵守 BASE 模型, 只能保证最终一致性数据完整性容易实现很难实现任何一个 RDBMS 都可以很容易实现数据完整性, 比如通过主键或者非空约束来实现实体完整性, 通过主键外键来实现参照完整性, 通过约束或者触发器来实现用户自定义完整性但是, 在 NoSQL 数据库却无法实现扩展性一般好可用性好很好表 5-1 NoSQL 和关系数据库的简单比较 ( 续 ) RDBMS 很难实现横向扩展, 纵向扩展的空间也比较有限 NoSQL 在设计之初就充分考虑了横向扩展的需求, 可以很容易通过添加廉价设备实现扩展 RDBMS 在任何时候都以保证数据一致性为优先目标, 其次才是优化系统性能, 随着数据规模的增大,RDBMS 为了保证严格的一致性, 只能提供相对较弱的可用性大多数 NoSQL 都能提供较高的可用性

12 5.3 NoSQL 与关系数据库的比较比较标准 RDBMS NoSQL 备注标准化是否表 5-1 NoSQL 和关系数据库的简单比较 ( 续 ) RDBMS 已经标准化 (SQL) NoSQL 还没有行业标准, 不同的 NoSQL 数据库都有自己的查询语言, 很难规范应用程序接口 StoneBraker 认为 :NoSQL 缺乏统一查询语言, 将会拖慢 NoSQL 发展技术支持高低 RDBMS 经过几十年的发展, 已经非常成熟, Oracle 等大型厂商都可以提供很好的技术支持 NoSQL 在技术支持方面仍然处于起步阶段, 还不成熟, 缺乏有力的技术支持可维护性复杂复杂 RDBMS 需要专门的数据库管理员 (DBA) 维护 NoSQL 数据库虽然没有 DBMS 复杂, 也难以维护

13 总结 5.3 NoSQL 与关系数据库的比较 (1) 关系数据库优势 : 以完善的关系代数理论作为基础, 有严格的标准, 支持事务 ACID 四性, 借助索引机制可以实现高效的查询, 技术成熟, 有专业公司的技术支持劣势 : 可扩展性较差, 无法较好支持海量数据存储, 数据模型过于死板无法较好支持 Web2.0 应用, 事务机制影响了系统的整体性能等 (2)NoSQL 数据库优势 : 可以支持超大规模数据存储, 灵活的数据模型可以很好地支持 Web2.0 应用, 具有强大的横向扩展能力等劣势 : 缺乏数学理论基础, 复杂查询性能不高, 大都不能实现事务强一致性, 很难实现数据完整性, 技术尚不成熟, 缺乏专业团队的技术支持, 维护较困难等

14 总结 5.3 NoSQL 与关系数据库的比较关系数据库和 NoSQL 数据库各有优缺点, 彼此无法取代关系数据库应用场景 : 电信银行等领域的关键业务系统, 需要保证强事务一致性 NoSQL 数据库应用场景 : 互联网企业传统企业的非关键业务 ( 比如数据分析 ) 采用混合架构案例 : 亚马逊公司就使用不同类型的数据库来支撑它的电子商务应用对于购物篮这种临时性数据, 采用键值存储会更加高效当前的产品和订单信息则适合存放在关系数据库中大量的历史订单信息则适合保存在类似 MongoDB 的文档数据库中

15 5.4 NoSQL 的四大类型 NoSQL 数据库虽然数量众多, 但是, 归结起来, 典型的 NoSQL 数据库通常包括键值数据库列族数据库文档数据库和图形数据库 Key_1 Value_1 Dataset Key_2 Key_3 Key_4 Value_2 Value_1 Value_3 Row Key-1 Column-Family-1 Column Name-1 Column Value-1 Column Name-2 Column Value-2 Column-Family-2 Column Name-3 Column Value-3 Key_5 Key_6 Key_7 Key_8 Value_2 Value_1 Value_4 Value_3 Row Key-2 Column Name-4 Column Value-4 Column-Family-1 Column Name-5 Column Value-5 Column Name-6 Column Value-6 键值数据库列族数据库大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

16 5.4 NoSQL 的四大类型 Dataset Document_id-1 Document_id-2 Document-1 Document-2 Key- Value Node1 Key-Value2 Key-Value1 Key- Value Node3 Document_id-3 Document_id-4 Document-3 Document-4 Key-Value1 Key- Value Node2 Key-Value2 文档数据库图形数据库

17 5.4 NoSQL 的四大类型文档数据库图数据库键值数据库列族数据库

18 5.4.1 键值数据库相关产品数据模型典型应用优点 Redis Riak SimpleDB Chordless Scalaris Memcached 键 / 值对键是一个字符串对象值可以是任意类型的数据, 比如整型字符型数组列表集合等涉及频繁读写拥有简单数据模型的应用内容缓存, 比如会话配置文件参数购物车等存储配置和用户数据信息的移动应用扩展性好, 灵活性好, 大量写操作时性能高缺点不适用情形使用者无法存储结构化信息, 条件查询效率较低不是通过键而是通过值来查 : 键值数据库根本没有通过值查询的途径需要存储数据之间的关系 : 在键值数据库中, 不能通过两个或两个以上的键来关联数据需要事务的支持 : 在一些键值数据库中, 产生故障时, 不可以回滚百度云数据库 (Redis) GitHub(Riak) BestBuy(Riak) Twitter (Redis 和 Memcached) StackOverFlow(Redis) Instagram (Redis) Youtube(Memcached) Wikipedia(Memcached) 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

19 5.4.1 键值数据库键值数据库成为理想的缓冲层解决方案 Redis 有时候会被人们称为强化版的 Memcached 支持持久化数据恢复更多数据类型

20 5.4.2 列族数据库相关产品数据模型典型应用优点 BigTable HBase Cassandra HadoopDB GreenPlum PNUTS 列族分布式数据存储与管理数据在地理上分布于多个数据中心的应用程序可以容忍副本中存在短期不一致情况的应用程序拥有动态字段的应用程序拥有潜在大量数据的应用程序, 大到几百 TB 的数据查找速度快, 可扩展性强, 容易进行分布式扩展, 复杂性低缺点功能较少, 大都不支持强事务一致性不适用情形使用者需要 ACID 事务支持的情形,Cassandra 等产品就不适用 Ebay(Cassandra) Instagram(Cassandra) NASA (Cassandra) Twitter(Cassandra and HBase) Facebook (HBase) Yahoo!(HBase)

21 5.4.3 文档数据库文档其实是一个数据记录, 这个记录能够对包含的数据类型和内容进行自我描述 XML 文档 HTML 文档和 JSON 文档就属于这一类 SequoiaDB 就是使用 JSON 格式的文档数据库, 它的存储的数据是这样的 : 关系数据库 : 必须有 schema 信息才能理解数据的含义学生 ( 学号, 姓名, 性别, 年龄, 系, 年级 ) (1001, 张三, 男,20, 计算机,2002) 一个 XML 文档 : <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> </configuration>

22 5.4.3 文档数据库数据是不规则的, 每一条记录包含了所有的有关 SequoiaDB 的信息而没有任何外部的引用, 这条记录就是自包含的这使得记录很容易完全移动到其他服务器, 因为这条记录的所有信息都包含在里面了, 不需要考虑还有信息在别的表没有一起迁移走同时, 因为在移动过程中, 只有被移动的那一条记录 ( 文档 ) 需要操作, 而不像关系型中每个有关联的表都需要锁住来保证一致性, 这样一来 ACID 的保证就会变得更快速, 读写的速度也会有很大的提升

23 5.4.3 文档数据库相关产品数据模型典型应用优点缺点 MongoDB CouchDB Terrastore ThruDB RavenDB SisoDB RaptorDB CloudKit Perservere Jackrabbit 键 / 值值 (value) 是版本化的文档存储索引并管理面向文档的数据或者类似的半结构化数据比如, 用于后台具有大量读写操作的网站使用 JSON 数据结构的应用使用嵌套结构等非规范化数据的应用程序性能好 ( 高并发 ), 灵活性高, 复杂性低, 数据结构灵活提供嵌入式文档功能, 将经常查询的数据存储在同一个文档中既可以根据键来构建索引, 也可以根据内容构建索引缺乏统一的查询语法不适用情形使用者在不同的文档上添加事务文档数据库并不支持文档间的事务, 如果对这方面有需求则不应该选用这个解决方案百度云数据库 (MongoDB) SAP (MongoDB) Codecademy (MongoDB) Foursquare (MongoDB) NBC News (RavenDB)

24 5.4.4 图形数据库相关产品 Neo4J OrientDB InfoGrid Infinite Graph GraphDB 数据模型图结构典型应用专门用于处理具有高度相互关联关系的数据, 比较适合于社交网络模式识别依赖分析推荐系统以及路径寻找等问题优点灵活性高, 支持复杂的图形算法, 可用于构建复杂的关系图谱缺点复杂性高, 只能支持一定的数据规模使用者 Adobe(Neo4J) Cisco(Neo4J) T-Mobile(Neo4J)

5.4.5 不同类型数据库比较分析 MySQL 产生年代较早, 而且随着 LAMP 大潮得以成熟尽管其没有什么大的改进, 但是新兴的互联网使用的最多的数据库 MongoDB 是个新生事物, 提供更灵活的数据模型异步提交地理位置索引等五花十色的功能 HBase 是个仗势欺人的大象兵依仗着

25 5.4.5 不同类型数据库比较分析 MySQL 产生年代较早, 而且随着 LAMP 大潮得以成熟尽管其没有什么大的改进, 但是新兴的互联网使用的最多的数据库 MongoDB 是个新生事物, 提供更灵活的数据模型异步提交地理位置索引等五花十色的功能 HBase 是个仗势欺人的大象兵依仗着 Hadoop 的生态环境, 可以有很好的扩展性但是就像象兵一样, 使用者需要养一头大象 (Hadoop), 才能驱使他 Redis 是键值存储的代表, 功能最简单提供随机数据存储就像一根棒子一样, 没有多余的构造但是也正是因此, 它的伸缩性特别好就像悟空手里的金箍棒, 大可捅破天, 小能成缩成针

26 5.5 NoSQL 的三大基石 CAP NoSQL 最终一致性 BASE

27 5.5.1 CAP 所谓的 CAP 指的是 : C(Consistency): 一致性, 是指任何一个读操作总是能够读到之前完成的写操作的结果, 也就是在分布式环境中, 多点的数据是一致的, 或者说, 所有节点在同一时间具有相同的数据 A:(Availability): 可用性, 是指快速获取数据, 可以在确定的时间内返回操作结果, 保证每个请求不管成功或者失败都有响应 ; P(Tolerance of Network Partition): 分区容忍性, 是指当出现网络分区的情况时 ( 即系统中的一部分节点无法和其他节点进行通信 ), 分离的系统也能够正常运行, 也就是说, 系统中任意信息的丢失或失败不会影响系统的继续运作

28 5.5.1 CAP CAP 理论告诉我们, 一个分布式系统不可能同时满足一致性可用性和分区容忍性这三个需求, 最多只能同时满足其中两个, 正所谓鱼和熊掌不可兼得

29 5.5.1 CAP 一个牺牲一致性来换取可用性的实例 M 1 P 1 V 1 =val 0 M 2 P 2 V 2 =val 0 (a) 初始状态

30 5.5.1 CAP 一个牺牲一致性来换取可用性的实例 1 进程 P 1 把副本 V 1 的值从 2 副本 V 1 的新值 val 1 被传播 3 val 0 更新为 val 1 给副本 V 2 M 1 M 1 M 1 进程 P 2 从副本 V 2 中读取到更新后的值 val 1 P 1 val 1 V 1 =val 0 P 1 V 1 =val 1 P 1 V 1 =val 1 传播新值 val 1 M 2 M 2 M 2 P 2 V 2 =val 0 P 2 V 2 =val 0 P 2 val1 V 2 =val 1 (b) 正常执行过程

31 5.5.1 CAP 一个牺牲一致性来换取可用性的实例 1 进程 P 1 把副本 V 1 的值从 2 副本 V 1 的新值 val 1 无法传 3 val 0 更新为 val 1 播到副本 V 2 M 1 M 1 M 1 进程 P 2 从副本 V 2 中依然读取旧值 val 0 P 1 val 1 V 1 =val 0 P 1 V 1 =val 1 P 1 V 1 =val 1 传播新值 val 1 失败 M 2 M 2 M 2 P 2 V 2 =val 0 P 2 V 2 =val 0 P 2 val0 V 2 =val 0 (c) 更新传播失败时的执行过程

32 5.5.1 CAP 当处理 CAP 的问题时, 可以有几个明显的选择 : 1.CA: 也就是强调一致性 (C) 和可用性 (A), 放弃分区容忍性 (P), 最简单的做法是把所有与事务相关的内容都放到同一台机器上很显然, 这种做法会严重影响系统的可扩展性传统的关系数据库 (MySQL SQL Server 和 PostgreSQL), 都采用了这种设计原则, 因此, 扩展性都比较差 2.CP: 也就是强调一致性 (C) 和分区容忍性 (P), 放弃可用性 (A), 当出现网络分区的情况时, 受影响的服务需要等待数据一致, 因此在等待期间就无法对外提供服务 3.AP: 也就是强调可用性 (A) 和分区容忍性 (P), 放弃一致性 (C), 允许系统返回不一致的数据

33 5.5.1 CAP A 选择 CA, 放弃 P MySQL SQL Server PostgresSQL 选择 AP, 放弃 C Dynamo Cassandra Voldemort CouchDB Riak C 选择 CP, 放弃 A Neo4J,Bigtable,MongoDB,Hbase,Hypertable,Redis P 图 5-5 不同产品在 CAP 理论下的不同设计原则

34 5.5.2 BASE 说起 BASE(Basically Availble, Soft-state, Eventual consistency), 不得不谈到 ACID ACID 原子性 (Atomicity) 一致性 (Consistency) 隔离性 (Isolation) 持久性 (Durable) BASE 基本可用 (Basically Available) 软状态 / 柔性事务 (Soft state) 最终一致性 (Eventual consistency)

35 5.5.2 BASE 一个数据库事务具有 ACID 四性 : A(Atomicity): 原子性, 是指事务必须是原子工作单元, 对于其数据修改, 要么全都执行, 要么全都不执行 C(Consistency): 一致性, 是指事务在完成时, 必须使所有的数据都保持一致状态 I(Isolation): 隔离性, 是指由并发事务所做的修改必须与任何其它并发事务所做的修改隔离 D(Durability): 持久性, 是指事务完成之后, 它对于系统的影响是永久性的, 该修改即使出现致命的系统故障也将一直保持

36 5.5.2 BASE BASE 的基本含义是基本可用 (Basically Availble) 软状态(Soft- state) 和最终一致性 (Eventual consistency): 基本可用基本可用, 是指一个分布式系统的一部分发生问题变得不可用时, 其他部分仍然可以正常使用, 也就是允许分区失败的情形出现软状态软状态 (soft-state) 是与硬状态 (hard-state) 相对应的一种提法数据库保存的数据是硬状态时, 可以保证数据一致性, 即保证数据一直是正确的软状态是指状态可以有一段时间不同步, 具有一定的滞后性

37 5.5.2 BASE BASE 的基本含义是基本可用 (Basically Availble) 软状态(Soft- state) 和最终一致性 (Eventual consistency): 最终一致性一致性的类型包括强一致性和弱一致性, 二者的主要区别在于高并发的数据访问操作下, 后续操作是否能够获取最新的数据对于强一致性而言, 当执行完一次更新操作后, 后续的其他读操作就可以保证读到更新后的最新数据 ; 反之, 如果不能保证后续访问读到的都是更新后的最新数据, 那么就是弱一致性而最终一致性只不过是弱一致性的一种特例, 允许后续的访问操作可以暂时读不到更新后的数据, 但是经过一段时间之后, 必须最终读到更新后的数据最常见的实现最终一致性的系统是 DNS( 域名系统 ) 一个域名更新操作根据配置的形式被分发出去, 并结合有过期机制的缓存 ; 最终所有的客户端可以看到最新的值

38 5.5.3 最终一致性最终一致性根据更新数据后各进程访问到数据的时间和方式的不同, 又可以区分为 : 因果一致性 : 如果进程 A 通知进程 B 它已更新了一个数据项, 那么进程 B 的后续访问将获得 A 写入的最新值而与进程 A 无因果关系的进程 C 的访问, 仍然遵守一般的最终一致性规则读己之所写一致性 : 可以视为因果一致性的一个特例当进程 A 自己执行一个更新操作之后, 它自己总是可以访问到更新过的值, 绝不会看到旧值单调读一致性 : 如果进程已经看到过数据对象的某个值, 那么任何后续访问都不会返回在那个值之前的值

39 5.5.3 最终一致性最终一致性根据更新数据后各进程访问到数据的时间和方式的不同, 又可以区分为 : 会话一致性 : 它把访问存储系统的进程放到会话 (session) 的上下文中, 只要会话还存在, 系统就保证读己之所写一致性如果由于某些失败情形令会话终止, 就要建立新的会话, 而且系统保证不会延续到新的会话单调写一致性 : 系统保证来自同一个进程的写操作顺序执行系统必须保证这种程度的一致性, 否则就非常难以编程了

40 5.5.3 最终一致性如何实现各种类型的一致性? 对于分布式数据系统 : N 数据复制的份数 W 更新数据是需要保证写完成的节点数 R 读取数据的时候需要读取的节点数如果 W+R>N, 写的节点和读的节点重叠, 则是强一致性例如对于典型的一主一备同步复制的关系型数据库,N=2,W=2,R=1, 则不管读的是主库还是备库的数据, 都是一致的一般设定是 R+W = N+1, 这是保证强一致性的最小设定如果 W+R<=N, 则是弱一致性例如对于一主一备异步复制的关系型数据库, N=2,W=1,R=1, 则如果读的是备库, 就可能无法读取主库已经更新过的数据, 所以是弱一致性

41 5.5.3 最终一致性对于分布式系统, 为了保证高可用性, 一般设置 N>=3 不同的 N,W,R 组合, 是在可用性和一致性之间取一个平衡, 以适应不同的应用场景如果 N=W,R=1, 任何一个写节点失效, 都会导致写失败, 因此可用性会降低, 但是由于数据分布的 N 个节点是同步写入的, 因此可以保证强一致性实例 :HBase 是借助其底层的 HDFS 来实现其数据冗余备份的 HDFS 采用的就是强一致性保证在数据没有完全同步到 N 个节点前, 写操作是不会返回成功的也就是说它的 W=N, 而读操作只需要读到一个值即可, 也就是说它 R=1 像 Voldemort,Cassandra 和 Riak 这些类 Dynamo 的系统, 通常都允许用户按需要设置 N,R,W 三个值, 即使是设置成 W+R<= N 也是可以的也就是说他允许用户在强一致性和最终一致性之间自由选择而在用户选择了最终一致性, 或者是 W<N 的强一致性时, 则总会出现一段各个节点数据不同步导致系统处理不一致的时间为了提供最终一致性的支持, 这些系统会提供一些工具来使数据更新被最终同步到所有相关节点

42 5.6 从 NoSQL 到 NewSQL 数据库一种架构支持多类应用 (One Size Fits All) 分析大数据时代多架构支持多类应用 NewSQL 分析事务 OldSQL 架构多元化互联网 OldSQL 事务 NoSQL 互联网图 5-6 大数据引发数据处理架构变革

43 5.6 从 NoSQL 到 NewSQL 数据库关系型数据库 OldSQL Infobright Netezza ParAccel SAP Sybase IQ Teradata EMC Calpont IBM InfoSphere Aster Data Greenplum VectorWise HP Vertica Oracle IMB DB2 SQL Server JustOne MySQL Ingres PostgreSQL NoSQL 键值数据库 Riak Redis Couchbase 文档数据库 CouchDB MongoDB RavenDB Cloudant 列式数据库 Membrain Cassandra BigTable Hypertable Voldemort HBase BekeleyDB 云数据库 App Engine Datastore SimpleDB 图数据库 InfiniteGraph Neo4J OrientDB GraphDB NewSQL Amazon RDS SQL Azure Database.com Xeround Schooner MySQL FathomDB HandlerSocket Akiban MySQL Cluster Drizzle ScalArc CodeFutures Tokutek ScaleBase NimbusDB Continuent Translattice VoltDB Clustrix GenieDB 图 5-7 关系数据库 NoSQL 和 NewSQL 数据库产品分类图

5.7 文档数据库 MongoDB 5.7.1 MongoDB 简介 5.7.2 MongoDB 概念解析 5.7.3 安装 MongoDB 具体请参考网络教程 :http://www.runoob.

44 5.7 文档数据库 MongoDB MongoDB 简介 MongoDB 概念解析安装 MongoDB 具体请参考网络教程 : 或者参考厦门大学数据库实验室建设的中国高校大数据课程公共服务平台的技术文章 :

45 5.7.1 MongoDB 简介 MongoDB 是由 C++ 语言编写的, 是一个基于分布式文件存储的开源数据库系统在高负载的情况下, 添加更多的节点, 可以保证服务器性能 MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 MongoDB 将数据存储为一个文档, 数据结构由键值 (key=>value) 对组成 MongoDB 文档类似于 JSON 对象字段值可以包含其他文档, 数组及文档数组

46 5.7.1 MongoDB 简介主要特点提供了一个面向文档存储, 操作起来比较简单和容易可以设置任何属性的索引来实现更快的排序具有较好的水平可扩展性支持丰富的查询表达式, 可轻易查询文档中内嵌的对象及数组可以实现替换完成的文档 ( 数据 ) 或者一些指定的数据字段 MongoDB 中的 Map/Reduce 主要是用来对数据进行批量处理和聚合操作支持各种编程语言 :RUBY,PYTHON,JAVA,C++,PHP,C# 等语言 MongoDB 安装简单

47 5.7.2 MongoDB 概念解析在 mongodb 中基本的概念是文档集合数据库 SQL 术语 / 概念 MongoDB 术语 / 概念解释 / 说明 database database 数据库 table collection 数据库表 / 集合 row document 数据记录行 / 文档 column field 数据字段 / 域 index index 索引 table joins 表连接,MongoDB 不支持 primary key primary key 主键,MongoDB 自动将 _id 字段设置为主键

48 5.7.2 MongoDB 概念解析通过下图实例, 我们也可以更直观的的了解 MongoDB 中的一些概念 : id user_name age city 1 Mark Hanks mark@abc.com 25 Los Angeles 2 Richard Peter richard@abc.com 31 Dallas { "_id": ObjectId("5146bb52d f3"), "age": 25, "city": "Los Angeles", " ": "mark@abc.com", "user_name": "Mark Hanks " } { "_id": ObjectId("5146bb52d f2"), "age": 31, "city": "Dallas", " ": "richard@abc.com", "user_name": "Richard Peter " } 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

49 5.7.2 MongoDB 概念解析举例 2: 在一个关系型数据库中, 一篇博客 ( 包含文章内容评论评论的投票 ) 会被打散在多张数据表中在文档数据库 MongoDB 中, 能用一个文档来表示一篇博客, 评论与投票作为文档数组, 放在正文主文档中这样数据更易于管理, 消除了传统关系型数据库中影响性能和水平扩展性的 JOIN 操作 author: blogposts: comments:

50 5.7.2 MongoDB 概念解析关系数据库中的其中一条记录, 在文档数据库 MongoDB 中的存储方式类似如下 : { id :1, author : Jane, blogposts :{ tile : MyFirstPost, comment :{ by : Ada, text : Good post } } }

51 5.7.2 MongoDB 概念解析数据库一个 mongodb 中可以建立多个数据库 MongoDB 的默认数据库为 "db", 该数据库存储在 data 目录中 MongoDB 的单个实例可以容纳多个独立的数据库, 每一个都有自己的集合和权限, 不同的数据库也放置在不同的文件中文档文档是一个键值 (key-value) 对 ( 即 BSON) MongoDB 的文档不需要设置相同的字段, 并且相同的字段不需要相同的数据类型, 这与关系型数据库有很大的区别, 也是 MongoDB 非常突出的特点一个简单的文档例子如下 : { site : dblab.xmu.edu.cn, name : 厦门大学数据库实验室 "}

52 5.7.2 MongoDB 概念解析下表列出了 RDBMS 与 MongoDB 对应的术语 : RDBMS 数据库表格行列表联合主键 MongoDB 数据库集合文档字段嵌入文档主键 (MongoDB 提供了 key 为 _id ) Mysqld/Oracle mysql/sqlplus 数据库服务和客户端 mongod mongo

53 5.7.2 MongoDB 概念解析集合集合就是 MongoDB 文档组, 类似于 RDBMS ( 关系数据库管理系统 : Relational Database Management System) 中的表格集合存在于数据库中, 集合没有固定的结构, 这意味着你在对集合可以插入不同格式和类型的数据, 但通常情况下我们插入集合的数据都会有一定的关联性比如, 我们可以将以下不同数据结构的文档插入到集合中 : {"site":" { site : dblab.xmu.edu.cn, name : 厦门大学数据库实验室 "} {"site":" 菜鸟教程 ","num":5}

54 5.7.2 MongoDB 概念解析 MongoDB 数据类型数据类型 String 描述字符串存储数据常用的数据类型在 MongoDB 中,UTF-8 编码的字符串才是合法的 Integer 整型数值用于存储数值根据你所采用的服务器, 可分为 32 位或 64 位 Boolean 布尔值用于存储布尔值 ( 真 / 假 ) Double Min/Max keys Arrays Timestamp Object Null Symbol Date 双精度浮点值用于存储浮点值将一个值与 BSON( 二进制的 JSON) 元素的最低值和最高值相对比用于将数组或列表或多个值存储为一个键时间戳记录文档修改或添加的具体时间用于内嵌文档用于创建空值符号该数据类型基本上等同于字符串类型, 但不同的是, 它一般用于采用特殊符号类型的语言日期时间用 UNIX 时间格式来存储当前日期或时间你可以指定自己的日期时间 : 创建 Date 对象, 传入年月日信息 Object ID 对象 ID 用于创建文档的 ID Binary Data Code 二进制数据用于存储二进制数据代码类型用于在文档中存储 JavaScript 代码 Regular expression 正则表达式类型用于存储正则表达式大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

55 5.7.3 安装 MongoDB Window 平台安装 MongoDB MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包, 你可以从 MongoDB 官网下载安装,MongoDB 预编译二进制包下载地址 : 注意 : 在 MongoDB2.2 版本后已经不再支持 Windows XP 系统 Linux 平台安装 MongoDB MongoDB 提供了 linux 平台上 32 位和 64 位的安装包, 你可以在官网下载安装包下载地址 : 启动 MongoDB 服务只需要在 MongoDB 安装目录的 bin 目录下执行 'mongod' 即可

56 5.7.4 访问 MongoDB 使用 MongoDB shell 访问 MongoDB 使用 Java 程序访问 MongoDB

57 使用 MongoDB shell 访问 MongoDB 使用 MongoDB shell 来连接 MongoDB 服务器 mongodb://localhost 使用用户名和密码连接登陆到指定数据库 : mongodb://admin:123456@localhost/test

58 使用 MongoDB shell 访问 MongoDB MongoDB 创建数据库 MongoDB 创建数据库的语法格式如下 : use DATABASE_NAME 如果数据库不存在, 则创建数据库, 否则切换到指定数据库如果你想查看所有数据库, 可以使用 show dbs 命令创建集合 MongoDB 没有单独创建集合名的 shell 命令, 在插入数据的时候, MongoDB 会自动创建对应的集合

59 使用 MongoDB shell 访问 MongoDB MongoDB 插入文档文档的数据结构和 JSON 基本一样所有存储在集合中的数据都是 BSON 格式 BSON 是一种类 JSON 的一种二进制形式的存储格式, 简称 Binary JSON MongoDB 使用 insert() 或 save() 方法向集合中插入文档, 语法如下 : db.collection_name.insert(document) 实例 >db.col.insert({title: 'MongoDB 教程 ', description: 'MongoDB 是一个 Nosql 数据库 ', by: 厦门大学数据库实验室 ', url: ' tags: ['mongodb', 'database', 'NoSQL'], likes: 100 })

60 使用 Java 程序访问 MongoDB MongoDB Java 环境配置在 Java 程序中如果要使用 MongoDB, 需要确保已经安装了 Java 环境及 MongoDB JDBC 驱动首先必须下载 mongo jar 包, 下载地址 : 请确保下载最新版本需要将 mongo.jar 包含在你的 classpath 中

61 使用 Java 程序访问 MongoDB (1) 连接数据库 import com.mongodb.mongoclient; // 这里省略其他需要导入的包 public class MongoDBJDBC{ public static void main( String args[] ){ try{ // 连接到 mongodb 服务 MongoClient mongoclient = new MongoClient( "localhost", ); // 连接到数据库 DB db = mongoclient.getdb( "test" ); System.out.println("Connect to database successfully"); boolean auth = db.authenticate(myusername, mypassword); System.out.println("Authentication: "+auth); }catch(exception e){ System.err.println( e.getclass().getname() + ": " + e.getmessage() ); } } }

62 使用 Java 程序访问 MongoDB (2) 创建集合可以使用 com.mongodb.db 类中的 createcollection() 来创建集合 public class MongoDBJDBC{ public static void main( String args[] ){ try{ // 连接到 mongodb 服务 MongoClient mongoclient = new MongoClient( "localhost", ); // 连接到数据库 DB db = mongoclient.getdb( "test" ); System.out.println("Connect to database successfully"); boolean auth = db.authenticate(myusername, mypassword); System.out.println("Authentication: "+auth); DBCollection coll = db.createcollection("mycol"); System.out.println("Collection created successfully"); }catch(exception e){ System.err.println( e.getclass().getname() + ": " + e.getmessage() ); } } }

63 使用 Java 程序访问 MongoDB (3) 插入文档可以使用 com.mongodb.dbcollection 类的 insert() 方法来插入一个文档 public class MongoDBJDBC{ public static void main( String args[] ){ try{ // 连接到 mongodb 服务 MongoClient mongoclient = new MongoClient( "localhost", ); // 连接到数据库 DB db = mongoclient.getdb( "test" ); System.out.println("Connect to database successfully"); boolean auth = db.authenticate(myusername, mypassword); System.out.println("Authentication: "+auth); DBCollection coll = db.getcollection("mycol"); System.out.println("Collection mycol selected successfully"); BasicDBObject doc = new BasicDBObject("title", "MongoDB"). append("description", "database"). append("likes", 100). append("url", " append("by", "w3cschool.cc"); coll.insert(doc); System.out.println("Document inserted successfully"); }catch(exception e){ System.err.println( e.getclass().getname() + ": " + e.getmessage() ); } 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

64 本章小结本章介绍了 NoSQL 数据库的相关知识 NoSQL 数据库较好地满足了大数据时代的各种非结构化数据的存储需求, 开始得到越来越广泛的应用但是, 需要指出的是, 传统的关系数据库和 NoSQL 数据库各有所长, 彼此都有各自的市场空间, 不存在一方完全取代另一方的问题, 在很长的一段时期内, 二者都会共同存在, 满足不同应用的差异化需求 NoSQL 数据库主要包括键值数据库列族数据库文档型数据库和图形数据库等四种类型, 不同产品都有各自的应用场合 CAP BASE 和最终一致性是 NoSQL 数据库的三大理论基石, 是理解 NoSQL 数据库的基础介绍了融合传统关系数据库和 NoSQL 优点的 NewSQL 数据库本章最后介绍了具有代表性的 NoSQL 数据库文档数据库 MongoDB 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.

cn/linziyu 数据库实验室网站 :http://dblab.xmu.edu.

65 附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 扫一扫访问个人主页林子雨, 男,1978 年出生, 博士 ( 毕业于北京大学 ), 现为厦门大学计算机科学系助理教授 ( 讲师 ), 曾任厦门大学信息科学与技术学院院长助理晋江市发展和改革局副局长中国计算机学会数据库专业委员会委员, 中国计算机学会信息系统专业委员会委员, 荣获 2016 中国大数据创新百人称号中国高校首个数字教师提出者和建设者, 厦门大学数据库实验室负责人, 厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013 年度厦门大学奖教金获得者主要研究方向为数据库数据仓库数据挖掘大数据云计算和物联网, 并以第一作者身份在软件学报计算机学报和计算机研究与发展等国家重点期刊以及国际学术会议上发表多篇学术论文作为项目负责人主持的科研项目包括 1 项国家自然科学青年基金项目 (No ) 1 项福建省自然科学青年基金项目 (No.2013J05099) 和 1 项中央高校基本科研业务费项目 (No ), 同时, 作为课题负责人完成了国家发改委城市信息化重大课题国家物联网重大应用示范工程区域试点泉州市工作方案 2015 泉州市互联网经济调研等课题中国高校首个数字教师提出者和建设者,2009 年至今, 数字教师大平台累计向网络免费发布超过 100 万字高价值的研究和教学资料, 累计网络访问量超过 100 万次打造了中国高校大数据教学知名品牌, 编著出版了中国高校第一本系统介绍大数据知识的专业教材大数据技术原理与应用, 并成为京东当当网等网店畅销书籍 ; 建设了国内高校首个大数据课程公共服务平台, 为教师教学和学生学习大数据课程提供全方位一站式服务, 年访问量超过 50 万次具有丰富的政府和企业信息化培训经验, 厦门大学管理学院 EDP 中心浙江大学管理学院 EDP 中心厦门大学继续教育学院泉州市科技培训中心特邀培训讲师, 曾给中国移动通信集团公司福州马尾区政府福建龙岩卷烟厂福建省物联网科学研究院石狮市物流协会厦门市物流协会浙江省中小企业家四川泸州企业家江苏沛县企业家等开展信息化培训, 累计培训人数达 3000 人以上

附录 : 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著,

分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算

安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材,

66 附录 : 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著, 是中国高校第一本系统介绍大数据知识的专业教材扫一扫访问教材官网全书共有 15 章, 系统地论述了大数据的基本概念大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算数据可视化以及大数据在互联网生物医学和物流等各个领域的应用在 Hadoop HDFS HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材, 也可供相关技术人员参考学习培训之用欢迎访问大数据技术原理与应用概念存储处理分析与应用教材官方网站 :

67 附录 : 中国高校大数据课程公共服务平台扫一扫访问平台主页扫一扫观看 3 分钟 FLASH 动画宣传片

68 Department of Computer Science, Xiamen University, 2017 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

大数据技术原理与应用

大数据技术原理与应用厦门大学计算机科学系厦门大学计算机科学系林子雨 2015 年版 ziyulin@xmu.edu.cn 大数据技术原理与应用 http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 5 章 NoSQL 数据库 (PPT 版本号 :2015 年 6 月第 1.0 版 ) 林子雨厦门大学计算机科学系