PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

熊即路
5 years ago
Views:

2 Tachyon 存储系统的基本原理以及与 Spark 的结合使用顾荣南京大学 PASA 大数据实验室 Roadshow(China)

3 内容 Tachyon 基本原理与实现 Tachyon 与 Spark 的结合使用应用案例分析 3

4 什么是 Tachyon Tachyon /'tæki:ɔn/ 是以内存为中心的分布式文件系统, 拥有高性能和容错能力, 能够为集群框架 ( 如 Spark MapReduce) 提供可靠的内存级速度的文件共享服务 4

5 Tachyon 的飞速发展已成立商业公司 Tachyon Nexus Founded by Tachyon creators and top committers led by Haoyuan Li. $7.5 million Series A by Andreessen Horowitz 活跃的开源社区 Oct, contributors commits 5

6 Tachyon 的系统架构 Client-Server 模式 + Master-Slave 模式 Server 端 Master: 管理所有元数据日志以及系统状态 Worker: 管理所有本地存储 (MEM SSD HDD) Client 端 Client: 向应用提供文件级接口 1 从 Master 获取元数据 2 从 Worker 获取文件内容 3 或从 UFS 获取文件内容 UFS(Under File System) 底层文件系统 Worker1 Local Store node 1 Master Worker2 Local Store node 2 Under File System Client Worker3 Local Store node 3 6

7 Tachyon 的文件组织元数据组织为 Inode Tree File0 File1 Block0 Block1 Block2 Block3 Block4 Block5 Block6 Block7 Block8 Block9 / Worker1's memory Dir0/ Dir1/ name : File1 List<BlockInfo> : Block0, Block1,... checkpointpath : hdfs://xxx:yyy/zzz... Block0 Block1 Block2 Block3 Block4 Block5 Block9 File0 Dir2/ File1 Worker2's memory Block4 Block5 Block6 Block7 Block8 Block9 Block1 Block2 文件数据按块划分 File0 Under File System File1 7

8 Tachyon 的分层存储层次化存储更具可扩展性, 更好地支持非易失性存储高效的分配 / 替换策略以获得更好的性能可配置的分配策略 Greedy Max Free Round Robin 可配置的替换策略 Greedy LRU Partial LRU LRFU Mem SSD HDD... 8

9 Tachyon 的容错能力系统容错 Master 支持使用 ZooKeeper 容错 Master 使用心跳监控 Worker 状态数据容错文件按块管理, 同一块可能有多个副本使用底层文件系统 (UFS) 备份文件数据记录文件之间的血统关系 (Lineage) 9

10 内容 Tachyon 基本原理与实现 Tachyon 与 Spark 的结合使用应用案例分析 10

11 使用 Tachyon 的优势在不同的 Job 甚至计算框架间快速共享数据不同的 Spark Job Spark 和 MapReduce Job 其他计算框架避免 Crash 导致的数据丢失 Tachyon 提供容错无需重算 RDD 减少 Java GC 的开销 Tachyon 使用 Linux RamFS 文件数据不在 JVM 中 11

12 如何使用 Tachyon 原生 API 不同粒度的 API tachyon.client.file.tachyonfilesystem 文件级 API create delete exist rename getfileinputstream getfileoutputstream tachyon.client.block.tachyonblockstore 数据块级 API cacheblock getblockinfo 不同的读写类型 TachyonStorageType NO_STORE 不缓存在本地 STORE 缓存在本地存储 PROMOTE 缓存在本地内存 UnderStorageType NO_PERSIST 不写入 UFS SYNC_PERSIST 同步写入 UFS ASYNC_PERSIST 异步写入 UFS 12

13 如何使用 Tachyon HDFS 兼容对于原先在 HDFS 上的数据, 不用重新迁移无需改动源码 java examples.jar WordCount hdfs://host:port/input hdfs://host:port/output java examples.jar WordCount tachyon://host:port/input tachyon://host:port/output 13

14 如何使用 Tachyon 命令行 $ bin/tachyon tfs [command] 基本文件操作 copyfromlocal copytolocal ls mv rm mkdir touch Tachyon 系统相关操作 getusedbytes getcapacitybytes loadufs pin unpin 14

15 在 Spark 中使用 Tachyon Spark 已绑定对应的 Tachyon 版本 Spark-1.0 Tachyon thrift Spark-1.1/1.2/1.3 Tachyon Spark-1.4 Tachyon Spark-1.5 Tachyon Spark 中与 Tachyon 相关的配置项 spark.externalblockstore.blockmanager 默认为 org.apache.spark.storage.tachyonblockmanager, 即使用 Tachyon 作为 RDD 外部存储空间 spark.externalblockstore.url 默认为 tachyon://localhost:19998, 对应 Tachyon 的访问路径 15

16 在 Spark 中使用 Tachyon 使用 Tachyon 存放输入输出文件 1 2 添加配置项 <fs.tachyon.impl, tachyon.hadoop.tfs> 在 Spark 配置文件中添加或在源码的 SparkConf 中添加使用 tachyon://host:port/path-to-file 作为文件路径如, 替换原有的 hdfs://, s3://, glusterfs://, val s = sc.textfile("tachyon://localhost:19998/x") s.saveastextfile("tachyon://localhost:19998/y") 使用 RDD 的 OFF_HEAP 持久化 rdd.persist(storagelevel.off_heap) 将 RDD 持久化到 Tachyon 上与 rdd.cache 不同,persist 不会占用 Spark 的内存 16

17 示例 :WordCount // A Demo of WordCount object Demo { def main(args: Array[String]) { // 添加配置信息 val conf = new SparkConf().setAppName("Demo") conf.set("fs.tachyon.impl", "tachyon.hadoop.tfs") val sc = new SparkContext(conf) // 从 Tachyon 中读入文件 val input = sc.textfile("tachyon://master:19998/inputpath") val stopword = sc.textfile("tachyon://master:19998/stopword") // 将停词信息持久化到 Tachyon stopword.persist(storagelevel.off_heap) val wordpattern = "[a-za-z]+".r // 词频统计 val result = input.mappartitions(iter => { val stopset = stopword.value iter.flatmap(line => { (for(word <- wordpattern.findallmatchin(line) if (!stopset.contains(word.tostring().tolowercase()))) yield (word.tostring().tolowercase(), 1)) }) }).reducebykey(_ + _).top(100)(ordering.by[(string, Int), Int](_._2)).map(t => t._1) // 输出结果 result.saveastextfile("tachyon://master:19998/outputpath"); sc.stop() } } 17

18 内容 Tachyon 基本原理与实现 Tachyon 与 Spark 的结合使用应用案例分析 18

19 百度北美 TB 级日常查询系统 30X Acceleration of our Big Data Analytics Workload ~ 100 nodes in deployment, > 1 PB storage space * 感谢由 Haoyuan Li 和百度 US 工程师 Shaoshan Liu 提供的一些数据和相关 slides;

20 Baidu US 即席查询系统架构 Product Group 1 Product Group 2 Query UI Product Group 3 Sample Query Sequence: SELECT event_query, COUNT(event_query) as cnt FROM data_warehouse WHERE event_day=" AND event_action="query_click" GROUP BY event_query ORDER BY cnt DESC Query Engine Data Warehouse SELECT event_province, COUNT(event_query) as cnt FROM data_warehouse WHERE event_day=" AND event_action= query_click AND event_query= baidu stock" GROUP BY event_province ORDER BY cnt DESC

21 从 Hive 迁移至 Spark SQL Hive on MR Hive Map Reduce 4X Improvement but not good enough! Spark SQL Compute Center Data Center Data Warehouse BFS

22 如何进一步提升性能? 问题 : 数据节点和计算节点可能不在同一个数据中心, 因此数据存取的延时比较长这会导致即席查询的应用的性能急剧下降解决方案 : 采用 Tachyon 作为一个对用户透明的缓存层 Cold query: 从远处数据节点读取数据 Warm\hot query: 直接从 Tachyon 上读取数据在百度最初有 50 个节点部署了 Spark 和 Tachyon 主要提供 Spark SQL ad-hoc queries 服务采用 Tachyon 作为透明缓存层

23 具有 Cache 层的交互式查询引擎 Query UI Operation Manager 接受来自 UI 的查询 ; 采用 Spark SQL 进行查询解析和优化 ; 检测需要的数据是否在 cache 中, 如果是则直接从 Tachyon 中读, 否则启动一个 Spark 作业从 Data Warehouse 中读取数据 ; 管理 view 的 metadata 接受来自 operation manager 的请求 : 如果 cache miss, 那么就通过从 data warehouse 读取数据并写入到 Tachyon 来建立新的 view. View Manager Spark Cache Meta Tachyon Data Warehouse View cache: 以视图为单位进行缓存, 而不以原始数据块为单位缓存 View 结构 :<table name, partition key, attributes, data> 采用基于 HDFS 的解决方案存储所有的原始数据 ;

24 Query: Check Cache Query UI Operation Manager View Manager Cache Meta Spark Tachyon Data Warehouse

25 Hot Query: Cache Hit Query UI Operation Manager View Manager Cache Meta Spark Tachyon Data Warehouse

26 Cold Query: Cache Miss Query UI Operation Manager View Manager Cache Meta Spark Tachyon Data Warehouse

27 示例 SELECT a.key * (2 + 3), b.value FROM T a JOIN T b ON a.key=b.key AND a.key>3 == Physical Plan == Project [(CAST(key#27, DoubleType) * 5.0) AS c_0#24,value#30] BroadcastHashJoin [key#27], [key#29], BuildLeft Filter (CAST(key#27, DoubleType) > 3.0) HiveTableScan [key#27], (MetastoreRelation default, T, Some(a)), None HiveTableScan [key#29,value#30], (MetastoreRelation default, T, Some(b)), None 一旦我们得到了 Spark SQL 的 physical plan, 我们解析其中的 HiveTableScan 部分, 然而决定确定查询所需要的视图是否在 Cache 中 ; Cache Hit: directly pull data from Tachyon Cache Miss: get data from remote data storage

28 Compute Center 性能提升的情况 Spark Task Spark mem block 1 block 2 block 3 block 4 Tachyon HDFS in-memory disk Spark Task Spark mem Read from remote data center: ~ 100 ~ 150 seconds Read from Tachyon remote node: 10 ~ 15 sec Read from Tachyon local node: ~ 5 sec Tachyon Brings 30X Speed-up! Data Center Baidu File System (BFS)

29 总体性能对比 MR (sec) Spark (sec) Spark + Tachyon (sec) Cases: 1. 采用 MR 查询 6 TB 的数据 ; 2. 采用 Spark 查询 6 TB 的数据 ; 3. 采用 Spark + Tachyon 查询 6 TB 的数据 ; Results: 1. Spark + Tachyon 相比于原先的 MR 提升了 50-fold 的性能

30 其他应用案例某 SAAS 公司计算框架 :Impala 底层存储 :S3 Tachyon 使用的存储 :MEM + SSD 15X 的性能提升某 SAAS 公司计算框架 :Spark 底层存储 :S3 Tachyon 使用的存储 :SSD 弹性部署 Tachyon 某石油公司计算框架 :Spark 底层存储 :GlusterFS Tachyon 使用的存储 :MEM 完成数据分析工作 * 感谢由 Haoyuan Li 提供的数据 30

31 Thanks. 欢迎关注我们的 Tachyon 中文博客! 微博 : 南京大学 _ 顾荣 31

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示

完整的大数据解決方案 ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone Mesos Mesos Spark Streaming Hive Hadoop