深度学习 + 大数据 TensorFlow on Yarn 李远策 2017 年 4 月 17 日

Size: px

Start display at page:

Download "深度学习 + 大数据 TensorFlow on Yarn 李远策 2017 年 4 月 17 日"

麻璩
4 years ago
Views:

1 深度学习 + 大数据 TensorFlow on Yarn 李远策 2017 年 4 月 17 日

2 内容大纲 Ø TensorFlow 使用现状及痛点 Ø TensorFlow on Yarn 设计 Ø TensorFlow on Yarn 技术细节揭秘 Ø 深度学习平台演进及 SparkFlow 介绍

3 背景坐标 :360- 系统部 - 数据团队专业 :Yarn Spark MR HDFS 挑战 : 深度学习空前爆, 各种深度学习框架层出不穷, 业务部门拥抱新兴技术平台怎么应对? 机遇 :Maybe 深度学习 + 数据

4 TensorFlow 使用现状及痛点场景 (1) 场景 (2)

5 TensorFlow 使用现状及痛点分布式版本 ClusterSpec 定义 :!.train.clusterspec({ worker : [ worker0.example.com:2222, worker1.example.com:2222, worker2.example.com:2222 ], ps : [ ps0.example.com:2222, ps1.example.com:2222 ]}) 带来的问题 : 动指定机器很繁琐端冲突机器负载不均

6 TensorFlow 使用现状及痛点动分发训练样本动拉取训练模型

7 TensorFlow 使用现状及痛点总结 : 多多服务器使用混乱, 计算资源如何划分? 没有 GPUs 集群资源管理和调度 ( 内存 CPU GPU 端 ), 集群资源负载不均训练数据动分发, 训练模型动保存进程遗留问题, 需要动杀死缺乏作业统管理, 不便对作业运状态跟踪日志查看不便

8 TensorFlow 使用现状及痛点 Yarn 能解决什么问题 : 集群资源的管理 ( 目前支持 CPU 内存, 需要扩展 GPU 资源管理 ) 作业的统管理状态跟踪资源组 (Schedule Pool) 的划分作业进程的资源隔离

9 TensorFlow on Yarn 设计基本目标 : 同时支持单机和分布式 TensorFlow 程序支持 GPU 资源管理和调度不再需要动配置 CluserSpec 信息, 仅需要设置 work 和 ps 的数量训练数据和训练模型基于 HDFS 统存储作业训练结束自动回收 work ps 和 Tensorboard 进程训练效果和性能没有损失

10 TensorFlow on Yarn 设计扩展目标 : 支持 GPU 亲和性调度 ( 提通信效率 ) Web 的式查看作业的运状况和作业日志在线查看 Tensorboard HistoryServer 支持查看结束作业的日志和状态信息控制已有的 TensorFlow 作业的迁移成本 ( 最多改三代码 )

11 TensorFlow on Yarn 设计提交脚本示例 ( 分布式版本 ): tensorflow-submit \ --app-name tfdemo \# 作业名 --files tftestdemo.py,datadeal.py \ # 依赖的本地件 --tfcmd python tftestdemo.py --training_epochs=20 \ #TF 运指令 --input /home/xitong/tf-test/data \# 训练样本 HDFS 路径 --output /home/xitong/tf-test/outputtest \ # 保存模型的 HDFS 路径 --worker-num 3 \ #work 数量 --worker-memory 8192M \ # 每个 worker 需要的内存 --worker-cores 1 \ # 每个 worker 需要的 CPU 核数 --worker-gpus 2 \ # 每个 worker 需要的 GPU 卡数 --ps-num 2 \ #ps 数量 --ps-memory 1024M \ # 每个 ps 需要的内存 --ps-cores 1 \ # 每个 ps 需要的 CPU 核数 --priority VERY_LOW \ # 作业优先级 --board-enable true \ # 是否开启 Tensorboard 服务 --conf tf.file.download.thread.nums=10 # 其他参数设置

12 TensorFlow on Yarn 设计 Yarn 首页作业信息 : 集群 GPU 资源概况作业类型作业分配到的 GPU 数量

13 TensorFlow on Yarn 设计 TensorFlow 作业 AM 页面 : 查看 work ps 日志 Container 所在的机器分配到的 GPU 物理设备号 Container 角 tensorboard url 链接 Container 当前状态训练中保存的中间模型

14 TensorFlow on Yarn 设计 TensorFlow 作业 Tensorboard 页面 :

15 TensorFlow on Yarn 设计 TensorFlow 作业 history 页面 : 查看历史日志 Event log 上传到了 HDFS

16 TensorFlow on Yarn 技术细节揭秘实现 Yarn Application 的标准流程 :

17 TensorFlow on Yarn 技术细节揭秘集成 TensorFlow 到 Yarn 面临的特定问题 : 如何自组织 ClusterSpec 信息训练数据的划分如何启动 Tensorboard 服务如何降低迁移成本已分配的物理 GPU 设备号到用户态 GPU 设备号的映射

18 TensorFlow on Yarn 技术细节揭秘自动构建 ClusterSpec 的流程图 :

19 TensorFlow on Yarn 技术细节揭秘训练数据的划分 :

20 TensorFlow on Yarn 技术细节揭秘启动 Tensorboard 服务 :

21 TensorFlow on Yarn 技术细节揭秘降低已有 tensorflow 程序迁移成本 : (1) 单机模式不需要修改代码 (2) 分布式模式 ( 最多修改三行代码 ) cluster =!.train.clusterspec(json.loads(os.environ[ TF_CLUSTER_DEF ])) job_name = os.environ[ TF_ROLE ] task_index = int(os.environ["tf_index"])

22 TensorFlow on Yarn 技术细节揭秘已分配的物理 GPU 设备号到用户态 GPU 设备号的映射 :

23 TensorFlow on Yarn 技术细节揭秘 TensorFlow on Yarn 系统架构图 :

24 TensorFlow on Yarn 技术细节揭秘 Yarn 支持 CPU 调度 vs GPU 调度 : CPU 每个 NodeManager 配置可用 CPU 核心数量 ResourceManager 统计计数并按数量分配作业必须占用 CPU 资源系统自动分配物理 CPU 核心设备亲和性影响较小 GPU 每个 NodeManager 配置可用 GPU 卡数量 ResourceManager 统计计数并按数量分配作业可以不需要 GPU 资源需要知道具体 GPU 卡号, 代码分配计算任务到指定 GPU 设备设备亲和性影响较大

25 TensorFlow on Yarn 技术细节揭秘 Yarn 支持 GPU 调度 ResourceManager 端实现 : 扩展 org.apache.hadoop.yarn.api.records.resource 抽象类及其实现, 增加 : public abstract int getgpucores(); public abstract void setgpucores(int gcores); 最终在 ResourceManager 端需要完成 : 1 对 NodeManager GPU 卡数量的统计管理 2 调度器统计管理每个 Pool 的 GPU 设备数的分配情况具体可以参考下面 Patch 的实现思路 :

26 TensorFlow on Yarn 技术细节揭秘 Yarn 支持 GPU 调度 NodeManager 端实现 : NodeManager yarn-site.xml 中添加配置 :  <property> <name>yarn.nodemanager.resource.gpu-cores</name> <value>((2,2))</value> </property> NodeManager 上可用的 GPU 卡数是 : = 4  <property> <name>yarn.nodemanager.resource.gpu-cores</name> <value>((2,2),(2,2))</value> </property> NodeManager 上可用的 GPU 卡数是 : = 8

27 TensorFlow on Yarn 技术细节揭秘 NodeManager 端 GPU 亲和性调度 : 后序递归深度优先分配算法

28 深度学习平台演进

29 SparkFlow 介绍 SparkFlow:360 系统部数据团队设计的 TensorFlow on Spark 解决案 Coordinator 负责协调生成 ClusterSpec( 扩展的 TensorFlow grpc server) Worker 通过读取 RDD 获取训练样本 RDD 的数据 cache 到内存或者磁盘供多次迭代训练使用

30 SparkFlow 介绍 SparkFlow 与 TensorFlow on Yarn 对比 : SparkFlow 通过 RDD 读取训练样本数据, 关心文件存储格式 Worker 和 PS 的资源同构不支持 GPU 调度迁移成本较高嵌入到 Spark 计算框架里, 方便打通数据流代码量几百行 TensorFlow on Yarn 直接读取 HDFS 数据, 不关心文件存储格式 Worker 和 PS 可以各自配置资源支持 GPU 调度迁移成本低实现了一种新的 Yarn Applica\on, 可以与 TensorFlow 灵活整合和功能定制代码量几千行

31 About Me <card> <name> Yuance.Li </name> <phone> </phone> < > gmail.com} </ > </card>

32 谢谢!

奇虎360正式开源深度学习调度平台XLearning

奇虎360正式开源深度学习调度平台XLearning 本文系奇虎 360 系统部相关工程师投稿近两年人工智能技术发展迅速, 以 Google 开源的 TensorFlow 为代表的各种深度学习框架层出不穷为了方便算法工程师使用各类深度学习技术, 减少繁杂的诸如运行环境部署运维等工作, 提升 GPU 等硬件资源利用率, 节省硬件投入成本, 奇虎 360 系统部大数据团队与人工智能研究院联合开发了深度学习调度平台 XLearning XLearning