奇虎360正式开源深度学习调度平台XLearning

Size: px

Start display at page:

Download "奇虎360正式开源深度学习调度平台XLearning"

郁单他郜
6 years ago
Views:

本文系奇虎 360 系统部相关工程师投稿近两年人工智能技术发展迅速, 以 Google 开源的 TensorFlow 为代表的各种深度学习框架层出不穷为了方便算法工程师使用各类深度学习技术, 减少繁杂的诸如运行环境部署运维等工作, 提升 GPU 等硬件资源利用率, 节省硬件投入成本, 奇虎 360 系统部大数据团队与人工智能研究院联合开发了深度学习调度平台 XLearning

1 本文系奇虎 360 系统部相关工程师投稿近两年人工智能技术发展迅速, 以 Google 开源的 TensorFlow 为代表的各种深度学习框架层出不穷为了方便算法工程师使用各类深度学习技术, 减少繁杂的诸如运行环境部署运维等工作, 提升 GPU 等硬件资源利用率, 节省硬件投入成本, 奇虎 360 系统部大数据团队与人工智能研究院联合开发了深度学习调度平台 XLearning XLearning 平台将大数据与深度学习相融合, 基于 Hadoop Yarn 完成了对 TensorFlow MXNet C affe Theano PyTorch Keras XGBoost 等常用深度学习框架的集成, 是典型的 AI on Hadoo p 的实现 XLearning 从今年 (2017)4 月份正式开发上线运行, 经多次版本迭代更新, 为各学习框架的使用者提供了统一稳定的调度平台, 实现了资源共享, 极大的提高了资源利用率, 并且具有良好的扩展性和兼容性目前已经在公司搜索人工智能研究院商业化数据中心等业务部门广泛使用 XLearning 项目开源地址 : GitHub 地址 Gitee 地址 [email protected] 加入 QQ 群 : XLearning 架构 1 / 5

XLearning 功能特性 XLearning 虽然架构简洁, 但具有丰富的功能方便用户进行模型训练, 并依托于 Yarn 提供有作业资源的统一管理支持多种深度学习框架 XLearning 支持 TensorFlow MXNet

2 Client:XLearning 客户端, 负责启动作业及获取作业执行状态 ; ApplicationMaster(AM) : 负责输入数据分片启动及管理 Container 执行日志保存等 ; Container: 作业的实际执行者, 负责启动 Worker 或 PS(Parameter Server) 进程, 监控并向 AM 汇报进程状态, 上传作业的输出等对于 TensorFlow 类型作业, 还负责启动 Tens orboard 服务 XLearning 功能特性 XLearning 虽然架构简洁, 但具有丰富的功能方便用户进行模型训练, 并依托于 Yarn 提供有作业资源的统一管理支持多种深度学习框架 XLearning 支持 TensorFlow MXNet 分布式和单机模式, 支持所有的单机模式的深度学习框架, 如 Caffe Theano PyTorch 等对于同一个深度学习框架支持多版本和自定义版本, 满足用户个性化需求, 不受限于集群机器上各学习框架的安装版本基于 HDFS 的统一数据管理 2 / 5

XLearning 提供多种模式用于数据的输入输出, 包括数据的流式读写直接 HDFS 读写等, 可根据作业处理的数据量与集群机器硬盘容量, 视情况决定所采用的读写方式可视化界面为方便用户查看作业信息,XLearning 提供可视化界面用于展示作业执行进度和输出日志等内容作业执行完毕后, 亦可查看日志内容, 便于分析训练过程进展对于 TensorFlow 类型作业, 支持

3 XLearning 提供多种模式用于数据的输入输出, 包括数据的流式读写直接 HDFS 读写等, 可根据作业处理的数据量与集群机器硬盘容量, 视情况决定所采用的读写方式可视化界面为方便用户查看作业信息,XLearning 提供可视化界面用于展示作业执行进度和输出日志等内容作业执行完毕后, 亦可查看日志内容, 便于分析训练过程进展对于 TensorFlow 类型作业, 支持 TensorBoard 服务作业运行界面大致分为三部分 ( 如下图所示 ): All Containers: 显示当前作业所含 Container 列表及各 Container 对应信息, 如 Contianer ID 所在机器 (Container Host) 所属类型 (Container Role) 当前执行状态 (Container Status) 开始时间 (Start Time) 结束时间 (Finish Time) 执行进度 (Reporter Progress); View TensorBoard : 当作业类型为 TensorFlow 时, 可点击该链接直接跳转至 TensorBoard 页面 ; Save Model : 用户可在作业执行过程中, 可以将当前训练模型的输出结果上传至 HDFS, 并显示目前已上传的模型列表原生代码兼容 XLearning 支持 TensorFlow 分布式模式的 ClusterSpec 自动分配构建, 单机模式和其他深度学习框架代码不用做任何修改即可迁移到 XLearning 上, 便于用户快速使用 Checkpoint 功能利用深度学习框架本身的 Checkpoint 机制和直接读写 HDFS 数据功能,XLearning 方便用户实现训练恢复继续执行 XLearning 开源版本环境依赖简单, 可直接运行于社区 Hadoop 版本, 使用方便, 入门学习成本极低公司的 Yarn 版本是我们在社区版本上做了不少增强, 比如支持 GPU 的资源调度 GPU 通信亲和性的感知 DockerContainer 支持等依赖于这些特性公司在用的版本多出了 GPU 资源调度支 3 / 5

4 持作业 Docker 化临时 GPU 虚拟机 Container Metrics 可视化图表展示等功能这些功能我们后续会通过提供 Yarn Patch 或者开源自用 Yarn 版本来分享给大家, 也欢迎大家随时跟我们沟通快速入门在 XLearning 客户端, 使用 $XLEARNING_HOME/bin/xl-submit 提交脚本将作业提交至 Yarn 集群以 TensorFlow 作业提交为例 : 上传训练数据至 hdfs 路径将发布包解压后的 data 文件夹上传至 hdfs, 如 : cd $XLEARNING_HOME hadoop fs -put data /tmp/ 提交运行 cd $XLEARNING_HOME/examples/tensorflow $XLEARNING_HOME/bin/xl-submit \ --app-type "tensorflow" \ --app-name "tf-demo" \ --input /tmp/data/tensorflow#data \ --output /tmp/tensorflow_model#model \ --files demo.py,datadeal.py \ --launch-cmd "python demo.py --data_path=./data --save_path=./model --log_dir=./eventlog - -training_epochs=10" \ --worker-memory 10G \ --worker-num 2 \ --worker-cores 3 \ --ps-memory 1G \ --ps-num 1 \ --ps-cores 2 提交脚本各参数含义如下 : 参数名称 app-name 含义作业名称为 "tf-demo" 4 / 5

5 Powered by TCPDF ( 参数名称 app-type input output files launch-cmd worker-memory 含义作业类型为 "tensorflow" 输入文件,HDFS 路径 :/tmp/data/tensorflow, 对应本地路径./data 输出文件,HDFS 路径 :/tmp/tensorflow_mod el, 对应本地路径./model 需要传给各 container 的本地文件, 包括 demo.py datadeal.py 训练执行命令 worker 内存使用为 10G worker-num worker 数目为 2 worker-cores worker 使用 CPU 核数为 3 ps-memory parameterserver 内存使用为 1G ps-num parameterserver 数目为 1 ps-cores parameterserver 使用 CPU 核数为 2 更多相关参数详细说明请见运行提交参数部分本博客文章除特别声明, 全部都是原创! 转载本文请加上 : 转载自过往记忆 ( 本文链接 : () 5 / 5

深度学习 + 大数据 TensorFlow on Yarn 李远策 2017 年 4 月 17 日

深度学习 + 大数据 TensorFlow on Yarn 李远策 2017 年 4 月 17 日内容大纲 Ø TensorFlow 使用现状及痛点 Ø TensorFlow on Yarn 设计 Ø TensorFlow on Yarn 技术细节揭秘 Ø 深度学习平台演进及 SparkFlow 介绍背景坐标 :360- 系统部 - 数据团队专业 :Yarn Spark MR HDFS 挑战