( 计 算 机 学 报 年 /4, %718 4,&%4564 &:'#/,4 / ,%7 %+8-8&, 7%4+6, 1 / &,8-/ -4 %+8-,8,;-&- : 68-,&: / 1 9 &%8+ %7+ & -%4, 1 +, :%4% , 1

Transcription

1 第 卷 第 期 年 月 计 算 机 学 报!" # $%&' %' ' 深度神经网络并行化研究综述 朱虎明 李 佩 焦李成 杨淑媛 侯 彪 西安电子科技大学智能感知与图像理解教育部重点实验室 西安 西安电子科技大学智能感知与计算国际联合研究中心 西安 西安电子科技大学智能感知与计算国际合作联合实验室 西安 摘 要 神经网络是人工智能领域的核心研究内容之一 ' 在七十年的发展历史中 神经网络经历了从浅层神经网络到深度神经网络的重要变革 ' 深度神经网络通过增加模型深度来提高其特征提取和数据拟合的能力 在自然语言处理 自动驾驶 图像分析等问题上相较浅层模型具有显著优势 ' 随着训练数据规模的增加和模型的日趋复杂 深度神经网络的训练成本越来越高 并行化成为增强其应用时效性的重要技术手段 ' 近年来计算平台的硬件架构 更新迭代 计算能力飞速提高 特别是多核众核以及分布式异构计算平台发展迅速 为深度神经网络的并行化提供 了硬件基础 另一方面 日趋丰富的并行编程框架也为计算设备和深度神经网络的并行化架起了桥梁 ' 该文首先介 绍了深度神经网络发展背景和常用的计算模型 然后对多核处理器 众核处理器和异构计算设备分别从功耗 计算 能力 并行算法的开发难度等角度进行对比分析 对并行编程框架分别从支持的编程语言和硬件设备 编程难度等角度进行阐述 ' 然后以 & 0 为例分析了深度神经网络模型并行和数据并行两种方法的实施过程 ' 接下来 从支持硬件 并行接口 并行模式等角度比较了常用的深度神经网络开源软件 并且通过实验比较和分析了卷积神经网络在多核 " 和 " 上的并行性能 ' 最后 对并行深度神经网络的未来发展趋势和面临的挑战进行展望 ' 关键词 深度神经网络 并行计算 异构计算 模型并行 数据并行 中图法分类号 #" 号 '* "' '(''(! 2!-" -- / 3/3, )-,%! " #!$! % $ &!'!# $ $ " '!# $! " '!# $ "#$% 4,&%45-6%%7 / +,- 7- &16%74 6,4 /-,4-7- -,&- &- '/ 8,6 6 9 ::,46 / 1 9 &%8+ %7 4,&%45/, %-+8%4,6,6 6/,&%4,&%45, 118 4,&%45' ,&:% 46 /6/,&%4,& %456 /,9 ; 6 1 % 6%&9 9 4: %+8& 0 84%;& +6'%+8,4 1 - / 6/,&% 4,& %4518 4,&%45/,6%;9-% 6,19,,6-7,40 4,-%, 11,,7- - /-& ;%+-18 4'/ +,/-& 18 4,&%45/,6;-1 &:,88&- 1- +, : :,4,66/,6,4 &,,84%66-,%+, , 1-+,,,&:6-6, 16%% '%9 4 /4,- - %6 %718 4,&%45 4% 6 - / / -4,6- /4,- -1,,6-., 1 %+8& 0- :%7 4,&%45+%1 &6',11- -% 8,4,& &-., -% /,6;%+,66- : %4 1 收稿日期 在线出版日期 ' 本课题得到国家自然科学基金 ( 国家 九七三 重点基础研究发展计划项目基金 ) * 国家自然科学基金重大研究计划 * * 和教育部 长江学者和创新团队发展计划 # 资助 ' 朱虎明 男 * 年生 博士 副教授 中国计算机学会 会员 主要研究方向为高性能计算及其应用和大规模并行机器学习等 ' +,-&./ / ++,-&'0-1-, ' 1 '' 李 佩 女 ** 年生 硕士研究生 主要研究方向为高性能计算 ' 焦李成 男 * * 年出生 博士 教授 博士生导师 &% 中国计算机学会 高级会员 主要研究领域为智能感知 图像理解等 ' 杨淑媛 女 * 年生 博士 教授 博士生导师 主要研究领域为智能信号与图像处理 机器学习等 ' 侯 彪 男 * 年生 博士 教授 博士生导师 主要研究领域为合成孔径雷达图像处理 '

2 ( 计 算 机 学 报 年 /4, %718 4,&%4564 &:'#/,4 / ,%7 %+8-8&, 7%4+6, 1 / &,8-/ -4 %+8-,8,;-&- : 68-,&: / 1 9 &%8+ %7+ & -%4, 1 +, :%4% , % ; 1/ 4%% 6 %+8- / %&% : 84% ,;& /,41,4 4 6% 467%4, & 4, -18 4,&%45' 8,4,& &84% 4,+ +-+%1 &,&% 6 46 %68-7: %78,4,& &-6+ /,% &1,6-&:; +,88 1 % 8,4,& &/,41,4,4 /- 4 6, 1 /, 7, -&-, % %78,4,& &,& %4- /+6' / % / 4 /, 18,4,& &84% 4,++-74,+%4564,8-1&: 9%&9%+/ 8 47%4+, 1 +, 16%7/- / 8 47%4+,%+8- - / %-% 61 9 &%8+ '%+;- -,,884%84-,8,-4%76%7,4, 1 /,41,4, 17 &: 08&%- -7-( 4,-1, 1 %,46 ( 4,-1 8,4,& &-6+ 7% ,& %45, & 4, -%,4//,& -,656'#/-68,8 46,4 6 - /, -4%1 -% %7 4,& %45+%1 &%8 -+-., -%,& %4- /+7%46%&9- %6 7-%/ +%6 8%8 &,4%86% 46%7,4 74,+%45, 14 6,4 /84% ;% /,,1 +-,, :'#/-68,8 4 / /,41,4 8&, 7%4+6, 18,4,& &84% 4,++-+%1 &7%4,88&-, -% 6%718 4,&%45',41,4 6/,6 + & -%4 4,& 84%66- -4,8/- 6 84% , : -4,1 %4 7- &1 84% 4,++,;&,,44,:, 1,88&-, -% , , %+ /4,68 6%78%4 %+8-8%4, 1 /,&6-1 9 &%8-8,4,& &,& %4- /+6'",4,& & 84% 4,++- +%1 &6 /%6 %8 6% 4, 1 %++ 4 -,&-+8& +, -% 6-& 1 % ,4 /- 4 %8 %+8-&,,%8+ & -8& 84% ,8, ,, 1 8,45,4%+8,4 1-84% 4,++-&,,,9,-&,;& /,41,4, 184% 4, & :7%48,4,& &-.- 4,&%45',11- -%/ 84--8& %718 4,&%45+%1 &, 11,,8,4,& &-., -% ; 1, 1/%,6 -%8,4,& &-. & 0-684%9-1 1'#/, %+8,4-6% %7 / 6-0%86% 46%7,4 6:6+7%418 4,&% / 8,4,& &-., -% 6 4, %4 -/,41,4 8,4,& &+%1, 16%% '#/ 6%7,4 6: % 6-1 4, -%,4,7 #6%4&%!0# #%4 /, 1 #/, %' 0/ 6,(%7/ (,4 8,8 46%78,4,& & 4,&%45, , 1+ & - & 9 &8,4,& &+/%167%4 / 4,- -, %66% 1-7 4% ,4 6 ++,4-. 1'",4,& & % 9%&-%,& 4,&%457%4-+, &,66-7-, -% -6-+8& +1;:#6%4&%, 1 / ,4 % & -%4 4,&84%66--, 1 4,8/- 684%66--- / &,66-! #, 1 1,,6 %1 +% 6 4, /, & 4, -%,8,;-&- :' -,&: % 6, 1 /,&6%78,4,& &18 4,&%456, , 1,,&:. 1' &'$ 18 4,&%458,4,& & %+8-/ 4%% 6 %+8-+%1 &8,4,& &-6+ 1,,8,4,& &-6+ 引 言 实现人工智能是人类长期以来一直追求的梦 想 而神经网络是人工智能研究领域的核心之 一 ' 它的发展经历了两个重要阶段 浅层神经网络阶 段和深度神经网络阶段 ' 浅层模型只有一层隐含层 或者没有隐含层节点 理论分析相对成熟 在许多应 用中获得成功 如网页搜索排序和各类推荐系统等 ' 然而随着样本数量的增大以及特征维度的增加 浅 层模型逐渐不能满足应用的需求 ' 自 ( 年 -% 和,&,5/1- %9 在 - 杂志上发表的论文 解决了多层神经网络训练的难题后 学术界和工业 界对深度神经网络的研究热情高涨 并取得了突破 性进展 ' 近年来 深度神经网络由于优异的算法性能 已 经广泛应用于图像分析 语音识别 目标检测 语义 * 分割 人脸识别 自动驾驶等领域 ' 深度神经网络 之所以能获得如此巨大的进步 其本质是模拟人脑 的学习系统 通过增加网络的层数让机器从数据中 学习高层特征 目前网络的深度有几百层甚至可达 上千层 日趋复杂的网络模型为其应用的时效性带

3 期 朱虎明等 深度神经网络并行化研究综述 ( 来了挑战 ' 为减少深度神经网络的训练时间 基于各 种高性能计算平台设计并行深度神经网络算法逐渐 成为研究热点 ' 由于功耗墙的存在 用于计算的 " 硬件架 构从单核变成多核 并行计算的方式也从指令级并 行变成线程级并行 ' 近年来 以 "! 和 " 为代表的异构计算平台具有高能效的优点 被广泛 用于不同研究领域的加速 ' 异构计算的理念也被用 来制造超级计算机 如我国研制的异构计算集群 天河一号 采用 " 作为加速器 其计算能力在 年 月排世界第一 天河二号 采用! 作 为协处理器 其计算能力在 年 ( 月排世界第 一 ' 采用国产异构多核 " 制造的神威太湖之光 超级计算机在 # " 世界超算大会夺得世界第 一 ' 由于并行计算设备的多样性 并行编程框架也日 趋丰富 目前主要的编程框架有统一计算设备架构 % /- 4 开放 计算语言 8%+8-,, 8 共享 存储编程模型 8! & -8& "4%66-8!" 消息传递接口! 66,",66-47,!" 8,45 等 ' 硬件的快速发展为深度神经网络的并 行化提供了物质基础 并行编程框架为其并行化架 起了桥梁 因此如何结合深度神经网络的算法特点 利用并行编程框架来设计能充分发挥多核众核平台 计算能力的并行化方法显得十分迫切 ' 本文首先简要地介绍了深度神经网络发展的背 景 然后介绍了目前多核众核计算平台和并行编程 框架的发展概况 并对深度神经网络的模型并行 数 据并行以及目前常用的开源深度学习软件系统中的 并行化方法进行阐述 同时对当前深度神经网络的 并行化研究工作进行归纳总结 在此基础上展望了 深度神经网络并行化可能的发展方向以及面临的 挑战 ' 神经网络发展概况 神经元是人工神经网络的基本处理单元 一般 是多输入单输出的单元 结构模型如图 所示 其 中 ) 表示输入信号 * + 表示输入信号 ) 与神经元 + 之间的连接权重 + 为神经元的偏置 + 表示神经元 的输出, 输入信号与输出值之间的对应关系式如下 式所示 ) /* + 为激活函数 一般可用 - +%-1 函数 函数, /) 函数 径向基函数等, 常用的神经网 络有多层感知器! & -,: 4" 48 4%!" 限制玻尔兹曼机 6 4-1)%&.+,!, /- )! 径向基神经网络 ) 等, x 1 x n.. w i j w nj w 1j b j f( ) y j 图 神经元结构模型图!" 是一种非线性分类器 是由输入层 隐含 层 一层或多层 以及输出层构成的神经网络模型, 图 给出了包含一个隐含层的多层感知器网络拓扑 结构, 输入层神经元接收输入信号 层与层之间是全 连接 每个连接都有一个连接权值 同层间的神经元 互不相连, 图中 * 0 + 表示第 0 层神经元 与第 0 层神经元 + 之间的连接权重 " 表示第 层神经元 " 的输出, 在!" 的训练过程中 将一个特征向量 作为输入 将该向量传递到隐含层 然后通过权重和 激活函数计算结果 并将结果传递到下一层 直到最 后传递给输出层 可通过 )"), 5"4%8,, -% 算 法 对网络权重进行微调, l y m l y m-1 l-1 y l-1 n y n-2 l-1 w n1 图!" 网络拓扑结构 l y1 l-1 w(n-2)1 w l-1 11 l-1 y 1 )! 是由 +%&65: 在 *( 年提出的一种随 机的产生式的人工神经网络模型 能够依据输入数 据 学习得到一种概率分布, 标准型的 )! 具有二 值的隐藏单元和可视单元 图 网络结构中包含 个可视节点和 + 个隐藏节点 其中每个可视节点只 和 + 个隐藏节点相关 可视节点的状态只受 + 个隐 藏节点的影响 对于每个隐藏节点 只受 个可视节 点的影响, 由于训练时数据数量少 再加上传统的神经网

4 ( 计 算 机 学 报 年 h 1 h 2 h 3 h j h v 1 v 2 v 3 v 4 v i v 图 )! 结构示意图 络是一个浅层的结构 网络简单 对输入的表达能力 有限 因此容易过拟合,( 年加拿大多伦多大学 的 -% 教授提出了基于 逐层训练 和 精调 的 两阶段策略 解决了深度神经网络中参数训练的难 题, 之后纽约大学的 蒙特利尔大学的 ) -% 和斯坦福大学的 等人对深度神经网络展开研 究 ( 并提出了深度自编码器 8% %1 4 (* 深度置信网 8 ) &- 7 %456 ) ( 卷积神经网络 % 9%&-%,&4,& %456 ( 等深度模型 且在多个领域得 到广泛应用, 自编码器 % %1 4 是以输出值等于 输入值为目标的一种无监督的人工神经网络模型 通常包括一个输入层 一个隐层 一个输出层, 当自 编码器包含多个隐层时即形成了 该网络的隐 含层结点数通常明显少于输入节点数 构成一个压 缩式的网络结构, 学习过程中容易出现过拟合 问题 一种有效的解决方法是去噪自动编码器 %-6-,% %1 4 ( 即人为在训练样本上 施加噪声作为网络输入 输出依然为无噪声的样本 由此学到的网络对噪声具有很好的鲁棒性, w ) 是由多层无监督的 )! 和一层有监督 的 )" 网络组成的一种生成模型, 其训练过程通常 是贪婪式的逐层训练 在预训练阶段采用逐层训练 的方式对各层中的 )! 进行训练 不仅使得 ) 的高效学习成为可能 而且还可以避免网络收敛到 局部最优, 微调阶段采用有监督的学习方式 利用 )" 网络对 )! 通过预训练得到的特征向量进行 分类 在 )" 的前向传播过程中 输入特征向量被逐 层传播到输出层 得到预测的分类类别, 将实际得到 的分类结果与期望值比较得到误差 并将该误差逐 层向后回传进而对整个网络的权值进行微调, 在具 体的应用领域 微调阶段的目标函数可以是无监督 的或有监督的方法, 是从生物学上视觉皮层的研究中获得启 发而产生的 其重要特性是通过局部感受野 权值共 享以及时间或空间亚采样等思想减少了网络中自由 参数的个数 从而获得了某种程度的位移 尺度 形 变不变性, 图 所示为经典深度 网络结构图 其包含 个卷积层和 个全连接层 每个卷积层包 含了激活函数 以及局部响应归一化处理 然 后再经过降采样 重叠池化处理, 该网络引入了新 的非线性激活函数 替代之前普遍采用的 - +%-1 或, / 函数 有利于更快速的收敛 减少了 训练时间 同时在最后两个全连接层引入 4%8% 防 止过学习的训练策略, 在卷积层之后 高层逻辑推理 通过全连接层完成 即全连接层的神经元与前一层 的所有输出相连接, 全连接层后还需要使用代价函 数来度量深度神经网络训练输出值和真实值之间的 差异 在不同的应用中使用不同的代价函数, Stride 96 of 4 Max pooling Max pooling Max 256 pooling 4096 Fully connected Fully connected 图 经典的 网络结构 神经网络常用的代价函数有二次代价函数 交叉熵和对数似然函数, 二次代价函数和交叉熵代价函数分别定义为式 和 其中 ) 为样本 为样本总数 表示期望输出值 为输出值, 交叉熵函数相比于二次函数具有收敛速度快 更容易获得全局最优的特点, 使用 %7 +,0 作为激活函数时 常使 用对数似然函数作为代价函数 定义如式 其中 0 为第 0 个神经元的输出值 0 为第 0 个神经元对应的真实值 取值为 或, -1 ) - ) )1) &. 1& 1

5 期 朱虎明等 深度神经网络并行化研究综述 ( &% 0 在深度神经网络中 为了求解代价函数 需要使 用优化算法 常用的算法有梯度下降法 共轭梯度 法 ) 等 目前最常用的优化算法是梯度下 降算法 该算法的核心是最小化目标函数 在每次迭 代中 对每个变量按照目标函数在该变量梯度的相 反方向更新对应的参数值, 其中 参数学习率决定了 函数到达最小值的迭代次数, 梯度下降法有三种不同 的变体 批量梯度下降法 ),/ 4,1-6 ) 随机梯度下降法 % /,6-4,1-6 小批量梯度下降法!- - ),/ 4,1-6!)' 对于 ) 能够保证收敛到凸函数的全局 最优值或非凸函数的局部最优值 但每次更新需在 整个数据集上求解 因此速度较慢 甚至对于较大 的 内存无法容纳的数据集 该方法无法被使用 同 时不能以在线的形式更新模型 每次更新只对 数据集中的一个样本求解梯度 运行速度大大加快 同时能够在线学习 但是相比于 ) 易陷入 局部极小值 收敛过程较为波动!) 集合了上 面两种方法的优势 在每次更新时 对 个样本构成 的一批数据求解 使得收敛过程更为稳定 通常是训 练神经网络的首选算法, 近年来 各种深度神经网络模型如雨后春笋般 * 涌现出来 如 4-./ 965: 等人在 年设计的包 含 个卷积层和 个全连接层的 & 0 并将卷积 网络分为两部分 在双 " 上进行训练 年 %% & 研发团队设计的 层的 %% & 同 年牛津大学的 -+% :, 和 , 设计出深 度为 ( 层 * 层的 $ 网络 年微软亚洲 研究院的何凯明等人提出了 层的深度残差 网络 6 而最新改进后的 6 网络深度可 达 层 ( 年生成式对抗网络 获得广泛 关注, 随着网络模型种类的逐渐增多 网络深度 也从开始的几层到现在的成百上千层 虽然大大提 高了精确率 但也使得深度神经网络的训练时间越 来越长 成为其快速发展和广泛应用的一大阻碍, 学术界和产业界对相关研究成果的开源加速了 深度神经网络的快速发展, 其中 代表性的开源平台 有 加州大学伯克利分校的贾扬清开发的,7 具有速度快 能够支持不同硬件平台 " " 的优点 但是由于遗留的架构问题 使得它不够灵活 且对递归网络和语言建模支持很差 年 月开 源的,7 新增加的特性包括采用了计算图来表 示神经网络 支持 和 14%-1 系统 增加了自 然语言处理 手写识别和时间序列预测的循环神经 网络 和长短期记忆网络 #! 支持多节点 多 " 并行 ',;%%5 开发的 #%4 / 实现并且优 化了基本的计算单元 有较好的灵活性 缺点是接口 为 &, 语言 需要花费时间进行学习 ' 年新版本 ":#%4 / 使用 ": /% 作为前端 因此可以方便使用 ": /% 的相关机器学习库 ":#%4 / 支持动态构造 计算图和自动求导等功能 ' 李牧等开源的! 注重灵活性和效率 同时提高了内存的使用率 支持 14%-1 系统 蒙特利尔大学开发的 #/, % 是第一 个使用符号张量图描述模型的架构 派生出大量深 度学习 ": /% 软件包 非常灵活且对递归网络和 语言建模有较好的支持 %% & 开源的第二代深度 学习框架 #6%4&% 使用了张量运算的计算图方 法 支持异构分布式计算 具备很好的灵活性和可扩 展性 目前已经成为最热门的深度学习开发平台 # 是微软开源的深度学习工具包 将神经网络 描述为有向图的结构 叶子结点表示输入或者网络 参数 其它节点代表计算步骤 同时支持 " 和 ", 深度神经网络获得了学术界和工业界的广泛关 注 在算法研究和应用方面不断取得进展, 在学术研 究方面 年,4 刊出了由 ) -% 和 -% 撰写的深度学习综述文章 同年举办 的知名学术会议 $" " 和 中深 度神经网络的主题占主导地位, 年以深度神经 网络为核心的 8, 5 算法在德州扑克游戏中击 败人类职业玩家 (, 在国内 相关的高校和科研单 位在深度神经网络的研究和应用方面也取得了丰硕 的成果 清华大学 中国科学院 百度和西安电子科 (( 技大学给出了深度学习的研究综述 相关高 校的研究学者将深度学习算法成功应用到遥感图像 分类 多媒体检索 交通流预测和盲图像质量评 ( 价等领域, 除了重要的学术研究意义 工业界在应用方面 也成果丰硕 如 ( 年基于深度神经网络的 &8/, % 在分布式框架中最多采用 * 块 " 和 块 " 最终打败了围棋世界冠军李世 石 目前 %% &,;%%5!- 4%6%7 )! 等国 际巨头以及国内的百度 阿里巴巴 腾讯 科大讯飞 等互联网巨头争相布局深度学习 并且成功应用于 多种产品之中 例如谷歌 % 微软 % 手写 识别 %4,, 语音助手 讯飞语音输入法等,

6 (( 计 算 机 学 报 年 虽然深度神经网络由于优异的性能得到了广泛 的使用 在许多的应用领域取得了成功 但其日趋复 杂的网络模型为其应用的时效性带来了挑战, 为减 少深度神经网络的训练和测试时间 针对各种应用 场景 在不同架构的并行计算硬件平台上 利用合适 的软件接口来设计并行深度学习计算系统并优化其 性能成为研究热点, 软硬件发展概况 硬件架构 用于深度学习的硬件设备在计算性能 并行机理 和应用开发周期等方面存在巨大的差异 计算能力和 带宽是决定硬件应用性能的主要因素, 计算能力指标 一般使用 " 即每秒执行的 位浮点 " 运 算次数," 计算性能一般采用的指标为每秒十亿 次浮点运算 -, &%, - "%- 8 4, -% 68 4 % 1 " 和每秒万亿次浮点运算 # 4, &%, -"%- 8 4, -% 68 4 % 1# ", 但是 " 用户可以自定义各种精度的数据类型 数据 可能是 " #(# 等多种格式 不一定是 浮点计算能力 经常使用每秒十亿次运算 -, 8 4, -% 68 4 % 1" 和每秒万亿次运算 # 4, 8 4, -% 68 4 % 1# " 指标, 多核 " 随着频率墙 功耗墙 存储墙等 问题越来越突出 单核 " 很难继续通过提高时 钟频率来提升性能 因此具有多核结构的计算设备 逐渐成为主流, 多核结构指的是在同一个处理器上 集成两个或两个以上的计算内核 不同计算内核之 间相互独立 可以并行的执行指令 (, 以 年发 布的 &%*9 为例 其采用 + 工 艺 包含 个物理核 最高支持 线程 最大内存带 宽 ) 6 单精度浮点计算能力为 * ( " 支持 $ 指令 可以实现一个时钟周期处理八 个浮点数的乘加操作 实现单指令多数据流并行 有 效提高程序的执行效率, "" 以前主要用于图形学处理 由 于其强大的计算能力现在已经被用作加速器来加速 计算密集型应用, " 是以大量线程并行执行面向 高吞吐量设计 具有高带宽 高并行性的特点 因此 " 适用于大量数据的并行计算, 目前 " 厂 商主要有 $!& 高通! 等公司 不同公司生产的 " 在硬件架构 功耗 性能以及应 用场景等方面存在巨大的差异, 比如高通的 14% 和! 的!,&- 架构最新嵌入式 " 功耗只有几瓦 计 算能力大约 " ' 而 $ 公司最新的 # 6&, 系列的 $%&, 采用 + 工艺制造 有 个流处理器 可提供 # " 的双精 度计算能力和 # " 单精度性能 ' 针对深度 学习新增加了支持混合精度 "( " 计算的 ( 个 #6%4%4 能够为训练 推理应用提供 #6%4# " 计算能力 ' " 设计了鲜明 的层次式存储 使用好层次式存储是进行性能优化 的关键 ' " 存储单元包括全局存储 纹理存储 常 量存储 共享存储 局部存储 寄存器等 各存储单元 的使用依赖于算法的访存模式和存储单元的特性 ' 到目前为止 $ 通用计算的 " 产品经历 了 # 6&, 4+-8& 4!,0&",6,&$%&, 等 架构 架构的快速迭代 相应的硬件逻辑发生变化 为算法实施和性能优化带来进一步的挑战,! & 公司 年推出了第一代! 架构的 % "/- 融合处理器 - / 6%44 拥有 个以上的 " 物理核心 每个物理核心可 以并行执行 个硬件线程 核心频率约为. 并且包含一个 ;- 线宽的矢量处理单元 $" 可提供约 # " 双精度峰值计算能力 ( 年 推出的第二代! 架构的 % "/- 融合处理器 - / 6, 1- 核心频率约. 双精度浮点性能超过 # " 单个芯片最大支 持 个 " 物理核心 每个物理核心支持 个硬 件线程 并包含 个 ;- 线宽的 $" 能更有效 率的提升整体性能 满足高度并行化的高性能计算 应用 但是需要考虑硬件架构的特性以优化代码才 能充分发挥硬件性能, " 由成百上千的加法器 乘法器和数 字信号处理器 " 等模块组成 可以同时进行大规 模的并行运算 具有高性能 低功耗 可编程等特点, " 作为一种计算密集型加速部件 通过将算法 分解并映射到相应的硬件模块上进行加速, 流水结 构是 " 作为加速器的一大优势 可以很好地和 深度神经网络算法相匹配 充分利用算法网络结构 内部的并行性 提高运算速度的同时减小功耗, &4, 公司的 4, -0 系列产品采用 + 三栅 极工艺开发 最高可配置 ( 个 " 个 < * 规格的乘法器 单精度浮点性能达到 # " ' * -&- 0 的 & 4,,& 系列产品最高可配置 个 " 其支持的 # 低精度计算相比 #( 计 算能效得到了提升,

7 期 朱虎明等 深度神经网络并行化研究综述 ( 专用加速器 为了最大化计算速度和最小化能量消耗 针对深度学习设计专用集成电路 88&-, -% ,1-4- 并将其应用于大规模云计算数据中心和嵌入式计算设备成为热门研究方向, 专用加速器具有高性能 低功耗 面积小等特点 而且量化生产时成本低 主要缺点是其设计周期比较长, & 已经面向市场推出了 深度神经网络加速器 神经计算棒 4,& %+8-5 其采用 + 工艺生产 支持 "( 精度和,7 深度学习软件 计算能力为 " 功耗 =' 表 对以上硬件架构从功耗 计算能力 并行算法开发的难易程度等角度进行比较, 表 硬件架构对比分析 硬件 硬件型号 功耗 = 计算能力 " 开源软件支持 并行算法开发难度 开发周期 " &%*9 ( * (" 好 容易 短 " # 6&,$ # " 好 中等 短! % "/- # " 少 容易 中 " 4, -0 # " 少 难 较长 #" #( 位整数矩阵乘法 少 难 长 并行编程框架 是 年由 $ 公司推出的 只能运行在本公司各种型号 " 上的并行编程语 言 使用扩展的 语言来进行 " 编程 ' 自 年 版本诞生后 由于大大降低了 " 进行大量的修改 降低了并行编程的难度和复杂度 通用编程的难度 因此大量的研究者尝试利用 " 加速各个领域的算法, 此后 版本快速迭代 通用计算能力越来越强 比如 * 年的 加入了对 编程语言的支持 年的 增加了动态并行的新特性 年的 ( 支持统一寻址 而 年最新发布的 ( 支持 " 直接同步 使得 " 可以在没有 " 辅助的情况下交换数据 ' 并行编程模型采用两级并行机制 即 )&% 5 映射到流多处理器并行执行和同一个 )&% 5 内的 #/4,1 映射到流多处理器的 核上并发执行, 8 是 /4% %6 组织制定的异构计算 统一编程标准 得到了! 88&& $ # 等公司的支持 因此可以运行在多核 "" " " 以及异构加速处理单元上, 8 计算模型在具体硬件上执行时 由各个厂家的运行环境负责将代码在线编译成机器码并建立软硬件映射机制, 当 8 执行的核心 5 4& 启动后会创建大量的线程同时执行 每个线程即工作单元 %45 -+ 完成 5 4& 函数定义的操作, 当映射到 8 硬件上执行时 采用两级并行机制 %454% 8 并发运行在异构计算设备的计算单元上 同一个 %454% 8 里的多个 %45 -+ 相互独立并在处理单元上并行执行, 8!" 是基于共享内存和多线程的并行 编程模型 在使用时需要程序员在程序可用于并行的部分添加并行编译的关键字 运行环境依据关键字将计算任务映射到多线程上并行执行, 8!" 并行技术具有良好的可移植性 不需要对串行代码 具有很强的灵活性 可以较容易的适应不同的并行 系统配置, 然而 8!" 程序是通过将 7%4 循环分解到多个线程上进行并行 可以通过调整线程数目和调度方式 静态调度 动态调度 等手段来优化性能, 执行并行任务的线程调度由 8!" 运行环境 控制 因此当线程数量很多时 并行程序的可扩展性 经常表现一般, 在具体应用时要想提高并行效率 需要根据算法特点和硬件平台的特性 对代码进 行一定的优化,!" 是一种基于消息传递的并行程序编程 框架,!" 主要应用于集群计算环境 其支持的 计算节点数可达上万个, 作为一个跨语言的通讯协议!" 支持点对点和广播两种通信方式,!" 程序执行时 在集群的每个节点上启动多个进程 节点间的进程通过高速通信链路 如以太网或 7- - ), 1 显式地交换消息 并行协同完成计算任务,!" 广泛使用在高性能计算行业 但是基于!" 的并行程序通常在算法上有较大改动 编程难度较大 并且容错性不足 如果一个进程出现问题导致整个应用需要重新进行计算, 8,45 是加利福尼亚大学伯克利分校!" 实验室在 * 年开源的一种通用并行计算框架 最大可支持上千个节点的并行数据处理, 它扩展了广泛使用的!,81 计算模型 并添加了交互式查询以及流处理功能 同时支持,&,,9, 和

8 ( 计 算 机 学 报 年 ": /% 语言 易于使用 能够与 3,4! 6%6-9 ),6 等多个框架进行很好的兼容, 8,45 将各种类型的数据结构都统一抽象为 结构, 它基于内存计算的特点使其与,1%%8 相比 在迭代式算法上优势明显 高效的容错机制使其在面对 故障问题时可及时恢复正常, 目前 8,45 已被广泛应用于大数据处理领域, 表 对这几种并行编程框架从开放性 开发难度和深度学习软件支持力度等方面进行分析比较, 表 并行编程框架的比较 编程框架出现时间 开放性 主要支持语言 支持硬件 编程难度 开源深度学习软件支持 企业私有 $ " 容易,7 #6%4&%! # #%4 /#/, % 8 " 标准 " " " "! 难,7 #/, % 8!" ** " 标准 %4 4, "! 容易 #/, %!" ** " 标准 %4 4, "! 难 #(,7 8,45 开源软件,9,,&,8: /% " 容易 &)- 8,45 深度神经网络的模型并行和数据 并行 对深度神经网络的并行化目前主要有两种方 法 模型并行和数据并行 如图 所示, 模型并行 图, 是指将网络模型分解到各个计算设备上 依靠设备间的共同协作完成训练, 数据并行 图 ; 是指对训练数据做切分 同时采用多个模型实例 对 (( 多个分片的数据并行训练 由参数服务器来完 成参数交换, 在训练过程中 多个训练过程相互独 立 模型的变化量 * 需要传输给参数服务器 由参 数服务器负责更新为最新的模型 * >*? * 其中 为学习率 然后再将最新的模型 * 分发给训 练程序, 多数情况下 模型并行带来的通信开销和同 步开销超过数据并行 因此加速比也不及数据并行 但是对于单个计算设备内存无法容纳的大模型来 说 模型并行是一个很好的选择, 图 深度神经网络的模型并行和数据并行原理图 随机梯度下降算法 由于使用简单 收敛 速度快 效果可靠等优点在深度神经网络算法中得 到了普遍应用, 在大数据背景下 深度神经网络的数 据并行更多地是通过分布式随机梯度下降算法 对 于该算法中参数更新方式的选择 目前主要有同步 和异步 两种机制, 同步 ( * 需要利 用所有节点上的参数信息 而慢节点所带来的同步 等待使得数据并行时的加速比并不理想, 异步 虽然单次训练速度快 但是其固有的随机性使得网 络在训练过程中达到相同收敛点耗费的时间更长 *(( 且在训练后期可能会出现震荡现象, - 等人 针对机器学习中比较耗时的迭代算法 提出了一种 新的协议 " 来缓解同步 ) " 中慢节点所带来的 同步等待 通过引入一个参数来约束快节点和慢节 点之间迭代步伐的差值, 相比于异步模式 同步等待 开销一定程度上限制了网络训练速度, %:,& 等 ( 人提出了一种将参数批量大小值提高的分布式 同步 训练方法 采用了线性缩放规则 &-,4 6,&-4 & 作为批量大小函数来调整学习率 在训 练的开始阶段使用较小的学习率 在批量大小为 * 时在,7 的系统上训练 6 网络 训 练数据集使用 +, 该训练在 ( 块 # 6&, " " 实验硬件平台为,;%%5 的 )- ),6- 服务器 每个服务器安装有 块 " 卡 卡之间使

9 期 朱虎明等 深度神经网络并行化研究综述 (* 用 $- 5 互联技术 服务器之间使用 ;- 带宽更高的精度 ' %% & 在卷积神经网络的基础上的以太网连接 上花费 / 就能完成 识别精度与小加入了 - 8 -% 模块 - 8 -% 模块将不同大小的批量相当, 滤波器和池化模块堆栈在一起 并使用较小尺寸的深度神经网络的网络结构复杂 参数多 训练数滤波器替代了大的滤波器 ' 8 -% 模块的使用使据量大 这些都为并行化工作带来了挑战, 近年流行得 %% & 既能保留网络结构的稀疏性 又能利的卷积神经网络有 & 0$ %% & 和用稠密矩阵的高计算性能 还能通过不断调整自身 6 网络等 其网络结构信息如表 所示 ' 其中 结构以加深网络的深度 ' 8 -% $ 加入了 ),/ & 0 网络为 层 拥有超过 ( 万个参数 训练 %4+,&-., -% 技术来减少内部数据分布变化 并使使用的 +, 数据集有 万张图片 为了加快用了两个 < 的卷积核来替代 < 的卷积核来减训练速度和将来能使用更大的网络 4-./ 965: 等少参数数量 ( ' 8 -% $ 主要的思想就是分解人使用了两个 $ %4 # " 对大尺寸卷积为多个小卷积乃至一维卷积 比如将其进行了模型并行 '$ 网络结构在 & 0 上 < 的卷积核分解为一维的卷积 << 这发展而来 $ 网络使用多个小滤波器卷积层 滤种分解既减少了参数数量又减少了算法的计算 波器大小为 < 与激活层交替的结构来替代单个 大滤波器卷积层 这样的结构能更好地提取出深层 特征 $ 网络有着比 & 0 更深的层数和更 多的参数数量 如 $ * 网络有 * 层和 亿 万个参数 因此 $ 网络提供了比 & 0 量 ( ' 8 -% $ 版本中将 8 -% 和 6 结合既加速训练又获得了性能提升 ( '6 引入了残差网络结构解决了加深网络层数时梯度消失的问题 因此 6 网络深度最高达到了 层 ' 表 经典卷积神经网络结构参数 神经网络 网络层数 #%8 卷积层数 卷积核大小 全连接层数 全连接层大小 参数数量 % & 0 ( *(*( (' %% & ( ' 6 * ' $ * * ( *(*(, 下面以 & 0 为例简要说明模型并行和数据并行的特点和实施要点,& 0 共有 层 包括 个卷积层和 个全连接层, 表 列出了 & 0 的神经元数量 参数数量以及 ),/6-. 为 时一次前向计算各层向下一层传输数据量的情况, 卷积层神经元个数计算公式为 > < 其中 为卷积核个数 为卷积层池化操作前特征图大小, 卷积层参数个数计算使用公式 * > < < 偏置参数个数 为卷积核大小 为卷积层输入特征图个数, 每个特征图上的卷积核偏置共享 因此偏置参数个数与卷积核个数相同 注意计算第二 四五层时由于两个 " 不通信 因此参数数量要 减半, 全连接层与卷积层连接时参数个数计算公式 * > <$ <!! 偏置参数个数 其中 $ 为 卷积层池化操作后特征图大小! 为全连接层神经 元个数, 全连接层与全连接层连接时参数个数计算 公式为 * >!? <!! 偏置参数个数 其 中! 为第 层神经元个数, 卷积层输出数据个数计 算公式为!> < <$ 其中 为 ),/6-., 全 连接层输出数据个数计算公式为! > <!, 假 设一个数据占用 个字节 则 个数据的数据量为 字节, 反向传播时第 层向第? 层需要传递残 表 " ( 网络神经元 参数数量和数据量 网络层次 卷积核大小 卷积核个数 神经元个数 特征图大小 参数个数 数据量 输出数据个数 数据量 卷积层 < *( * < *!) **!) 卷积层 < ( (( <!) *!) 卷积层 < (*( <!) ((!) 卷积层 < (*( < ((!) ((!) 卷积层 < ( ( <!) *(!) 全连接层 *(!!)!) 全连接层 *( (! (!)!) 全连接层! (!)!) 总计 ( ( * (!!) (!)

10 计 算 机 学 报 年 差 其数据量等于前向传播时第? 层向第 层传 输数据量除以 ),/6-., 从表 容易发现前向传播 时卷积层输出数据量大 全连接层虽然参数数量多 但是输出数据量小, 模型并行是将网络结构均分到 多个不同的设备上, 以在 块 " 上进行 & 0 的模型并行为例 将卷积层 的 *( 个滤波器等分到 个 " 上 卷积层 的 ( 个滤波器在 " 划 分 ( 个滤波器 " 和 " 划分 个滤波器, 其它卷积层与全连接层的划分方法与此类似, %7 +,0 分类函数放置在 " 上 如图 ( 所示, Conv1 1 Conv2 1 Conv3 1 Conv4 1 Data Conv1 2 Conv2 2 Conv3 2 Conv4 2 Conv1 3 Conv3 Conv3 3 Conv4 3 Conv5 1 Fc6 1 Conv5 2 Fc6 2 Conv5 3 Fc3 较高 这使得模型并行的可扩展性受限, 数据并行是在不同计算设备上用不同数据训练 同一个模型, 以在三个计算节点上进行 & 0 数 据并行为例 ),/6-. 为 输入图像为 < <, 由于每一个参数对应一个梯度更新值 所以 梯度个数与参数个数相同, 因此 单个计算节点与参 数服务器的通信量为!), 参数服务器在接收到 个计算节点的梯度时 进行参数更新后 将新的参 数发送给各个计算节点, 参数服务器接收的数据量 为 (*(!)'& 0 进行一次参数更新时 共需要 *!) 的数据传输量,& 0 在 " 上计算时 一个 ),/ 前向 反向以及参数更新时所需的时间 约为两三百毫秒 而在 ; 6 的带宽下 进行一次 ),/ 所需的通信时间约为 +6, 同步参数更新 机制时的通信时间与计算时间比太高限制了并行深 度神经网络的可扩展性, 因此 可采用半同步或异步 的方式更新梯度以减少通信等待时间 还可以采用 压缩权值的方法减少通信量, ) 深度神经网络开源软件系统并行化方法 Fc7 1 softmax GPU0 Fc7 2 GPU1 图 (& 0 模型并行示意图 Fc7 3 GPU2 前向传播过程中 每个 " 需要将各自的卷 积层第二层和第五层以及全连接层的输出结果发送 到其它 " 上, 在 ),/6-. 为 时 第二层卷积 层到第三层卷积层通信量为!), 第五层卷积 层与第一层全连接层的通信量为 *!), 第一层全连 接层与第二层全连接层的通信量为!), 第二层全 连接层与第三层全连接层的通信量为!), 在 整个前向过程中 共需要进行四次通信 向下一层传 输的数据为 (!) 卷积层之间通信量占总通信 量的 全连接层之间占 卷积层与全 连接层之间通信量 *!) 占 *@' 反向传播过 程中各层输出的数据量远小于前向传播过程 因此 可忽略, 在 ; 6 的网络带宽下 一个 ),/ 前向 传播不考虑并行同步开销所需的通信时间约为十几 毫秒 而且通信时间随 " 数量线性增加 ' 一个 ),/ 前向 反向以及参数更新时所需的时间约为 两三百毫秒, 因此 通信时间与计算时间比例还是比 由于深度神经网络在各个领域的广泛应用 工 业界与学术界都推出了相关的开源软件系统 使研 究者可以快速的将深度神经网络应用到自己的研究领域内, 目前 深度神经网络开源的软件系统主要有,7 #6%4&%! # #%4 / #/, % 等 具体如表 所示, 这些软件对深度神经 网络并行时使用了一些相似的方法 在 " 上都 使用了高性能多线程库来对网络进行训练 在 " 上都支持 (( 库来对网络进行加速, 在分布式并行深度神经网络的实现上 使用了数据并行或模型并行,,7 ( 由加州大学伯克利视觉和学习中心开发 是一个清晰 可修改的 快速的深度神经网络框架,,7 支持硬件平台为 " 与 " 它使用 " 的高性能多线程库 &,6 8)&! 对网络进行训练 当使用 " 时,7 使用 进行训练, 在并行实现上 采用数据并行的方式对深度神经网络进行加速 实现了单节点多设备的数据并行 通过树形拓扑连接策略进行多个 " 间的参数交换 有效地减少了通信开销, #6%4&% ( 是 %% & 基于 -6 ) &- 7 研发的第二代人工智能学习系统 其灵活的架构使得用

11 期 朱虎明等 深度神经网络并行化研究综述 户无需重写代码就可以将 #6%4&% 部署在不同 的异构系统上,#6%4&% 使用计算图来表示机器 学习算法, 在并行实现上 用户首先需要创建一个抽 象的 #6%4&% 集群对象 它用来分布式地执行 计算图,#6%4&% 支持模型和数据两种并行方 式, 对于模型并行 首先定义计算图的结构 集群的 配置以及将模型的不同部分在不同的计算设备上的 映射, 每个抽象集群包括多个,65 每个,65 代表 深度神经网络的一个计算任务 用户将,65 映射在 不同的设备上, 对于数据并行 一个抽象集群可以划 分为多个 A%; 一个 A%; 是一个特定的任务 A%; 一般 分为 %45 4A%; 和 8,4,+ 4A%; 一个 A%; 又包含 多个,65' 在 #6%4&% 中 %45 4A%; 负责在每 个节点上进行独立的训练一个深度神经网络 8,4,+ 4A%; 负责实现类似于参数服务器的参数 交换和梯度更新的功能,! (* 是一个高效灵活的多语言机器学习 库 可被部署在从移动设备到分布式 " 集群的多 种异构系统上,! 通过 $%4 实现参数更 新与数据交换 通过引擎实现资源调度与任务管理, $%4 是基于参数服务器的分布式的键值对的 存储 用来在多个设备之间进行数据交换, 引擎是一 个资源管理与任务调度器 用来调度执行 $%4 的操作和管理参数更新机制 '! 采用两层架构 的数据并行策略 第一层是在一个工作节点内的多 个设备之间采用参数服务器进行数据并行 第二层 是不同工作节点之间的数据并行, 深度神经网络训 练时 首先将单个节点的多个设备上的参数进行汇 总 随后单个节点将数据发送到参数服务器进行参 数更新, 由于单个节点内的通信带宽远大于节点间 的通信带宽 因此两级并行策略可以有效地减少对 带宽的需求, 微软开源的 # 是一个简单易用的深度 学习工具包 在 " 和 " 上支持 &! 和 编程模型进行训练 '# 将神经网络通 过有向图表示成一系列计算步骤 有向图的叶子节 点表示输入值或网络参数 其他节点表示在其输入 上的矩阵操作,# 采用数据并行方法 实现了 支持同步和异步参数更新机制的参数服务器 ' 同时 # 可以部署在多 " 或 " 上的异构集群 上用来进行深度神经网络的分布式训练 ' 它支持 种类型的分布式 算法,,",4,& & )&% 5!%++!%1 &9 4, -,, ",4,& & ' 同时可使用 ;- 算法 该算法 将梯度值进行量化 减少了传输的数据量, #%4 / 得益于,;%%5 开源的 7; 深度 学习模块 是使用, # 开发的简单高效的科学 计算框架 支持多 " 和 " 训练 ' 在 " 上使 用 8!" &! 和 " /4,1 进行多线程训 练 在 " 上支持 和 8 '#%4 / 支持数据并行和模型并行两种策略 对于数据并 行 在每个设备上独立的训练一个模型副本, 在进 行参数更新时 把每个设备上的梯度传输到参数 设备上进行参数更新 支持使用 ;- 算法来减 少传输的数据量, 模型并行是将训练数据复制到所 有子模块 并在不同的设备上运行模型的不相交 部分, #/, % 是一个基于 ": /% 的机器学习库 首次采用符号图来描述机器学习算法 支持 " 和 " 进行网络训练 ' 在 " 上使用 8!" 进 行多线程训练, 在 " 上使用 采用数据并 行的方法 支持多 " 的同步参数更新机制, 深度 学习开源软件技术更新快 支持的硬件架构和软件 平台也越来越多 特别是对嵌入式平台和 ": /% 语言的支持成为重点发展方向 ' 目前 #6%4&%,7 ":#%4 /! 都实现了利用计算图来表 示深度神经网络, 表 对这几个开源深度学习软件 进行了对比, 表 ) 深度神经网络开源软件系统比较 开源软件开源时间支持硬件并行接口支持模型库并行模式多节点,7 "" #6%4&% ""! 8 #! 数据并行支持 #! 数据并行模型并行 #%4 / "" #! 数据并行不支持 #/, % "" 8! * "" #! 支持 #! 数据并行不支持 数据并行模型并行 # ( "" #! 数据并行支持 支持

12 计 算 机 学 报 年 * 深度神经网络并行化研究现状 深度神经网络的应用分为训练过程和推理过 程, 对训练过程进行并行设计时 在单节点上 利用 多核和众核技术 "! 进行并行加速 而对 于单节点无法完成的大规模深度神经网络的训练过 程 一般是结合!" 或 8,45 完成节点间的数据通 信 通过分布式系统完成对整个模型的训练, 而并行 加速推理过程时 目前研究重点是通过专用加速器 或 " 进行加速 具有功耗低 速度快的优点, 下 面对近年来深度神经网络的并行化研究现状进行归 纳总结 " 使用 " 来加速深度神经网络算法的训练过 程 一般是使用 或 8 将算法移植在 " 上 通过数据并行或模型并行 或者采用两者 相结合的方法并行加速 ',-, 等人第一个提出 利用 " 对 ) 进行加速 腾讯的深度学习平台!,4-,, 包括 的 " 数据并行框架 的 " 数据并行和模型并行框架 以及 的 " 集群框架 主要以 " 集群为主 每个节点配 置 或 ( 块 # 6&, " 实现多 " 的并行加速, ( +4: 等人在单个服务器上使用 个 $ %4 # #-," 实现了数据并行和模型 并行两种方法的结合 最终在训练 +, 的 分类网络时相比于单个 " 达到了 0 加速 比 '- 等人使用单块 # 6&, " 来加速 ) 对于算法中的预训练阶段 将输入样本分批 输入 同一批次的样本分配到不同线程并行计算 对 于算法的微调过程 采用小批量的梯度下降算法 同 一批次的不同样本在不同线程上并行计算, 相比于 &%4 - * 在预训练过程中获得了 0 加速比 在微调过程中获得了 0 加速比 而且最终的性能优于 " 上的 8) 库和 " 上的 ) 库 '- 等人研究了训练数据 在 " 内部使用 = 和 = 等不同存储结 构时对计算性能的影响 并设计了高效的数据存储 模式, 特别分析了卷积神经网络中不同算子的计算 和内存访问特性 发现在某些参数下卷积不仅仅 是计算受限的 也是内存受限的算子 池化层和 * %7 +,0 函数都是内存受限的算子 ' - 等人针 对,7 中数据并行加速算法时的通信瓶颈问题 提出了 " 库 用于管理基于 " 的深度 学习应用程序的参数数据和本地数据 重叠计算和 通信时间 最终在使用 块 # 6&," 情况下 相比于单 " 训练 1,+-5 网络获得了 (0 加 速比 训练 %% & 获得了 0 加速比, 在视频分 类应用上 在使用 块 # 6&," 情况下训练 相比于单 " 获得了 0 加速比, 等 人针对通过 8 扩展,7 框架 使用多命 令队列等方法进行性能优化 使用 & 0 在!* 4: 上测试 测试结果表明与 $ " 相比 性能 成本相当 ')% & 6% 等人针对 网络 也提出了 8 加速,7 框架 通 过在卷积层采用!! 空域 频域三种不同的优 化手段 使用 & 0 网络在 & 集成 " 上进 行实验 相比于 &" 经过不同优化方法后获 得 (0 的加速比,! 使用! 对深度神经网络训练过程并行加速 时 一般使用 8!" 并行编程语言 将算法中的 循环部分通过 8!" 和向量化指令做多线程和! 并行 '! 常用的有两种编程模式 一种是卸 载模式 将一部分程序运行在 " 上 另一部分程 序被卸载到! 上并行执行 其中所需的数据也要 通过 " 传递给! 另一种是由! 独立运 行全部程序的原生模式 '$- ;5 等人在 & % "/- " 上以原生模式训练 采用数据 并行的方式 在 线程下相比于单线程达到了 0 的加速比 相比于 &% (* 9 " 串行版本获得了 0 的加速比 '- 等 人 在 &% "/- " 上以卸载模式运行 采用批量梯度下降法 将同一批次的图片分 配给不同的线程进行训练 在 线程下相比于单 线程达到了 0 的加速比 相比于 &% (* " 串行版本获得了 0 的加速比, &,6 等 人在 &% "/- " 上以原生模式运行 ) 将学习样本分组成包 并表示为矩阵 利用 &! 库中的矩阵乘法程序优化 最终在 线程下相比于 &%(* 9" 串行版 本获得了 (0 的加速比 '2&,65- 等人提出 维卷积算法 在 &" 上取得了近乎线性加速 比 在众核处理器 " 上取得了 *0 的加速比, 设计专用加速器时 一般是通过分析算法特性 为其设计相应的硬件电路 充分利用算法中可并行 的部分 为其中相应的操作分配具体的计算元件 从

13 期 朱虎明等 深度神经网络并行化研究综述 而获得更高的加速效果, 例如卷积层和全连接层中 每个神经元的输出是由若干个权重和对应的输入值 做的乘法累加操作 可以设计一定大小的处理单元 阵列 每个处理单元负责运行乘法操作 通过将输入 特征图与权重矩阵转换成数据流输入到每一个处理 单元上完成各自的乘法操作便可以实现高度的并行 化, 因此专用加速器相比于 "" 具有很高的 (( 加速比 例如 / 等人针对 设计了专用 加速器 -,,% 相比于 ;-.! 处理 器加速了约 0' 之后在 -,,% 的基础上 扩大 芯片规模 设计了专用加速器, -,,% 相比于 $! " 加速了 ( 0, 此外, (* 等人提出了深度压缩神经网络技术 将深度神 经网络经过压缩 减少权值存储所需的空间 降低内 存读取量 更加利于加速器的加速和降低能耗 并在 此基础上设计出可加速压缩神经网络模型的专用加 速器 相比于 &%4 -* 5" 加速了 *0 相比于 $ %4 # #-, " 加速了 0' 目前已经投入使用的 %% & 张量处理 单元 * #6%4 "4%66- - #" 第一代 ( 年发布 功耗最大 = 用于谷歌街景和 &8/, % 等应用场景 ' 年 月公开的第二代 #" 已经部署在 %% & 云计算平台 %+8- 上 其提供了 ( ( 个 位矩阵乘 法单元 处理能力达 *# " ' " " 开发时最常用的编程语言为硬件描述语 言 如 $ 4-&% 和 $ 但要使用这些语 言编程需要有数字化设计和电路的专业知识 开发 难度大 所以 " 厂商开始支持更加抽象化的编 程语言 8, 程序员将算法中的可并行部分的 任务进行划分 通过调用 8 的应用程序接口 " 将任务映射到 " 的多个处理单元上 从 而实现算法在 " 上的并行加速, 目前基于 8 实现的 " 加速深度神经网络的工作 * 有 1, 等人在 " 上实现了 $ 和 & 0 两种网络 卷积的权值采用 ;- 精度 并且将 卷积操作转为矩阵乘法然后设计了基于 8 的 并行算法 ' 在 " * 平台上运行 $ 网络计算 性能为 " 运行 & 0 计算性能为 " 相比于 &- *." 加 * 速比分别为 0 和 *0'2/, 等人在 " 上实现了 $ 网络 最终在 &4,44-, 上运 行整个 $ 网络计算性能达到了 *# " 相比 于 &%( $ " 得到了 0 的加速 * 比 ':1%, 等人在 " 上实现了 & 0 网 络 优化片外内存带宽要求 并引入 =- % 4,1 转换 方法减少了卷积操作中的乘法累加运算次数 最终 在 44-, 上运行 & 0 网络达到了 的峰值性能 ' 使用 8 虽然提高了开发效率 但 可能牺牲了更高的片上存储器利用率 因此执行效 率依然存在很大的优化空间, 深度神经网络算法的网络层数和模型的复杂度 逐年增加 设计高效的算法成为关键 使用低精度的 神经网络权值和稀疏的网络连接成为趋势, 只采用 和? 作为权值的二值神经网络算法由于减少了 存储空间和内存带宽的要求迅速发展起来 如 % 4;,4-, 0 * 提出的 )-,4:% 网络 网络训 练时系数是单精度 推理时系数从单精度概率抽 样变为二值 从而获得加速 算法在门牌号码数据集 $ 上的预测准确率与单精度网络相当 49-,1/- 等人在 " 上实施了只采用 和? 作 为权值的二值神经网络算法 实验结果表明 " 与 " 和 " 相比取得了更好的每瓦特性能 在性能和能效上比 "" 和 " 都 高 *, 二值网络尽管计算效率很高 但是算法的精 度损失也大 使用 ( 位和 位数据类型可以在计算 效率和计算复杂度之间达到很好的平衡, 49-,1/- 等人在 " 和 " 平台上对比分析了稠密矩阵 和稀疏矩阵在不同数据精度下的计算性能和能效 实验结果表明 " 在低精度的算法上性能和能 效都好于 " *(, 多节点并行化 早期的深度神经网络多节点并行化主要在 " 集群上计算 经典的工作包括 %% & 的, 等人在 " 集群上开发了 %% & 的深度学习软件 框架 -6 ) &- 7 支持数据并行和模型并行策略 数 据并行时设计了适合大规模分布式训练的异步随机 梯度下降法 %8% 4 将训练集划分为 若干子集 并对每个子集运行一个单独的模型副本 各模型副本之间通过 参数服务器组 交换梯度信 息 参数服务器组维护了模型参数的当前状态, 异步 随机梯度下降法异步性表现为 模型副本之间相 互独立运行 参数服务器组各节点之间相互独 立, 作者将 %8% 4 和 1, 4,1 自适应学习 率结合在一起 实验结果表明这种结合具有很好的 效果, 模型并行时 全连接网络使用 个计算节点 时 获得 倍的加速 使用更多计算节点时 由于

14 计 算 机 学 报 年 网络开销导致加速比开始下降, % 等人在国 产超级计算机太湖之光上利用数据并行策略训练 ) 网络 在四个计算节点上训练! # 数据 集 取得的性能是 & 至强 9 " 的 倍 *, * = 等人在拥有 ( 个服务器节点的超级计 算机!-, 上 通过 和!" 使用 块 # 6&, + " 对深度卷积神经网络加速 采用 模型并行和数据并行混合的方式 重叠通信和计算 时间 最终相比于单个 " 获得了 0 的加速 ** 比 ', 1%&, 等人在拥有 块 $ # 6&, 6 " 的集群上 采用数据并行的方式加速深 度神经网络 通过使用规约树算法提高了参数交换 的效率和可扩展性 进一步通过增大同一批次的样 本数量来减少通信总量 最终在训练 %45 - %45 网络时 相比于单 " 获得 *0 的加速 比 训练 %% & 相比于单 " 获得了 0 的 加速比 ', 等人利用协同设计的方法使用 个节点 个 # 6&," 设计了分布式深 度学习框架 (,7, 采用数据并行的方式 通过对 原有,7 框架中的工作流程进行修改 将其与!$"!" 相结合 利用 在 " 设备上加速计算任务 而!" 负责进程间通 信 最大化重叠计算时间以及多级数据传输和梯度 聚合的通讯时间 ' 实验结果表明在多节点 个 " 训练时 该框架相比于 8!" 实现了 0 的加速比 相比于!$" 实现了 (0 的加速 比 具有良好的可扩展性 ' 百度搭建的 ",11& 是一个基于 8,45 的异构 分布式深度学习系统 支持数据并行和模型并行 将 数据分布到不同节点的 " 上 通过参数服务器 协调各机器进行训练 ' 当 8,45 与深度学习框架 结合时 主要是基于数据并行的方法 在 8,45 每个 节点中运行单个深度学习框架引擎 通过节点内的 模型副本维护以及节点间的全局模型更新来达到深 度神经网络训练的有效性和快速性,!%4-. 等 人实现了 8,45 与,7 的结合 并通过引入控 制参数减少同步次数改进了传统的同步 并行 化机制, 雅虎分别实现了 8,45 与,7 #6%4 &% 的结合 并修改了 8,45 执行器之间的通信方 式来提升性能, 其中 #6%4&%8,45 框架支持 模型并行和数据并行 同步和异步的训练 同时对深 度学习框架有的程序具有很好的兼容性, 尽管用于深度学习的硬件架构和产品种类繁 多 但是由于 良好的软件生态系统 特别是 $ 持续推出支持深度学习新特性的新架构 " 硬件和深度学习加速库 目前开源的 深度学习软件都支持 这就使得目前深度学 习应用大部分都是运行在 $ " 上 ' 随着 深度学习应用的领域越来越多 在应用时除了 " 外 综合考虑运行深度学习的设备在功耗 体积 价 格和开发周期等因素 基于 " 和 的深度 学习研究逐渐成为新的热点, + 实验测试 由于 %% & 公司的大力支持 #6%4&% 开 源后用户数量迅速扩大 ' 本文以 #6%4&% 为开 发平台 使用! # 和 数据集训练深度 神经网络 在 " 和 " 计算平台上进行实验 ' 根据实验结果 分析了不同计算设备下的计算效率 '! # 数据集由手写数字图像组成 共有十 个类别 灰度图像大小为 < 共有 ( 个样 例作为训练数据集 个样例作为测试集, 数据集共有十个类别 彩色图像大小为 < < 共有 个样例作为训练数据集 个样例作为测试集, 本文对两种数据集分别采用两种深度的网络结 构来训练! # 数据集使用的网络深度为 层 包括 个卷积层和 个全连接层 在每个卷积层后 面使用了局部响应归一化操作和 < 窗口大小的 最大值池化, 数据集采用的网络深度为 层 包括 个卷积层和 个全连接层 在每个卷积层 后面都使用了 < 窗口大小的最大值池化 并在第 一个卷积层后面使用了 4%8% 操作, 两种网络具 体参数分别如表 ( 和表 所示, 层类型 表 *,-. 手写体数据集网络参数 特征图数特征图大小神经元个数卷积核大小参数个数 卷积 < < 卷积 ( < < ( 全连接 (( 全连接 层类型 表 +/0" 1 数据集网络参数 特征图数特征图大小神经元个数卷积核大小参数个数 卷积 ( < (( < ( 卷积 ( < *( < ( 全连接 全连接 * * * 全连接 *

15 期 朱虎明等 深度神经网络并行化研究综述 本文实验在西安电子科技大学高性能计算中心 完成 实验使用计算设备配置如表 所示, 测试了两 种数据集和对应的深度神经网络分别在 " 串 行 " 多线程模型并行以及单 " 下完成单批 数据的训练时间 用于比较 " 多线程模型并行 以及单 " 带来的加速效果 实验结果如表 * 所 示, 实验中 数据集使用小批量梯度下降 算法 其中 ),/6-. 参数赋值为 以 的标 准差产生正态分布的随机数来初始化权重, 并使用 个全连接层参数的 范数作为正则项 权重衰减 为 学习率为固定值 迭代次数固定为 次, 对于! # 数据集 使用小批量梯度下 降算法来训练网络 其中 ),/6-. 的大小为 (, 以 的标准差产生正态分布的随机数来初始化权 重, 使用 个全连接层的参数的 范数作为正则 项 权重衰减为, 并使用动量法更新参数 动 量大小为 *, 使用指数衰减学习率 初始学习率为 每训练完 个样本衰减一次 衰减因子 为 *, 迭代次数固定为 次, 通过测得训练单 批样本所需的时间来比较性能, 经过 # 经过 次 迭代精确率达到 **@' 由表 * 实验结果可以看出! # 和 数据集在 " 多线程模型 并行下训练相比于 " 串行分别获得了 * 和 ( * 倍的加速比 可以得出 #6%4&% 在 核 " 没有完全发挥出多核 " 的并行计算能 力,#6%4&% 在 " 上的算子并行调度机制目 前还没有公开 但实验表明进一步可以优化调度策 略, 在单 " 加速下! # 和 数据集 的训练时间相比于 " 串行分别获得了 * 和 倍的加速比 证明了 " 良好的加速能力 ' " 单 " 单精度计算能力 " 单 " 单精度计算能力! 操作系统深度学习软件 版本 版本 ": /% 版本 表 实验运行环境 <%4&%(* " <$ # 6&, # " ( )(!. 1, ( #6%4&%4 表 不同设备的单批数据训练时间 单位 +6 " 串行 " 多线程单 " 加速! # *( ( ( ( 在 " 多线程模型并行中 #6%4&% 程序 默认占用所有可以使用的内存资源和 " 资源 ' 在程序中可以通过设置函数 -4,%88,4,& &-6+ /4,16 中的 -4, 参数来控制运算符内部的并行 当运算符为单一运算符并且内部可以实现并行时 如矩阵乘法 之类的操作 可以通过设 置 -4, 参数来控制运算符内部并行计算的线程数 ' 同时可以设置函数 - 4%88,4,& &-6+ /4,16 中 的 - 4 参数控制多个运算符之间的并行计算 当有 多个运算符之间无数据依赖 互相独立 #6%4 &% 会并行地计算它们 使用 - 4 参数来控制并 行的线程数 ' 可以通过控制这两个参数来控制每个 操作符使用并行计算的线程个数 以满足不同的并 行应用场景 ' 系统默认设置两个参数都为 即占用 最大 " 资源, 本文测试了 -4,- 4 两个参数对 " 多线 程训练两种数据集计算效率的影响 结果如表 所 示 ' 由表 可以看出 参数为默认值时 " 运行 效率最优 ' 4 参数在设为 时相比于设为 时有 明显的性能提升 但再增加该参数值 时间不会降 低 '4, 参数从 运行时间都有明显的下降 且下降幅度逐渐降低 ' 并且随着两个参数大小的增 加 " 负载逐渐升高 当 - 4 为 -4, 为 时 训练时间接近于默认情况 且负载也接近于默认情 况下的负载 ' 对比得到 -4, 参数带来的影响大于 - 4 参数 分析原因是因为卷积神经网络中的多数 运算符可在内部并行 如卷积以及全连接层的矩阵 乘法操作 而不同运算符之间有数据依赖 如池化操 作依赖于与其相邻的卷积操作 全连接层的矩阵乘 法操作依赖于上一层的输出结果 因此不利于操作 符之间的并行 ' 总之 #6%4&% 在 " 上的模型 并行效率还有很大的提升空间 ' 表 1 两种参数不同数值下的 / 多线程性能 - 4-4, 单批次时间 +6 " 单批次时间 +6! # " ( ( *( ( *( ( ( ( (( ( ( *( (

16 ( 计 算 机 学 报 年 深度神经网络并行化的挑战和展望 深度神经网络带来了机器学习的一个新浪潮 受到了从学术界到工业界的广泛重视 ' 然而由于深 度神经网络算法流程复杂 迭代次数多 计算复杂度 高的特点使得深度神经网络在并行化时存在一些挑 战和瓶颈 下面我们对深度神经网络未来的并行化 发展提出几点值得探索的方向 基于 8 的并行深度神经网络算法的 性能可移植性 由于开发语言的多样性 使得针对一种异构计 算硬件开发的并行深度神经网络算法在另外一种并 行计算硬件上运行时必须投入大量人力资源进行代 码重写和性能优化 ' 目前的解决方法之一是采用跨 平台的编程语言 8 虽然 8 能够运行 在这些不同的异构硬件上 实现了代码的可移植性 ' 然而由于这些异构计算硬件内部结构的巨大差异 使得 8 撰写的统一代码还不能实现性能的可 移植性 在一些异构计算硬件上运行时算法的性能 距离硬件的理论计算峰值差异比较大 ' 因此 基于 8 的并行深度神经网络的性能可移植性特别 是异构并行计算程序的自调优技术亟需研究者解 决 (, 深度神经网络模型并行中任务的自动划分 已有的研究成果表明深度神经网络模型并行化 主要针对已设计好的神经网络结构采用手工划分网 络并将其映射到不同的计算设备上 手工划分网络 由于对任务负载的运行时间估计不够精准容易导致 计算节点上的负载不均衡 *(, 要想实现网络模 型的自动划分并且达到负载均衡 还面临着如何构 建精准的深度神经网络算子性能模型以及设计任务 调度算法的难题, (( 深度神经网络目前主要采用计算图来表 示 为了将计算图中的计算任务映射到多个并行计 算的硬件系统上 首先需要对计算图中的深度神经 网络算子构建性能模型 考虑硬件体系结构对程序 运行时间的影响 分析神经网络算子的执行过程 获 得影响其程序性能的因素 最终构建深度神经网络 中各个算子的性能模型, 通过对性能模型求解 得出 每个算子在并行计算设备上的执行时间, 然后结合 深度神经网络的结构特点 设计合理有效的任务调 度算法 通过调度算法得到深度神经网络的模型划 分策略 根据得到的模型划分策略将计算图中的计 算任务映射到并行计算的硬件系统上, 深度神经网络数据并行面临挑战 对于深度神经网络数据并行未来发展的趋势 可从两个方向出发 第一是从算法角度 设计收敛速 度快通信代价低的分布式随机梯度下降算法 第二 是解决集群中不同节点间的通信瓶颈问题 ' 多节点之间参数更新方式的选择 目前对分布式随机梯度下降算法中参数更新的 方式主要有同步和异步两种机制 同步 由于较 慢节点所带来的同步等待使得数据并行时的加速比 并不理想 异步 收敛精度不够且在训练后期可 能出现震荡现象 ' - 等人提出的针对机器学习领 域迭代算法的 " * ( 虽然可以解决上述问题 但 是对于参数规模越来越庞大的深度神经网络来说 仍无法满足要求 需进一步优化 ' 因此 需要设计出 一种新的参数更新机制 在保证算法精度和收敛速 度的前提下 减少同步等待所带来的开销 ' 异构计算节点间通信瓶颈 在处理海量数据和复杂模型时 通过高速网络 将多台异构计算机互联起来组成异构计算集群 目 前互联的网络有千兆以太网 万兆以太网和 7- - ;, 1 网络等 ' 集群的网络带宽如 7- -;, 1 现在最 高可达 ; 6 但是与异构计算节点内部的内存 交换速度相比 还是相差很大 ' 现有的深度神经网络 框架如 #6%4&% 等在解决节点间同步问题时通 常使用基于参数服务器的通信方案 该方案中通信 开销将随着系统中节点数的增加而增大 从而影响 系统的并行计算性能 ' 因此在设计基于异构集群的 并行深度神经网络算法时必须考虑节点之间的网络 带宽带来的性能影响 目前一种典型的优化方法就 是发送节点先对梯度进行压缩 然后通过网络传输 接收节点对收到的梯度进行解压缩 最后利用梯度 更新权值 无损压缩由于没有改变梯度值因此不影 响深度神经网络算法的收敛性 但是由于压缩比受 限 其带来的并行计算性能提升也相对有限 ' 有损压 缩成为目前减少网络通信代价的热点方向 但是由 于有损压缩改变了梯度值 因此其会影响算法的收 敛性 减少通信代价和保证算法收敛性之间的平衡 * 成为关键 ' 基于新形态计算机的深度神经网络加速研究 由于摩尔定律的放缓和应用的日趋复杂 传统 的冯 诺伊曼体系结构在应用于深度神经网络等人 工智能应用时存在很大的局限性 因此研究新型计 算机越来越迫切 ' 基于新型材料的!

17 期 朱虎明等 深度神经网络并行化研究综述 , 1%+ 66! +%4: 被认为是今后 替代当前! 作为密度更大 功耗更小的下一代 存储的技术之一 '/- 等人充分利用了! 既能作为存储器件 又能进行模拟计算的特性 将 其用于加速神经网络计算中的矩阵乘法 在卷积网 络 多层感知器和 $ 网络上实验表明了其加 速和节能的有效性 特别是由于其采用了内存处理 "4%66-! +%4:"! 架构 其访问数据的 时间可忽略不计 ',3 "-3 % 4+, '% 9%&-%,& 4,& %456 7%4 % ,,&- :, "4% 1-6 %7 / 4, -%,& % 7 4 % %+8 4$-6-%, 1",4%- -% '%& +; 6 -,% - / 2/,% - 3, /3,,&' 8, , -%, 1 %- -% ') Ā-#6-/, :" /-6 焦李成 赵进 杨淑媛等 ' 深度学习 优化与识别 ' 北京 清华大学出版社 ( B! -46/- 5,&',64 总 结 深度神经网络给人工智能的发展带来了希望 但是随着训练数据集的增大和网络规模的日趋复 杂 导致深度神经网络的训练时间越来越长 ' 因此 深度神经网络的并行化是加速人工智能发展的重要基础 ' 本文通过对当前深度神经网络并行化技术进行归纳总结 以及对模型并行 数据并行原理的阐述 和常用开源软件系统中并行化方法进行了分析 ' 在 此基础上 列出了深度神经网络并行化存在的挑战并对未来的发展趋势进行了展望 ' 可以预见 随着异构计算平台的快速发展以及并行化技术难题的不断 解决 深度神经网络应用的时效性问题会得到不断 的突破 并将成功应用到更多的领域中 ' #%,416 4,&-+ %;A 1 -% - / 4-% 84%8%6,& %456"4% 1-6 %7 / 4,& 7%4+, -%, 1 "4%66- :6+'!%4,&,,1, * ** /",8, 14 % %55- %6,&'+,- -+, 6+, -% - /18 % 9%&-%,& 6, 17 &: %1 6',4-9( /4%7,&- /5% "/-&;-', ; 11-7%47,4%- -%, 1 & 64-"4% 1-6 %7 / % 7 4 % %+8 4 $-6-%, 1 ",4 %- -% ')%6 % * / 2 12/,2,&'!% %&,4%;A 1 -% 7%4,% %+% "4% 1-6%7 / ( % 7 4% %+8 4$-6-%, 1",4%- -% ',6$,6( ( +- -! +- /!, - A65- '% /,6 -;,6 1 4%; 6 1:,+- 4 6% 4,&%, -% 7%4-1 81,656-, / 4%% 6 %+8-6:6+' % 4,&%7 ",4,& &, ; 1%+8-(* *( $-C,6! 4, &,)) 14,1'- /84%1-9- : + & - 致 谢 感谢 计算机学报 编辑部和审稿人的宝贵意见! 参考文献 /- #, #- (- ' 4%68, 1%&%%5 %7;4, &- 4 6,4 /'/-6% 4,&%7 %+8 46( * - /-6 曾毅 刘成林 谭铁牛 ' 类脑智能研究的回顾与展望 ' 计算机学报 ( *,#- (/-"-#,,-,&'6,4 / % + & -+ 1-, / %&% : 19, 6, 1 41 %7 ;4,-&-5%+8-' % 4,&%7+,, 1 4,8/- 6( - /-6 黄铁军 施路平 唐华锦等 ' 多媒体技术研究 类脑计算的研究进展与发展趋势 ' 中国图象图形学报 ( -%,&,5/1- %9'1- / 1-+6-%,&- :%7 1,, - / 4,&%456'-(( &%-, -% - / / / 4%% 6 84% 4,++- -;4,4:' % 4,& %7 ",4,& &, ; 1 %+8- (( ++ 46%!,+8 4 '4+- -, 1-+84%9- / 7, &%& 4, %7 + & -&,: % 6-, 8,4 4%- -%,88&-, -% ' %456** * #4, 6,-% 6 % 4,&,-4 $ -%,4,; '-7-1&-, % )%&.+, +, /-6"4% 1-6%7 / / 4, -%,&% 7 4%!, /-,4 -',-7, 64, & ",45, 1; 4 '-9 46,&,884%0-+, -%6-4,1-,& ;,6-6 7-% %456'4,&%+8, -% ** ( + &/,4 -% =-&-,+6', , -% 6;:;, 5 84%8,, - 44%46',4 *( ( ( -,%- / 3, /3, -,,&'9 : :,46; :% 1 4,&%456 4%68, 1 84%68 ' /-6% 4,&%7%+8 46( *(* (- /-6 焦李成 杨淑媛 刘芳等 ' 神经网络七十年 回顾与展望 ' 计算机学报 ( *(* (

18 计 算 机 学 报 年 -7,- $- ; "! & 4,&'%4,-9,% % & ,4-, 1 4-7,4 0 4,-% "4% 1-6%7 // 4, -%,&% 7 4%!, /-,4 -') & 9 -% 4-./ 965: =, '#4, 67%4+-,% %1 46"4% 1-6%7 /4, -%,& % 7 4 % ,&4,& %456' 68%% - &, 1 * /! 2 =- ; 44 B /, '!,4 -,&-. 1 1%-6-,%%1 467%41%+,-,1,8, -% "4% 1-6 %7 / 4, -%,& % 7 4 %!, /-,4 -' 1- ; 4 / ( 4%66,,, / 3'% 9%&-%,& 18; &- 7%4567%46,&,;& &,4 - %7 /- 4,4 /-,&4 84 6, -% 6"4% 1-6%7 /4, -%,& % 7 4%!, /-,4 -'!%4,&,,1,* (* (( "/,+",4 +, 3 3' ,4 &,4-7%4, 1-% &,66-7-, -% 6- % 9%&-%,& 18 ; &- 7%456"4% 1-6%7 / 4,& 7%4+, -%, 1 "4%66- :6+'$,% 9 4,,1,**(,., %!)% 4, 3 3' 8,46 7,4 &,4-7%418; &- 7%456"4% 1-6%7 / 4,& 7%4+, -%, 1 "4%66- :6+' $,% 9 4,,1, *,- $ ',4,&-+,1%-6- - / % 9%& -%,&%456"4% 1-6%7 / 4,& 7%4+, -%, 1 "4%66- :6+'$,% 9 4,,1, (* ( B -,+ /2,&'#-& 1 % 9%&-%,& 4,& %456"4% 1-6 %7 / 4,& 7%4+, -%, 1 "4%66- :6+'$,% 9 4,,1, * #,:&%4 46 3)4& 4'% 9%&-%,& &,4 - %7 68, -% +8%4,& 7,4 6"4% 1-6 %7 / 4%8, % 7 4 % %+8 4 $-6-% ' 4,5&-% 4 ( $- ",4% / &,A%-,&', 5 11%-6-,% %1 46,4-6 7 & , -% 6 -, 18 %45 - /,&%,&1% % ' % 4,&%7!, /-,4-6,4 / / B 2/,%,&' 7- -, 14%; 6 18 &,4 - - /%44 4%8: - 1 1&%667-% ' % 4,&%7 4,&%+8-, 1 88&-, -% 6( * B $ -,+ %,6,&'%8 -+-., -% +/%16 7%4 18 &,4 -"4% 1-6 %7 / / 4, -%,& % 7 4%!, /-,4 -! ') & 9 ( * 4-./ 965: % '+, &,66-7-, -%- /18 % 9%&-%,& 4,&%456"4% 1-6 %7 / 4,& 7%4+, -%, 1 "4%66- :6+6',5 #,/% *. 1:- = -,3 B,&' % / % 9% &-% 6"4% 1-6%7 / % 7 4% %+8 4 $-6-%, 1",4%- -% ')%6 % * -+% :, , '$ 4:18 % 9%&-%,&%456 7%4&,4(6,& -+,4%- -% "4% 1-6%7 /4, -%,&% 7 4%,4-84 6, -% 6',-%,4-9* (9(!2/, 3 ' ,&&,4-7%4 -+,4%- -% "4% 1-6%7 / % 7 4% %+8 4, 1",4%- -% ',6$,6( %%17 &%"%!-4.,!,&'4, -9,19 46,4-,& 6"4% 1-6%7 / 4,& 7%4+, -%, 1 "4%66- :6+'!%4,&,,1,(( /- =,B",&') /+,45-6,(%7/ (,4 18&,4-6%7,4%%&6',4-9(*9 ( 3) -% 3-% ' 8&,4 -',4 ( (!,A!!,4 - -& )' 8, & 9 &,4-7- -,&- &- - /,168 % &-+- 8%5 4'- (( 2/,/,/ -'/,&67%4 +, /-,4 -'- -, - -,( ( - /-6 张长水 ' 机器学习面临的挑战 ' 中国科学 信息科学 ( ( 2/% - 3,- -"% '9-%7 % 9%& -%,& 4,&%45'/-6% 4,&%7% /-6 周飞燕 金林鹏 董军 ' 卷积神经网络研究综述 ' 计算机学 报 * 3,- -, -/3B-,' 8&, ,: %1,:, 1 %+%44% ' % 4,&%7 %+8 4 6,4 /, 1 9 &%8+ '* ** - /-6 余凯 贾磊 陈雨强 ' 深度学习的昨天 今天和明天 ' 计算 机研究与发展 * ** -,%- / 2/,% - 3, /3,,&'6,4 /,19, 6% 68,46%- -9 &,4 - %+8-, 14%- -% '/-6% 4,&%7%+8 46( * - /-6 焦李成 赵进 杨淑媛等 ' 稀疏认知学习 计算与识别的研 究进展 ' 计算机学报 ( * /3-2 2/,%,&' 8&,4 - ;,6 1 &,66-7-, -% %7/: ,&1,,'% 4,&%7&1 #% &- 1,4 / ;6 49, -% 6, 1+% 6- (* 2/,% 3-2/,2 '! & -+ 1-,44-9,&9-,18 &,4 - %4, 5' -,&"4%66-46 **, = %%-B' 8,4 /- 4 7%4 4,7-7&% %8; &- 7%456 - /+ & -,65 &,4 -' #4, 6,-% 6%&- #4, 68%4, -% :6+6* % =,% )#,% - ')&- 1-+,,&- :, ,18&,4 -' #4, 6,-% 6% 4,& %456, 1,4 - :6+6 (( (

19 期 朱虎明等 深度神经网络并行化研究综述 * -&9 4,!,11-6%'!,64- /,+ %7 % - / 18 4,&%456, 1 4 6,4 /',4 ( ** ( % ;-# & 5% ' ,4,& & 4,8/ ( - "%B - "'4, - 6, & 6% ; 1 +, /-&,4 -% ;- 1,,' - 4-"4 66( * * ( %:,&""-% 4-46/- 5,&' 4,&, &%4, -% %! & -%4 ", 1 " "4% 1-6%7 / ;,/ #4,- - +, - % 4',4-9 4, -%,&% 7 4% ",4,& &4 /- 4 6, 1 ( (9 %+8-&, -% #/ - 6'=,6/- % - 5%&6,&: = '#/ " %+8-4,'!- 4%( (* %1, - 4,+%4;,&,&'- / 6, 1- % 1 4, -%& % "/- 84%1 '!- 4% ( (( * /+,1 )%88,,$,6%9,&'(++ & -84%6-6:6+ % /-87- &1 84% 4,++-,,44,:8&, 7%4+'!- 4%( ( (,4&, 1! 4, 1-5%&6,&'",4,& & % /'!- 4% ( 4: %7 /4-6 -,. 1:' ),/ %4+,&-., -% & 4, - 18 %45 4,- - ;: ,& %9,4-, 6/-7 "4% 1-6 %7 / 1 4, -%,& % 7 4%!, /-,4 -'-& 4, ( ( /4-6 -,. 1: $- $, /%5 4: %7 ' /- 5- / - 8 -%,4 /- 4 7%4 % % "4% 1-6%7 / %+8 4 % -: % 7 4% %+8 4$-6-%, 1 ",4 %- -% ' 9,1, ( ( ( /4-6 -,. 1:4:%7 $- $, /%5,&' 8 -%9 8 -%6, 1 / +8,%76-1,&,9-4 -,.,+ &-,!%.,4%&7% 6% - %'6 49 : % -% 6%,4 -',40-9((( %78,4,& &84% 4,++- +%1 &6, 1 %%&6-/ + & -, 1 (( /& 4 =%%& : $, / ",&' +, :%44,' #4, 6,-% 6 % ",4,& &, ; %418&,4 -',4-9 *9 :6+(*(,- 65: / 1& 4,&% %-,&'% +, : /4,16 ( -,3 B / &/,+ 4,&',7 % 9%&-%,&,4 /- 4 -&;%% +, :" / 6,&,;-&- :%7 8!"-+8& +, 7%47,6 7,4+; 11-"4% 1-6%7 /1! -% 6"4% 1-6%7 / 6 4%8, % 7 4% ",4,& & 4, -%,& % 7 4 %! & -+ 1-,' 4&, 1% "4%66-'$-, 6 4-, ( ( ( -,),&,Ā") -,6,&' -+8& +, -%, 1 ( ;,1-!,4,& ),4/,+ ",&' #6%4&% 9,&, -% %7 /!"%(6-1 1 %++-, -% - 47,',4(6,& +, /-&,4 - % / 4%% ; 1 % 44 :, 1 %+8, -% "4,-, :6+6',4-9(( 9( ( (* /# B-!- 3,&'! 7& 0-;&, 1 2,/,4-,! - =1 &",&'8, /8, , /-&,4 -&-;4,4:7%4/ 4%% ; %4;- 1,,84%66-'%++-, -% 6%7 / 6:6+6',4-9 9!( * ( ( -1 4, 5,4,&+- '#!- 4%6%76%8,%4,1%!%,,&',46,& ; 1 6% 418 &,4 - %%&5- "4% 1-6%7 /1! 18%456"4% 1-6%7 / 4,& 7%4+, -%, 1 4, -%,&% 7 4% % & 1-6 %9 4: "4%66- :6+',5 #,/%, 1,,!- -', 4,-6 %( ( --8,4 %B,&' 08&%- -;%1 16,& 66 %681 8;- 1,,,,&: - 6"4% 1-6%7 / 6-0 % 7 4% 6-0 #/ -,&% 7 4'"/-&,1 &8/-, -! 1 46",45 =',& ; 1+, /- &,4 - - / / 8,4, "4% 1-6%7 /4, -%,&% 7 4 % )-,, -, 1 %+8-' ) Ā-/-,* 4-./ 965:' %48,4,& &-.- % 9%&-%,& 4,&%456',4-9** 9 * -8,4 %B -+,&' %&9- / 6 4,& 484%;& + - /;%1 16,& 66"4% 1-6%7 / 6-0 % 7 4 % % #% , - :6+6'! 0- % ( %B-8,4-,&'!% ; 1!9-,, 6,& 6:/4% % 68,4,& &8,4, "4% 1-6%7 / 4,& 7%4+, -%, 1"4%66- :6+',5 #,/% %&%; 4 ) -%!,4- /%. ' #%4 / +%1 &,4 +, /-&,4-6%7,4 &-;4,4:'-661-,8 6,4 / 6-6,4 /8%4"( " 45-6'& %4 / /,41,4 (,%6 - ;, 517%4 / #%4 /18 4,&%45&-;4,4:;,6 1%8',4-9 (( 9( #,+ #&47% &,-,&'#/, % 8: /% 74,+%457%47,6%+8, -% %7+, / +, -,& % 6',4-9((9(,-,!,1/,9, 3',4(6,& &,4-6- 4,8/- 684%66%46"4% 1-6%7 / 4, -%,&% 7 4%!, /-,4 -'!%4,&,,1,* 2% 3 --3'!,4-,,#18&,4-8&, 7%4+, 1-6,88&-, -% 6'"4% 1-6%7 / $ )1% + ' % & %4, ( 3,1,1,+6 #,- +, 3'! & -" #4,- -%7 % 96',4-9 9

20 计 算 机 学 报 年 -# % 3 -,,&' ; &- 7%456 % " 6"4% 1-6 %7 / 4, -%,& %- % 7 4% 4,& %456' -&,4:4 &, 1-3,3!,&' %4: 7- - : 7%418 % 9%&-%,& 4,&%456%" 6"4% 1-6%7 / ( 4, -%,& % 7 4 7%4 - / " 47%4+, %+8- %45-%4,, 1,&:6-6',&,5 - : ( ( * -2/,, 4,&' ",&,;& 18 &,4 -% ; 1 " 6 - /, "68-,&-. 18,4, "4% 1-6%7 / / 4%8, % 7 4 % %+8 4 :6+6'% 1% ( ( - 3,%3,&' 8,7& 4, -, 1,;&-, 4%66 8&, 7%4+ +, /-&,4-74,+%45 "4% 1-6%7 // 4, -%,&=%456/%8%8' $-, 6 4-,( )% & 6% ,&' &,78, & 4,1,7 7%4 % 9%&-%,& 4,& %456 "4% 1-6%7 / ( / 4, -%,&",4,& &, ; 1 "4%66- :+8%6- + =%456/%86' /-, % ( $- ;5! +- "&,, ;4,/,+ ' 8,4,& &-., -% 6 / + 7%4 4,- - % 9%&-%,& 4,& %456%& % "/-' % 4,&%78 4 %+8- -=, =,,&'",4,& &-.- % 9%&-%,& 4,&%456%&+, :-4,1 %4,4 /- 4 "4% 1-6%7 // 4, -%,&% 7 4% 4 /- 4 %7%+8- :6+6'"%4 %"%4,& &,6#!&.5% = % - 5-,&'1,8, -% %7 18 ; &- 7%456 % +%1 4 + & - %4,4 /- 4 6 "4% 1-6%7 // 4, -%,&% 7 4% ",4,& & "4%66-, 1 88&- 1!, / +, - 6' 4,5% "%&, 1 ( * 2&,65- ',&,;&4,- - %7 % 9%&-%,&%456% + & -, 1+, :%4 6' % 4,&%7 ",4,& &, ; 1%+8- (* ( / #2,&' -,,%6+,& 7%% 84- /- //4%/8, & 4, %47%4 ;-- % 6 +, /-(&,4 - "4% 1-6%7 / * / 4, -%,&% 7 4% 4 /- 4,&88%4 7%4 "4% 4,++-,,6, 1 8 4, - :6+6',&,5 - :(* /3 %#-,&', -,,% +, /-(&, %+8 4"4% 1-6%7 / /,&! 4, -%,& :+8%6- + %!- 4%,4 /- 4 ',+;4-1 (* (,!,%,&:= ' 8 % % % ,&%456 - /84-4,-1,-., -%, 1 / 7+,%1-',4-9*( *,-!,%,&' % % ,& %45"4% 1-6 %7 /! 4, -%,& :+8%6- + % % /- 4 '% & %/ %4,( * % 88-3% ", -&,&'1,, 48 47%4+,,,&:6-6%7, 6%484%66%4',4-9 (9 * 1,/, 14,$,6-5,,&'#/4%/8 % ;,6 1 ", & 4, %47%4&,4(6,&% 9%&-%,& 4,&%456"4% 1-6%7 / (! 4, -%,& :+8%6- + % - &1 "4% 4,++,;&, 44,:6',&-7%4 -,(( * 2/, - '+84%9- / 8 47%4+, %7 8 ;,6 1 ", & 4, %4 7%4 % 9%&-%,& 4,& %45 "4% 1-6%7 /! 4, -%,& :+8%6- + % - &1 "4% 4,++,;&, 44,:6',&-7%4 -, * :1%,% &,8,&Ā,,&'8 #! 18&,4 -, & 4, %4%,44-, "4% 1-6 %7 /! 4, -%,& :+8%6- + % - &1 "4% 4,++,;&,44,:6',&-7%4 -,( * % 4;,4-, 0!) -% 3,9-1 "')-,4: % #4, ,&%456 - /;-,4: - / %8,, -% 6"4% 1-6%7 / * /,&% 7 4% 4,& 7%4+, -%, 1 "4%66- :6+'!%4,&,,1, * 49-,1/-/ 7- &1-+,&' & 4, -;-, ,&%456%+8,4-6% %7 " "", 1 "4% 1-6 %7 / 4, -%,& % 7 4 % - &1"4% 4,++,;& #/ %&% :' -, /-,( *( 49-,1/- $5,6/-+,&', " 6;, " 6-, & 4, -04, -% 18 4,&%456 "4% 1-6%7 /! 4, -%,& :+8%6- + % - &1 "4% 4,++,;&,44,:6'!% 4 : * % - 3 =,,&'6 4-1 )%&.+, +, /-6, 1 18 ; &- 7%456%,: & 64 "4% 1-6%7 //4, -%,&% 7 4% - /" 47%4+, %+8-, 1%++-, -% 6' :1: 6 4,&-,( * =3, /, 3,&' 8-+,,&- 8-+, 4%- -% ',4-9 (9 **, 1%&,!%65-.! =6/4,7,&' -4,7,4 &-,4, & 4, -% %718 4,&%45 4,- -% %+8& 646"4% 1-6%7 / % 7 4% %+8 4 $-6-%, 1 ",4 %- -% ',6 $,6 ( * (,,+-1%/,6/+-!", 1, ' (,7 % 1 6--!"4 -+ 6, 1,7 7%46,&,;& 18&,4 -% +%1 4"& 646"4% 1-6%7 / 1!" :+8%6- +% "4--8& 6, 1"4,- %7",4,& &"4% 4,++-' 6 -* 3',4(6,& 18&,4 -, ),-1 "4% 1-6%7 /1! 4, -%,& % 7 4 % 7%4+, -%, 1% & 1!,,+ ', 4,-6 %!%4-."-6/-/,4, %-,,&' 8,45#4,- - 18%456-8,45',4-9( 9

21 期 朱虎明等 深度神经网络并行化研究综述,& /# &64'!, /-&,4 - ;,6 1,%- %8 -+,&6 % /,6-4, /,88&-, -% 6 % 7%4/, %4+, 8%4,;-&- : %7 8,88&-, 4,- - 4,&%456',4-9(( -% 6'% 44 : D %+8, -% "4,-D * -1 4%88%,&' ;- 6 % /,6-4,1- * 1 6, 1-6,88&-, -% % 1,, 8,4,& & ; 1 #6,-3! 6.. 5"4.,5%,4, '" 47%4+, ( 4,- -%768 / 6"4% 1-6%7 / /,& "%4,;&,% - % &67%4 % 9%&-%,& % 7 4 %7 / 4, -%,& 8 / %++-, -% &,: 46%718 4,&%456"4% 1-6%7 / ( 66% -, -% ' -,8%4 (!, /-,4 -- " 9-4% + 6',&,5 - : -,%- / -3, 3,-,,&'B, + * %+8, -%8 -+-., -%, 1,4 -') Ā--!-4/%6 - -"/,+ B $,&'9-8&,+ " /-6 %8 -+-., -% - / 4-7%4+ &,4 -"4% 1-6 %7 焦李成 李阳阳 刘芳等 ' 量子计算 优化与学习 ' 北京 /4, -%,&% 7 4%!, /-,4 -' :1: 科学出版社 6 4,&-,',4-9 ( * 9 "% %5# / +, 3%,&'61:%7 %+8& 0 ( %%56! 44 6/%7!,&' 8&,4 - - /1:,+- 18&,4 -%456% /- /8 47%4+,4%+%48/- %+8, -% 4,8/6"4% 1-6 %7 / 4, -%,&, 1, + %+8 46',4-9 ( % 7 4%,4-84 6, -% 6'",&,-61 6%4E6 8#% &% 4, ',4-99 ;- : 4 %&1; 4 3,&' :#/ 1:,+- 4,&%45 %%&5- ',4-9 * &-6,4/4 ;--,&'B %++-, -% %4,( * /-"-,&'"! %9 &84% %4:,4 /- 4 7%4 4,&%45 %+8, -% -! ;,6 1 +,- + +%4:"4% 1-6 %7 / 41 4, -%,& :+8%6- +% %+8 44 /- 4 '% &,23;%4 - * "/' ',66% -,84%7 66%4'-64 6,4 / & 1 /- /8 47%4+,%+8-, 1 +,66-9 &:8,4,& &+, /-&,4 -' 4 ;%4 - **!' ', 1-1,' 44 6,4 / /- /8 47%4+,%+8-' 5" 4 /623;%4 - * * "/' '84%7 66%4 "/' ' %4'-64 6,4 / & 1 - & %, 1-+,1 46, 1-' 7" ;%4 - * "/' '84%7 66%4 "/' ' %4' 44 6,4 / & 1 - &- 6-,&, 1-+,84%66-+, /-&,4 -' 9 ;%4 - * "/' '84%7 66%4"/' ' %4'-64 6,4 / ,84%66-' 9 %!3 2 / &,6 7 :,4618 4,&%45/,6& 1, 4, 8 47%4+, %,9,4-:%784%;& +66/,6,%+, ,,,&:6-6, 168 /4%- -% '%9 4 - / / -4,6-, 4, : , 1 %+8& 0- :7%4 / 84,-,&,88&-, -% 6 / 6-. %7 /4,&%456 ;%+ 6 08&%6-9 &:&,46,&4,- -&,418+%1 &-6 %+8, -%,&: 086-9, 1 -+ ( % 6 +-'#/ 4 7%4-666,4: %, & 4,&,4 18&,4 - +%1 &- 8,4,& &'&:/ 4%% 6 %+8-8&, 7%4+66/,6 "!, 1 ",4-1 &: ,4 /7- &16, 184%9-1/ /,41,4 7%1, -% 7%4 / 8,4,& &-., -% %7 / 18 4,& %45' #/ 8,4,& & 84% 4,++-74,+%45 /- /-& 1 8 8!"!" 8,45, 1 6% % -6, ;4-1 ; / 4%% 6 %+8-8&, 7%4+6, 118 4,&%45' #/ 4 7%4 - ;%+ 6+%4, 1+%4 -+8%4, % 7- - &:, & 4, / 18 4,& %45 6- / 4%% 6 6:6+,4 /- 4 6' #/-6 %45-68,4 -,&:6 88%41;: /, -%,&- %1, -% %7 /-, ( /, -%,& ),6-6,4 / "4% 4,+ %7 /-, ) * /!,A%4, -%,&- -7-6,4 /"4%A 6*, 1* / "4% 4,+7%4/,Ā,/%&,46, 1%9, -9 6,4 / #, : #'44 6,4 /,+ /,6 ; %45- % /- / 8 47%4+,%+8-, 1 +,66-9 &: 8,4,& &+, /-&,4-7%4+, ::,46'&,1 %456/,9 ; 8 ;&-6/ , -%,&A% 4,&6, 1 % /,6 ""' /-68,8 4-9,; %7 / 1 9 &%8+ %7 8,4,& &, ; 118&,4 --/ 8,6 '= +,- &: 7%6 % -4%1- / 8,4,& & /,41,4,4 /- 4 6%7,4 6:6++%1 &8,4,& &-6+, 11,,8,4,& &-6+7%4 18 4,&%45' %&%1;: /-66 ++,4-./ 6,%7 /,4 %78,4,& &18 4,&%45 4 6,4 / %45'=,&6% 1-666% 4 /%/ 6, 1,,&:6-6 %/ ,4 /1-4 -% 6'