电子设计工程zw

Size: px

Start display at page:

Download "电子设计工程zw"

寺本簧首
5 years ago
Views:

1 第 26 卷 Vol.26 第 23 期 No.23 电子设计工程 Electronic Design Engineering 2018 年 12 月 Dec 孙正忠中国科学院上海微系统与信息技术研究所上海上海科技大学信息科学与技术学院上海中国科学院大学北京摘要文中基于快速建模个性头发并在手机上实时渲染高质量头发的目的采用了玛雅的毛发建模系统对头发进行建模并用 Python 脚本一键导出建模好的发丝曲线数据在移动端利用 KaijiyaKay 的光照模型对头发进行实时渲染其中玛雅的毛发建模系统是被广大三维建模工作者所普遍采用的一种建模头发的方法具有很强的通用性同时开发者通过脚本导出玛雅中建好的发丝模型并直接应用到移动端渲染程序中这大大提高了开发效率测试结果表明本文的方法针对上万根发丝的头发模型在 iphone 5s 上仍可达到每秒 25 帧以上的渲染速度满足了绝大多数移动应用的需求关键词头发建模玛雅头发渲染移动端中图分类号 TN 文献标识码 A 文章编号 A hair modeling and rendering solutions for mobile SUN Zheng zhong Shanghai Institute of Microsystem and Information Technology Chinese Academy of Sciences Shanghai China 2. School of Information Science and Technology ShanghaiTech University Shanghai China 3. University of Chinese Academy of Sciences Beijing China Abstract: Based on the rapid development of personalized hair and the real- time rendering of high- quality hair on a mobile phone this paper uses Maya's hair modeling system to model the hair and uses Python scripts to derive the modeled hairline curve data. Then we use Kajiya- Kay's lighting model to render the hair in real time. As we all know the Maya s hair modeling system is widely used by the majority of 3D modeling workers. At the same time the developer can export the hair models built in Maya through the script and directly apply it to their mobile rendering program which greatly improves the development efficiency. The test results show that the method of this paper still achieves the rendering speed of more than 25 frames per second on the iphone 5s for ten thousands hair meeting the needs of most mobile applications. Key words: hair modeling Maya hair rendering mobile phone 在计算机图形学和三维人体重建领域头发的在人们面前 [1] 但是头发由于其数量众多纤细以及建模和渲染一直以来都是最具有挑战性的部分近半透明等特点在人体的三维重建中一直都是最难年来随着虚拟现实 Virtual Reality VR 和增强现重建的部分之一往往最终也只能以面片和贴图的多的出现在我们的移动设备中利用数十台相机搭移动端中的显示效果实 Augmented Reality AR 的崛起虚拟人物越来越形式来进行渲染呈现这就大大影响了人物模型在建的 360 度光场环拍系统可以对真人进行动态的采而在电影和动画片的制作中为了得到高质量集和重建使人体的三维模型可以栩栩如生的呈现收稿日期稿件编号的头发渲染效果通常需要对发丝来进行高精度的人工建模并结合基于物理的头发渲染算法通过多基金项目上海市优秀学术带头人计划项目 17XD 作者简介孙正忠 1992 男山东烟台人硕士研究生研究方向计算机图形学虚拟现实

孙正忠重反射和折射历时几个小时最终才能渲染出一张高质量的图像 [2] 这在对实时性要求很高的 VR 和 AR 应用中是难以接受的尤其要放到移动端的话这更是不可能的事情文中将提出一种适用于移动端的头发建模和基于发丝的实时渲染的解决方案开发者可以利用玛雅 Maya 等常见的三维建模软件快速建模发丝并直接导入移动端进行高质量的实时渲染图1 1

这些插件建模头发的主要思路总结起来有两种方式 [5-9] 1 选定一块头皮在该头皮上建模主头发线条以此来确定发型的基本形状软件会根据主头发线条自动插值出更多的发丝进而形成较为浓密的头发例如 nhair XGen 等工具这种方法比较适用于长发的建模 2

2 孙正忠重反射和折射历时几个小时最终才能渲染出一张高质量的图像 [2] 这在对实时性要求很高的 VR 和 AR 应用中是难以接受的尤其要放到移动端的话这更是不可能的事情文中将提出一种适用于移动端的头发建模和基于发丝的实时渲染的解决方案开发者可以利用玛雅 Maya 等常见的三维建模软件快速建模发丝并直接导入移动端进行高质量的实时渲染图1 1 头发建模游戏天剑中的头发如今最常用的三维建模软件主要有 3dsMax 和 Maya 在 3ds Max 中主要以 Cem Yuksel 博士的 Hair Farm 毛发制作插件最具代表性 [3] 而 Maya 汇集了当今最先进的头发建模方法 [4] 并提供了多种多样的头发建模插件和工具例如 nhair Shave Yeti XGen XGen 交互式修饰等这些插件建模头发的主要思路总结起来有两种方式 [5-9] 1 选定一块头皮在该头皮上建模主头发线条以此来确定发型的基本形状软件会根据主头发线条自动插值出更多的发丝进而形成较为浓密的头发例如 nhair XGen 等工具这种方法比较适用于长发的建模 2 软件根据所选定头皮自动生成头发用户可以改变头发的长度和浓密并利用提供的笔刷像理图 2 通过发丝渲染出来的头发效果 Kajiya-Kay 光照模型 Kajiya-Kay 光照模型是最早提出的针对头发的光照模型由于其良好的渲染效果而被广泛应用该光照模型把头发的光照看成由漫反射和镜面反射两部分共同作用的结果并用一个光滑的半径很小的圆柱体来近似表征一根发丝发一样对生成的头发进行修剪和造型将其塑造成自己想要的样子例如 XGen 交互式修饰这种方法对于短发的建模非常好用 2 头发渲染 2.1 移动端头发渲染方法目前移动端用到的头发往往是面片加贴图的形式如图 1 所示虽然比较生硬效果不够真实但 [10] 是由于其建模简单渲染速度快等优点目前仍是移动端头发渲染的首选而通过发丝渲染出来的头发能够看到一根根发丝飘逸的效果具有极佳的视觉效果 [11-12] 如图 2 所示但由于其巨大的计算量图3 Kajiya-Kay 光照模型 Kajiya-Kay 光照模型中重要的向量和角度如图 3 所示其中单位切线向量 t 表示头发的切线方向光线向量 l 指向光源的方向反射向量 r 指向反射在移动端往往无法支撑如此高质量的渲染因此光的方向即最大镜面反射的方向眼睛向量 e 指如何在移动端实现快速的发丝渲染就成了众多图形向观察者眼睛的方向角度θ和φ分别是切线向量和学开发者研究的方向光线向量的夹角切线向量和眼睛向量的夹角 2.2 光照模型目前基于发丝的头发渲染使用最广泛的光照模型是 Kajiya-Kay 和 Marschner 两种模型 [13] [14] 根据 Lambert 光照模型漫反射部分的光强可以通过以下公式来计算 I diffuse = K d sin θ

电子设计工程 2018 年第 23 期其中 K d 表示漫反射的系数由于头发表面具有光滑的特质光线在头发表开启 TressFX 的渲染效果对比如图 4 所示面会形成高光 Kajiya-Kay 光照模型给出的镜面反射强度计算公式如下 I specular = K s(cos θ cos ϕ + sin θ sin ϕ) p 2 其中 K s 表示镜面反射的系数

3 电子设计工程 2018 年第 23 期其中 K d 表示漫反射的系数由于头发表面具有光滑的特质光线在头发表开启 TressFX 的渲染效果对比如图 4 所示面会形成高光 Kajiya-Kay 光照模型给出的镜面反射强度计算公式如下 I specular = K s(cos θ cos ϕ + sin θ sin ϕ) p 2 其中 K s 表示镜面反射的系数将漫反射和镜面反射部分结合起来再加入环境光的部分就是头发完整的光照计算公式 I KajiyaKay = L a K a + (L i (I diffuse + I specular )) 其中 L i 表示光照的强度 K a 表示环境光的反射系数 L a 表示环境光的强度 Marschner 光照模型 Marschner 光照模型是在对头发物理结构进行研究的基础上测量出 3 维空间中光线在头发上发生散射后不同方向上的辐射强度根据光线在头发上的散射规律推导出的一种可行的光照模型 Marschner 光照模型把入射光线分成 3 部分第一部分是反射光线 R 这一部分光线并没有进入头发而是在头发表面直接反射第二部分是折射折射光线 TT 这一部分光线进入头发中在头发表面发生了两次折射第三部分光线是折射反射折射光线 TRT 这一部分光线在头发表面发生了两次折射在头发内部表面发生了一次反射光强的计算公式如下 4 I Marschner = Path R + PathTT + PathTRT 其中 Path R PathTT 和 PathTRT 分别对应上述入射光线的 3 种情况这虽然近似模拟了真实光线照射到头发上可能发生的 3 种情况但也大大增加了光照渲染的计算量令人遗憾的是渲染效果提升并不明显因而由于 Kajiya-Kay 光照模型计算相对简单在效果和速度上能取得很好的平衡所以本文将采 2.3 TressFX 头发渲染技术早在 2013 年显卡厂家 AMD 就在游戏古墓丽影中推出了基于发丝的头发实时渲染技术 TressFX 技术通过 DirectCompute 接口进行编程能够充分发挥出真正全新下一代图形架构 Graphics Core Next GCN 的大规模并行计算能力从而获得以往需要预先渲染才能实现的图像品质 [15] 同时 TressFX 基于当前的次序无关透明技术 Order Independent Transparency OIT 工作这种方法使用了单像素链接列表 Per-Pixel Linked-List PPLL 数据结构来管理复杂的渲染过程及内存使用 [16] 是否游戏古墓丽影中未使用左和使用右 TressFX 的渲染效果图虽然 TressFX 具有极佳的头发渲染效果能够渲 3 lights 取 Kajiya-Kay 光照模型在移动端进行渲染图4 染出很好的自阴影和半透明效果但是复杂的运算也对 GPU 的性能提出来很高的要求目前只能在高性能独立显卡上运行不能在移动端使用 3 工作流程 3.1 基于 Maya 的头发建模本文将以 XGen 交互式修饰为例这种方法是 Maya 近两年推出的一种建模头发的方法因其使用简单快捷受到广大开发者的青睐 XGen 交互式修饰提供了一系列专用于创建所有头发和毛发样式的完整工具其中包括雕刻笔刷修改器和雕刻层交互式修饰描述和修改器是基于 Maya 的节点因此它们可以在节点编辑器中进行操纵这些节点在系统的图形处理单元 GPU 上进行计算使笔刷笔划可以实时显示从而提供无需预览生成的交互式工作流虽然交互式修饰头发的所有数据都将保存到 Maya 场景文件中但用户还可以将修饰保存到基于 Alembic 的缓存文件使用 XGen 交互式修饰建模头发的流程可总结如下其中每一步对应的结果如图 5 所示 1 确定虚拟角色模型的待生成头发区域即表示头皮的部分网格模型本文称作头皮网格可以是三角形网格或四边形网格 2 为选取的头皮网格创建交互式修饰样条线 3 使用 XGen 自带的修改器和修饰笔刷对头发进行造型同时可以利用 Maya 自带的 Arnold 渲染器实时预览头发为头发添加噪声设置卷曲程度使其更加逼真利用 Python 脚本导出发丝曲线利用 XGen 交互式修饰建模出来的头发由于所有数据都保存在 Maya 场景文件之中因而只能在 Maya 中进行渲染和使用但 Maya 本身是支持脚本语言的这为我们导出头发数据创造了可能 Maya

孙正忠表1 使用 OpenGL ES 进行渲染的总体流程算法使用 OpenGL ES 进行渲染的总体流程初始化 OpenGL ES 环境加载编译及链接着色器读取并加载人体头部 obj 模型将顶点法线纹理坐标传到 VBO 中并设置好 VAO 读取并加载发丝模型并计算发丝的切线方向将顶点切线数据传到 VBO 中并设置好 VAO 进入渲染循环{ 检测手势输入更新模型矩阵

用脚本来处理 Maya 中的数据为了可以在移动端的渲染程序中使用建模的发丝模型首先需要利用 Maya 自带的工具将其保存到基于 Alembic 的缓存文件然后使用 Maya 打开刚刚图6 存下来的缓存文件 abc 格式我们可以看到里面的不同发型的移动端实时渲染效果发丝是非均匀有理 B 样条 Non-Uniform Rational B- 直发长卷发和短发的渲染效果

4 孙正忠表1 使用 OpenGL ES 进行渲染的总体流程算法使用 OpenGL ES 进行渲染的总体流程初始化 OpenGL ES 环境加载编译及链接着色器读取并加载人体头部 obj 模型将顶点法线纹理坐标传到 VBO 中并设置好 VAO 读取并加载发丝模型并计算发丝的切线方向将顶点切线数据传到 VBO 中并设置好 VAO 进入渲染循环{ 检测手势输入更新模型矩阵更新着色器中的参数如光照参数颜色参数等绑定与头发相关的 VAO 使用头发的着色器渲染头发绑定与头部模型相关的 VAO 和贴图使用头部模型的着色器渲染头部 } 图5 XGen 交互式修饰工具建模头发过程主要支持的脚本有两种 [17] 分别是 MEL 和 Python 前者是 Maya 自己的脚本语言有着自己的语法规则而对 Python 语言的支持则使更多的开发者可以通过使用脚本来处理 Maya 中的数据为了可以在移动端的渲染程序中使用建模的发丝模型首先需要利用 Maya 自带的工具将其保存到基于 Alembic 的缓存文件然后使用 Maya 打开刚刚图6 存下来的缓存文件 abc 格式我们可以看到里面的不同发型的移动端实时渲染效果发丝是非均匀有理 B 样条 Non-Uniform Rational B- 直发长卷发和短发的渲染效果我们可以清楚的 Maya 中运行编写好的提取发丝的 Python 脚本将一当转动头发模型的时候高光也会随之产生相应的 Splines NURBS 曲线的形式现在我们就可以在根根 NURBS 曲线以自定义的顶点数和格式存下来以供渲染程序使用 3.3 头发渲染的 OpenGL ES 实现为了实现在移动平台上进行实时渲染的目的我们使用 OpenGL ES 来进行渲染 OpenGL ES 是 OpenGL 三维图形 API 的子集针对手机 PDA和游戏主看到头发反光的高光部分以及发尾一丝丝的头发改变十分真实尤其是在短发模型中同时载入利用光场重建出来的人体头部模型和 Maya 中建模的头发模型分别对二者进行渲染在实现了极佳的头发渲染效果的同时也增强了头部模型的真实性上述 3 个头发模型的发丝数和顶点数如下 1 长直发根发丝个顶点机等嵌入式设备而设计与只可以在 ios 中使用的 Metal 不同 OpenGL ES 在 Android 和 ios 等移动设备中均可以使用这将大大方便我们将代码移植到其他移动平台 [18-19] 使用 OpenGL ES 进行对发丝进行渲染的总体流程如表 1 所示 2 长卷发根发丝个顶点短发根发丝个顶点不同性能手机上头发渲染速度我们在自 iphone 5s 以来的多款苹果手机上对于图 6 所示的 3 种头发模型进行了渲染速度的测试由于垂直同步的原因在 iphone 上渲染帧率最 4 实验结果与分析高为 60 帧每秒 Frame Per Second FPS 从表 2 可 4.1 具有上万根发丝数十万个顶点的头发模型本文的移动端不同发型的渲染效果如图 6 所示分别是在移动端对基于发丝的长以看出在 iphone 5s 以后的这几款机型即便是对于渲染速度均可保持在 25FPS 以上基本可以达到普

5 电子设计工程 2018 年第 23 期表 2 不同手机渲染帧率对比表不同款式移动设备中的渲染帧率 (FPS) ipone5s iphone6 iphone6s iphone7 长直发长卷发短发通应用的渲染要求尤其是在 iphone 6s 以后的机型, 渲染速度可以达到 60FPS 满帧, 这足以满足移动端 VR 和 AR 应用的需求这就为在移动端 VR 和 AR 应用中实时渲染高质量头发奠定了坚实的基础 5 结束语本文提出了一种针对移动端的头发建模和渲染的方案, 使得开发者可以快速在 Maya 中建模发丝模型并导出到移动端进行高质量的实时渲染该方案流程相对简单, 同时取得很好的头发渲染效果, 非常具有实用价值不过目前的头发渲染效果与 TressFx 还有一定差距, 主要是没能处理好头发的半透明和自阴影的问题随着 VR 和 AR 技术的发展,Unity3d 逐渐成为移动端 VR 和 AR 应用最主流的开发工具后续的工作将针对渲染效果和渲染速度进行优化, 并制作头发建模和渲染的 Unity3d 插件, 便于 VR 和 AR 开发者的使用和集成本文的方案参考文献 : [1] Collet A,Chuang M,Sweeney P,et al. Highquality streamable free- viewpoint video[j]. ACM Transactions on Graphics(TOG),2015,34(4): 69. [2] Yan L Q,Tseng C W,Jensen H W,et al. Physical ly- accurate fur reflectance:modeling,measurement and rendering[j]. ACM Transactions on Graphics (TOG),2015,34(6):185. [3] Yuksel C,Schaefer S,Keyser J. Hair meshes[j]. Acm Transactions on Graphics,2011,28(5):1-7. [4] 郑刚. Maya 特效设计与制作 [M]. 北京 : 北京师范大学出版社,2014. [5] 张骈, 侯进. 高斯核函数快速插值的头发实时仿真与渲染 [J]. 计算机辅助设计与图形学学报, 2017,29(2): [6] Yu X,Yu Z,Chen X,et al. A hybrid image-cad based system for modeling realistic hairstyles[c]. Proceedings of the 18th meeting of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games. ACM,2014: [7] 李康, 耿国华, 周明全, 等. 一种快速可重用的三维头发模型建模方法 [J]. 西北大学学报 : 自然科学版,2013,43(2): [8] Chai M,Shao T,Wu H,et al. AutoHair: fully auto matic hair modeling from a single image[j]. ACM Transactions on Graphics(ToG),2016,35(4):116. [9] 谈杰, 侯进. 真实感虚拟人头发动态仿真研究 [J]. 计算机应用研究,2017,34(4): [10] 周一飞, 樊养余, 雷涛. 发带头发模型的快速渲染及发型控制 [J]. 计算机工程与应用,2013,49 (20): [11]Lansink M. Hair simulation and rendering[d]. Uni versity of Twente,2010. [12]Chiang M J Y,Bitterli B,Tappan C,et al. A practical and controllable hair and fur model for production path tracing[c]// Computer Graphics Forum,2016,35(2): [13]Kajiya J T,Kay T L. Rendering fur with three dimensional textures[j]. Acm Siggraph Computer Graphics,1989,23(23): [14]Marschner S R,Jensen H W,Cammarano M,et al. Light scattering from human hair fibers[j]. Acm Transactions on Graphics,2003,22(3): [15] 林以诺. 我不是洗发水我是发丝渲染 AMD TressFX 技术解析与实际体验 [J]. 微型计算机, 2013(12): [16]Yu X,Yang J C,Hensley J,et al. A framework for rendering complex scattering effects on hair[c]// Proceedings of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games. ACM, 2012: [17] 王澄宇. MAYA 脚本应用手册 : 表达式与 MEL 语言 [M]. 北京 : 人民邮电出版社,2013. [18]Ginsburg D,Purnomo B,Shreiner D,et al. OpenGL ES 3.0 programming guide[m]. Addison- Wesley Professional,2014. [19]Bailey M,Cunningham S. Graphics shaders: theory and practice[m]. CRC Press,

何秋琳张立春视觉学习研究进展视觉注意视觉感知

何秋琳张立春视觉学习研究进展视觉注意视觉感知第卷第期年月开放教育研究何秋琳张立春华南师范大学未来教育研究中心广东广州随着图像化技术和电子媒体的发展视觉学习也逐步发展为学习科学的一个研究分支得到研究人员和教育工作者的广泛关注基于此作者试图对视觉学习