摘要 虚拟现实 (VR) 有希望成为新一代计算平台, 而 Cloud VR 是推进 VR 大规模应用的最佳形态和趋势, 将是 5G 时代的典型应用 本报告由中国移动 5G 联创中心 中国信通院 华为 ilab 乐相 华为终端 AR&VR 产品线 视博云 Strategy Analytics 等联合撰

Transcription

1 中国移动 5G 联合创新中心 China Mobile 5G Innovation Center 中国移动 5G 联合创新中心创新研究报告 云 VR 应用 (2018 年 ) 2018 年 6 月

2 摘要 虚拟现实 (VR) 有希望成为新一代计算平台, 而 Cloud VR 是推进 VR 大规模应用的最佳形态和趋势, 将是 5G 时代的典型应用 本报告由中国移动 5G 联创中心 中国信通院 华为 ilab 乐相 华为终端 AR&VR 产品线 视博云 Strategy Analytics 等联合撰写和发布, 期望推动云 VR 产业的规范发展与生态繁荣, 实现云 VR 与 5G 的发展共赢 报告从 5G 承载 Cloud VR 出发, 首先分析 VR 产业的发展现状和关键挑战, 并识别出 5G 云 VR 的重点业务, 包括视频点播 直播 游戏 教育培训等 ; 其次, 围绕业务体验, 剖析云 VR 业务对终端 网络及云渲染的关键能力需求 ; 并对 VR 视频直播及 VR 互动两大类重点业务, 介绍其创新技术与业务解决方案 ; 最后对未来基于 5G 网络, 发展云 VR 业务的商业前景及商业模式进一步展望 2

3 目录 1 5G VR 重点业务分析 虚拟现实技术概述 虚拟现实技术概念 虚拟现实产业现状 虚拟现实重点业务介绍 虚拟现实视频点播和直播 影视及社交 虚拟现实游戏 虚拟现实教育培训 虚拟现实旅游及展览展示 虚拟现实工业及建筑 虚拟现实医疗领域 虚拟现实军事领域 虚拟现实的用户体验 虚拟现实用户体验概述 虚拟现实用户体验现状 瓶颈及趋势 G 云化虚拟现实 (Cloud VR) 产业发展与关键挑战 Cloud VR 是 VR 产业发展的最佳形态 Cloud VR 的关键挑战 G 云 VR 关键能力需求 管道 :5G 通信能力需求 网络速率及时延 覆盖 端 : 终端能力需求 云 VR 终端功能需求 云 VR 终端多形态

4 3.2.3 云 VR 终端通信需求 云 VR 终端计算能力 云 : 处理能力需求 图形渲染类业务能力 视频处理类业务能力 G 云 VR 业务解决方案 G 云 VR 视频直播业务解决方案 解决方案框架与关键流程 解决方案特点与优势 G 云 VR 强交互业务解决方案 解决方案框架与关键流程 解决方案特点与优势 G 云 VR 切片网络解决方案 解决方案框架与关键流程 解决方案特点与优势 结语 :5G 云 VR 商业前景及商业模式...45 参考文献...48 联合编写单位及作者

5 1 5G VR 重点业务分析 随着计算能力的不断提升, 移动终端更加小型化 智能化, 人机交互趋于 自然化发展, 经历了计算机 智能手机的演变后, 虚拟现实 (VR) 有希望成为 新一代计算平台, 将是 5G 时代的典型应用 1.1 虚拟现实技术概述 虚拟现实技术概念 虚拟现实 (Virtual Reality, 简称 VR) 是指借助电脑 智能终端 头显及传感器技术, 通过体感交互为用户构建一个虚拟的浸入式 可交互的环境, 获得与真实世界相同 身临其境的感受和体验 其具有 4i 特性 : 沉浸感 (immersion), 交互性 (interaction), 构想性 (imagination), 智能性 (intelligence) VR 具有多维感知性,VR 系统可以在视觉 听觉 触觉 运动 嗅觉 味觉等方面向用户提供全方位的表现, VR 是一种不同于视频和音频的新媒体类型 VR 的概念覆盖了多种关键技术和应用形态 例如全景视频采集拼接 自由视角技术 计算机图形学 计算机视觉 传感器技术 光场技术 数据压缩传输技术等 基于上述关键技术,VR 可以衍生出多种应用形态 例如基于 360 全景视频及自由视角技术的在线点播和事件直播, 基于计算机图形学的 VR 游戏 VR 仿真等 这些应用形态也会对应到不同的用户场景, 例如娱乐 社交 医疗健康 旅游 建筑房产 零售 教育培训 工业工程和军事等领域 5

6 1.1.2 虚拟现实产业现状 目前国内虚拟现实生态圈逐步走向成熟, 国内厂商在虚拟现实行业的元器件供应 终端设备 内容制作工具 应用开发 游戏开发 影视制作 媒介分发等环节均有布局 虚拟现实市场规模巨大, 预计 2022 年将达到 100 亿美元, 游戏 及硬件是最大收入来源 ; 据统计,2017 年中国 VR 终端设备市场主要由外接式 VR 头盔 VR 一体机 手持式 VR 盒组成, 有线头显和手机盒子分别占到 27% 26%; 随着技术的发展预计 2018 年下半年一体机将有较大增幅, 而低端手机盒子占有率将逐步下降 虚拟现实产业为综合性行业, 核心价值点多 从行业细分可分为核心元器件 终端设备 通用操作系统 基础网络 应用市场 云平台 应用开发 应用开发软硬件工具八大部分 ; 涵盖 ICT 和互联网两大产业 当前,VR 视频直播 游戏 终端设备是产业发展的主要方向 而个人消费级产品发展离不开良好的沉浸式体验, 而决定体验的关键因素就是终端 内容 平台和基础网络 ; 当前 VR 产业链的多个环节均存在着不足并不同程度上影响着虚拟现实产品最终的体验 1.2 虚拟现实重点业务介绍 虚拟现实应用领域可以按照个人消费级市场 企业级市场划分 ; 个人消费级市场可细分为视频点播 直播 游戏 社交 教育等领域, 企业级市场可细分为军事 医疗 建筑 工业等领域 ; 企业级市场较个人消费级市场的体验场景更为细分和复杂 虚拟现实视频点播和直播 影视及社交 虚拟现实的沉浸性使其在直播影视领域发展迅速 虚拟现实视频的应用主 要在虚拟现实视频点播和直播 影视及社交三个方面 6

7 虚拟现实视频点播和直播, 通常为 360 度全景拍摄, 支持多角度播放, 主要为事件直播 新闻 体育赛事 演唱会现场 展会等, 覆盖受众广泛 虚拟现实直播, 以被动拍摄为主, 场景丰富, 视频源丰富, 整体难度相对较低 目前存在的问题是 : 用户观看习惯 交互习惯还需要时间培养 ; 全景拍摄设备 后期算法 拼接技术及观看设备的局限性 虚拟现实影视, 主要为剧情式拍摄, 以主动拍摄为主 全景拍摄往往对影视制作带来巨大的挑战, 主要体现在 : 全景拍摄镜头要求达到广电级别 ; 多画面的合并拼接 ; 导演及演职人员思维模式及制作模式的颠覆性变革 目前国内外多个虚拟现实领域的巨头都在研究虚拟现实视频社交, 通过实时互传的全景视频来建立一个社交环境, 虚拟视频社交也成为当前产业的热点方向 虚拟现实视频点播和直播的推广与网络切合紧密, 高质量的网络环境可以给体验者带来流畅自然的体验 目前现有网络存在延时高 带宽低等问题会给用户带来眩晕感等不舒适的体验, 沉浸感会随之变差 虚拟现实游戏 虚拟现实游戏产业, 作为虚拟现实技术最被看好的应用领域一直是各大厂商以及创业公司投入最多的一个应用领域 利用虚拟现实显示技术, 给用户提供高沉浸感的 VR 游戏成为继 MUD 2D 3D 游戏之后, 游戏设计开发的新方向 VR 游戏从内容模式可划分为 : 被动接受型 ( 纯体验 ) 主动操作型( 单机 ) 交流互动型 ( 联网 ) 三种模式, 三种模式对于 VR 终端设备及基础技术的要求也逐步增高, 而联网游戏依据对网络需求的不同, 又可以细分为低交互性游戏和高交互性游戏 虽然 VR 游戏作为 VR 内容产业最重要的组成部分, 已经得到了各个公司的足够重视, 但限于用户规模 终端设备 开发技术 网络能力等多方面的原因, 目前仍未出现像 PC 游戏 手机游戏中那样的杀手级产品 ; 在四大内容平台上的 7

8 VR 游戏数量也仅有几千的量级, 与其他平台游戏数量相差巨大, 单个游戏的用 户数量也停留在几千 几万的级别, 远远不能支撑一个产业 ;VR 游戏还需要借 助终端设备, 内容开发商 基础网络能力等技术能力的持续发展 虚拟现实教育培训 虚拟现实教育培训包括 360 度全景展示和沉浸式的互动操作, 主要应用在虚拟现实演示教学与实验 远程教育系统 特殊教育和技能培训 虚拟现实教育培训补充了传统教育实操机会的不足, 打破了时空的限制, 给教育带来无限的可能 虚拟现实技术在教学与实验中应用, 不仅可以使课堂教学形象生动, 还增加了互动性实验, 达到高效的教学成果 特殊教育的主要对象是视力 听力等残疾者, 通过虚拟现实技术, 对残疾学习者运用缺陷补偿, 更好地提高教学效率 技能培训主要通过虚拟现实技术构建技能训练或者职业实训的虚拟环境, 使学生切实感受到真实的工作环境, 更好地掌握职业技能, 增强就业的自信心 对于高难度 高危险的工作进行培训, 更加安全可靠, 并且节约成本 在远程教育培训场景下, 现有网络仍存在带宽不足, 时延较高等问题, 下一代无线网络将为教育培训领域的虚拟现实应用提供低时延传输技术的支持 虚拟现实旅游及展览展示 虚拟现实的沉浸特性将用户身临其境旅游景点 远程参观展会 博物馆 样板间等变为可能 虚拟现实远程展示可根据展示内容细分为虚拟景区 虚拟展厅和虚拟样板间 虚拟景区利用虚拟现实技术模拟实景, 构建虚拟的三维景点环境, 让游览者可以足不出户游览千里之外的风光 虚拟展厅是将展品和展示空间通过 VR 技术在网络端重建, 让用户可以通过 VR 设备在虚拟展厅中漫游, 浏览展品, 甚至 8

9 与展品进行互动 虚拟样板间既利用虚拟现实技术构建虚拟的三维样板间, 让用户不必亲临现场即可体验房屋的空间布局和尺寸体量 虚拟现实展览展示目前受限于移动网络的传输能力, 主要应用于家庭 办公 展览馆等室内场所 虚拟现实工业及建筑 虚拟现实的仿真应用和可视化功能让工业产业在信息化时代得到新机遇 新发展 目前虚拟现实技术在工业领域的应用主要可分为工业装配 工业展示 设备维修等 ; 在城市建筑方面的应用主要为城市规划 建筑设计 销售展示 虚拟现实技术解决了工业制造业的高成本问题 虚拟现实工业装配可优化复杂产品设计, 避免或减少物理模型的制作, 缩短开发周期, 降低成本, 从而实现产品的并行开发, 提高装配质量和效率, 改善产品的售后服务 虚拟现实工业展示可以对工业制造过程的机械原理更加生动清晰的呈现 ; 也可基于化工厂施工图纸或实景, 建立 3D 虚拟现实场景, 全面生动地展示工厂的真实面貌 虚拟现实设备维修, 工程师利用虚拟现实技术进行真实维修操作前的模拟工作和远程指导, 以提高真实维修操作的准确度 建筑领域在虚拟现实上的应用主要为城市规划 建筑设计以及销售展示 城市规划和建筑设计方面, 设计师利用虚拟现实技术, 可以从中了解并发现设计上的不足, 开创一种全新的设计方法 销售展示方面的应用, 虚拟现实技术能够提前为用户展示真切的城市建筑方案, 为其提供一种全新的视觉体验 工业展示方面对网络依赖较大, 其中设备维修和工业展示的使用场所很可能处于户外和展厅移动场所, 对移动网络的依赖性较强 ; 工业维修所处于专业企业内部环境的情况较多, 对移动网络的依赖性较弱 虚拟现实医疗领域 虚拟现实在医疗健康领域的应用主要在疾病的诊断 康复治疗和医学教育 9

10 三个方面 随着虚拟现实技术的不断发展, 全球很多医疗组织开始尝试新的应用 虚拟现实技术可以帮助医生进行各种疾病的诊断, 为医生诊断提供更便捷的工具 例如, 虚拟内窥镜的软件可以观察到病人的毛细血管的精细度 将虚拟现实技术应用于辅助康复治疗能够在患者的运动康复训练中提供精确的测评 辅助 监控等 在医学教育中广泛合理地应用虚拟现实技术进行实践教学 远程观摩真实手术过程, 对医学生巩固医学基础理论 掌握基本操作技能 提高独立操作能力及分析和解决病症的能力均能够有效地提高 在临床医学领域, 由于医疗环境本身的限制, 医疗设备对网络环境的要求较高, 而 Wi-Fi 网络无法完全覆盖全部医疗环境 虚拟现实军事领域 虚拟现实的仿真特性能够很好地对战场环境 武器装备甚至士兵伤亡情况进行模拟, 对军事演练的发展起到有力的推进作用 利用 VR 系统进行装备训练和作战演练能够有效提高士兵的学习效率和临场心理素质, 并在一定程度上降低训练费用和危险性 目前虚拟现实在军事领域的应用可以分为战役环境模拟 军事训练 提供联合演习平台 在战役环境模拟方面,VR 技术能够逼真地模拟战地场景的地形 气候 武器装备和作战人员, 让指挥员在接近实地环境的场景中观察战况 判断敌情并做出决策, 提升指挥员的指挥能力 虚拟现实军事训练可分为虚拟战场环境下的作战训练和虚拟武器装备的操作训练 虚拟战场环境下的作战训练能够帮助参训人员提高战术动作水平 心理承受能力和临场应变能力 ; 虚拟武器装备的操作训练能够有效地解决军队现阶段大型新式武器装备数量少的难题, 同时又能解决部队面临的和平时期部队训练场地受限的问题 10

11 VR 技术还能够模拟大规模联合战役的战场, 让参战双方实现虚拟联合演习, 很大程度上节省演习成本, 以较小的代价发现实战中可能存在的问题, 提高多方协同作战能力 综上所述, 虚拟现实在个人消费和企业级市场的多个领域都有着重要的应用价值 但目前受到终端设备 内容 网络三大制约, 导致虚拟现实市场规模目前还无法迅速增长 随着技术的发展, 预计在 2020 年以后, 虚拟现实终端设备将能提供较高的体验水平 ; 随着内容生产能力的不断提升, 内容源也将在几年后得到爆发 ;5G 提供的高带宽 低延时网络也将成为虚拟现实产业发展的巨大推动力 1.3 虚拟现实的用户体验 虚拟现实用户体验概述 虚拟现实的本质是通过模拟现实环境 物品, 以及人的视觉 听觉甚至触觉感受为用户提供仿真的虚拟体验, 虚拟现实的一切技术都是通过 体验 呈现给用户的 虚拟现实的用户体验分为虚拟现实的特性体验和虚拟现实作为消费电子产品的通用用户体验 虚拟现实的特性体验以其 4i 特性为基础, 主要包括沉浸感 交互性 视觉舒适度等 沉浸感可以理解为虚拟环境的真实感, 虚拟环境越逼真, 用户沉浸感越强 此外, 由于虚拟现实体验是独立于现实环境的封闭式体验, 所以减少现实环境的干扰也是保证沉浸感的重要因素 与传统电子消费产品相比, 虚拟现实的交互性更强调交互方式和体验的自然性, 即模拟现实环境中人与物体的交互方式 虚拟现实作为消费电子产品的通用用户体验主要包括易用性 可穿戴性 易学习性 吸引力 耐用性等用于描述其产品软 / 硬件基本质量和设计水平的要素 11

12 1.3.2 虚拟现实用户体验现状 瓶颈及趋势 近年来,VR 技术已被广泛应用, 产品性能也不断完善, 但仍面临关键技术的挑战和用户体验的瓶颈 虚拟现实用户体验的瓶颈主要体现在沉浸感 交互性和视觉舒适度方面 影响沉浸感的主要瓶颈是视场角不足导致的视觉真实感下降, 当设备视场角小于人眼视场角时, 会导致用户感觉自己在通过一个 窗口 观察场景, 而非置身在虚拟环境中 影响交互性的主要瓶颈是产品的跟踪方案, 自由度和跟踪精度会直接降低产品的交互操作的准确性和真实感 影响视觉舒适度的因素主要包括虚拟现实设备的清晰度 延迟 刷新率等软硬件参数的不足, 造成用户眩晕, 影响用户的使用时长 此外, 由于市场中大部分虚拟现实设备功耗较大, 使用时长较低, 也是降低用户体验的重要因素 为了解决虚拟现实用户体验的诸多瓶颈, 开发者们不断尝试新的技术以提升视场角 跟踪方式 软硬件清晰度 延迟 刷新率 设备功耗等软硬件参数 云 VR 技术通过云端渲染技术使得 VR 应用能够在云端渲染, 降低了本地渲染和计算造成的延迟和设备功耗, 减少本地存储对内容清晰度的限制, 减少对设备性能的要求 采用云 VR 技术的虚拟现实设备在清晰度 延迟 设备功耗 硬件尺寸 重量等方面都具有明显的体验优势, 还可以解决用户在体验虚拟现实设备时外接线路的干扰, 提升产品用户体验的效果较为明显 12

13 2 5G 云化虚拟现实 (Cloud VR) 产业发展与关键挑战 2.1 Cloud VR 是 VR 产业发展的最佳形态 VR 产业链在逐步形成 : 终端正在朝着轻量化 移动性发展, 内容也会逐步丰富,VR 游戏 VR 视频等娱乐场景有望成为主体 在未来,VR 的场景主要以强交互应用居多, 少量弱交互应用 弱交互应用当前以 360 全景技术为主 :VR 360 视频 事件直播 旅游 房地产等领域 强交互场景主要以 CG 技术和复杂的计算机图形渲染为主 : VR 游戏 教育 医疗 工程等领域 CG 技术主要是通过计算机图形学实时渲染, 渲染出虚拟的实体, 计算复杂度高, 对 CPU 和 GPU 要求比较高, 当前主要的问题是计算机图形实时渲染放在本地终端, 导致 VR 终端价格昂贵 设备也比较笨重 有一根 HDMI 线影响移动性 内容也主要是以本地为主, 得不到集中高效分发, 用户没有比较轻便的渠道获取到各种 VR 内容, 内容厂商的版权也得不到保护, 从而制约了 VR 整个产业链的快速发展 虚拟现实技术对社会的生产力和消费力有很大的促进作用, 如何解决上述制约 VR 发展的问题, 让 VR 发挥更大的作用? Cloud VR 解决方案是推进 VR 大规模应用的最佳形态和趋势,Cloud VR 解决方案主要特点是 :VR 头显无绳化 VR 的 CG 计算机图形实时渲染云化 内容云化 那么 Cloud VR 解决方案是如何实现呢? Cloud VR 是将云计算 云渲染的理念及技术引入到 VR 业务应用中, 借助 高速稳定的网络, 将云端的显示输出和声音输出等经过编码压缩后传输到用户 的终端设备, 实现 VR 业务内容上云 渲染上云 Cloud VR 解决方案将计算复 13

14 杂度高的渲染上云, 大幅降低 VR 终端的渲染计算压力, 使 VR 终端容易以轻量的方式和比较低的消费成本能被用户所接受 ; 内容云化 集中化 ; 计算机图形渲染移到云上后, 内容以视频流的方式通过网络推向用户, 借助网络的 Wi-Fi 和 5G 技术, 可把连接终端的 HDMI 线减掉, 实现终端无绳化 移动化 Cloud VR 解决方案将 VR 能快速发展的体系分成了五大体系 : 头显 内容 制作 网络通信 计算机图形云渲染 感知交互 只要产业形成合力, 把这五 大体系的技术问题解决,VR 的大规模应用和普及就指日可待 2.2 Cloud VR 的关键挑战 Cloud VR 解决方案同时也存在一些关键挑战需要产业解决 : 1) 云化后高码率音视频流的传输以及实时交互要求加剧了 VR 本来就很棘手的时延 晕动症等问题, 影响用户体验 其中,Cloud VR 对于网络传输的需求呈现出明显的大带宽 低时延发展趋势, 除了 VR 已有的技术挑战外, 如何在端到端网络带宽及时延受限的情况下满足 VR 体验要求, 是 Cloud VR 面临的最大挑战和必须解决的首要问题 2)VR 的视频码流比较高,Cloud VR 头显无绳化后, 需要支持新的接入技术来保障好的业务体验 : 一种是 5G 蜂窝网技术, 另外一种是 5G Wi-Fi 技术 14

15 3 5G 云 VR 关键能力需求 3.1 管道 :5G 通信能力需求 网络速率及时延 业务领域 发展阶段 分辨率 帧率 (FPS ) 编码标准 传输方式 网络速率 (Mbps) RTT 时延 (ms) 发展早期 4K 60 H.265 全视角 20~40 20 VR 视频直播 入门体验 8K 90 H.265 进阶体验 12K 3D 120 H.266 全视角 FOV 全视角 FOV 90~130 30~50 500~ ~ 注 : 此处分辨率为视频全景分辨率 表 3-1 VR 视频直播类应用通信能力需求 业务领域 发展阶段 分辨率 帧率 (FPS ) 编码标准 传输方式 网络速率 (Mbps) RTT 时延 (ms) 发展早期 2K 70 H ~50 20 VR 强交互类 入门体验 4K 90 H ~ 进阶体验 8K 120 H ~ 注 : 此处分辨率为设备双目分辨率 表 3-2 VR 强互动类应用通信能力需求 覆盖 根据 VR 业务应用场景的不同对通信网络的覆盖广度提出了不同需求, 具体 15

16 归纳见下表 例如, 视频直播 游戏等业务将需要实现室内 室外以及热点覆盖, 部份极端场景下将对网络的室外高速覆盖能力具有较高需求 随着 VR 业务的不断扩展和普及, 对通信网络的覆盖需求从有限热点区域覆盖向无缝广域覆盖扩展 等级覆盖场景典型应用 1 2 室内覆盖 ( 住宅 办公室 教室 商场 体育场馆 ) 室外高速覆盖 ( 汽车 地铁 高铁等交通工具 ) 赛事直播 教学直播 游戏 医疗 直播 游戏 3 室外小范围热点赛事直播 演唱会直播 游戏 4 室外连续大范围连续覆盖游戏 旅游 表 3-3 VR 通信网络覆盖需求 3.2 端 : 终端能力需求 云 VR 终端功能需求 云化虚拟现实终端将在显示 交互以及跟踪技术上与普通虚拟现实终端技 术保持一致, 并向着小型化 轻便化 更高清晰度及更大视场角发展 云 VR 终端的图像显示质量要求 让用户真正感受到 VR 画质体验的是单眼分辨率 (FOV 分辨率 ), 可换算为在全视角 FOV 区域中每个角度可见的像素数量 (Pixels per degree, PPD) PPD 数值越高, 视场的像素密度越高, 画质体验就越好 正常视力的用户一般可分辨的 PPD 是 60 16

17 VR 要达到与传统 TV 相同的 PPD, 需要更高的单眼分辨率和全视角分辨率 以全视角 FOV=90 为例, 全视角分辨率达到 8K 时, 单眼分辨率为 1920*1920, 对应 PPD=22; 全视角分辨率升级 12K 时, 单眼分辨率为 2880*2880,PPD 仅提高到 32 人眼单眼的极限视场角在 156 度,PPD 为 60 时单眼屏幕分辨率需达到 60*156=9360 按照当前的状态及未来发展趋势, 我们将云 VR 终端的分辨率和视场角划分为如下 3 个阶段 : 发展早期 入门体验期 进阶体验期 单眼分辨率 1080*1200 2K 4K 视场角 表 3-4 VR 终端的分辨率和视场角发展阶段 支持异步扭曲或者再投影 Motion-to-Photon 是 VR 非常关键的一个指标, 指的是从采集到用户的头 部运动 (Motion) 到渲染 (Render) 到最后显示的全部系统延时 一般情况下 的 Motion-To-Photon 如下图 : 图 3-1 Motion-To-Photon 示意 17

18 在云 VR 架构中, 前两步 : 第一步 (Input) 用户姿态的获取在 VR 终端上完成, 通过网络上传到服务器端, 第二步 (Game Engine) 在服务器端完成渲染, 压缩再传递给 VR 终端 最后 3 步 (Write Display, Pixel Switching 和 New Image) 在 VR 终端上完成 传统的 VR 终端要求 MTP 时延小于 20ms, 而云 VR 要满足 MTP 时延要求挑战非常大 因此, 云 VR 终端比传统的 VR 终端更需要支持异步时间扭曲 (ATW) 和 异步空间扭曲 (ASW) 技术, 与 Cloud VR 云渲染平台实现端云异步渲染协同 ( 下文有定义 ), 共同保障云 VR 的体验 此时 MTP 时延要求转化为 AWTP( 异步扭曲到显示 ) 时延 AWTP 时延需控制在 20ms 以内, 即当头盔位置发生改变时, 需要将虚拟的 延迟的世界在 20ms 内调整图像符合人体的视觉感知后呈现到显示屏上 依照产业技术发展成熟度及趋势 用户体验上的经验性数据,AWTP 时延需求如下 : 发展早期入门体验期进阶体验期 AWTP 小于 20ms 小于 20ms 小于 16ms 表 3-5 AWTP 时延要求发展趋势 云 VR 终端的定位跟踪需求 早期的虚拟现实只有 3 自由度跟踪 (3DoF), 即依靠传感器来感知头部的姿态变化, 但 3DoF 跟踪无法感知头部的位置变化, 从而不能更准确地模拟人的感知 视频类应用采用 3DoF 跟踪即可满足需求 而 VR 游戏等应用需要模拟头部的位置移动和变化, 需要 6DoF 跟踪方式 除此之外, 手势跟踪 肌电感知等新型交互方式, 也是 VR 未来可能的交互方式 18

19 畸变矫正 VR 头显上的透镜起到放大镜的作用, 在提供较大 FOV(Field Of View) 的同时也带来了图像的枕形畸变 ( 如中间图 ) 为了抵消这种畸变, 常见的做法有两种 : 在服务器端做桶形畸变和在 VR 终端做桶形畸变 为了让系统松耦合, 让 VR 终端的参数独立于服务器端, 较好的做法是服务器端正常渲染, 只在 VR 终端显示画面前完成桶型畸变 ( 如右图 ) 这样, 桶形畸变 + 枕形畸变, 用户最终通过透镜看到的就是正常的渲染结果 ( 如下图 ) 图 3-2 畸变矫正 色散矫正 由于白光中的红 绿和蓝分量通过同样透镜时折射率不一样, 最终导致图 像边缘有一圈指定颜色的光晕 ( 离光轴中心越远, 折射率区别越大 ) 所以图片 在 VR 终端最后显示之前, 需要针对不同 RGB 分量做相应的色散矫正 图 3-3 畸变矫正 19

20 云 VR 终端的物理规格要求 VR 头盔的重量和体积影响了用户的使用体验, 而显示和光学成像系统的架构, 影响 VR 头盔的重量和体积 当前的光学架构主要采用传统光学放大的方式, 由于畸变 色散等负面影响, 其 TTL(Total Tracking Length) 比较大, 不能采用更小尺寸的屏幕和更大的光学放大倍数来降低 VR 头盔的尺寸和重量 而业界也在展开类似折叠光学等成像系统的研究和开发, 因此可以预见未来 VR 终端在重量和体积上会有一定突破 下表是对未来 VR 终端一些关键参数的预测 当前 2019~2020 年 2020~2022 年 TTL ~40mm ~35mm ~20mm 屏幕大小 3.5 英寸 1.5~2.5 英寸 1 英寸 分辨率 ( 单眼 ) 1.5K 2K 4K 重量 400~500 克 200~300 克 <100 克 表 3-6 未来 VR 终端关键参数的预测 云 VR 终端多形态 按照硬件形态划分, 云 VR 终端主要分三种形态 : 手持式 VR 盒 外接式 VR 头盔 VR 一体机 手持式 VR 盒即 VR 眼镜盒子, 插入手机即可观看, 有明显的价格优势 早期代表性产品有 Google 的 Cardboard 三星的 Gear VR 等 图 3-4 手持式 VR 盒外接式 VR 头盔需连接电脑或者手机才能使用, 借助电脑主机或手机的解码 20

21 和渲染能力 其特点是专业性强 价格相对昂贵 易受到线缆的束缚, 代表产 品有 Oculus Rift HTC Vive DPVR E3 和华为 VR2 等 图 3-5 外接式 VR 头盔 VR 一体机具有独立的 SOC( 显示功能 ) 及 CPU 产业普遍认为 VR 一体机是 VR 终端未来的终极形态, 适合消费者用户 : 无线缆束缚, 体验也较好 Oculus HTC 国内领先的头盔厂商也纷纷推出了一体机 图 3-6 VR 一体机 云 VR 终端通信需求 云 VR 系统对传输延时高度敏感, 不但需要网络支持高吞吐量, 而且对端到端时延要求也必须很低 5G 网络具有高速率 低时延的特性, 非常适合承载云 VR 业务 VR 终端集成 5G 模块, 将 VR 传输承载在 5G 网络上, 成为 VR 终端的发展新趋势 对 VR 终端而言, 需要考虑集成的 5G 通信模块的峰值速率 5G 频段 IP 协议栈 与 VR 产品集成方式等方面要求 不同配置 5G 模块的峰值速率 配置 5G 终端配置峰值速率编号方向带宽流数调制配比上行 100MHz 2 流 256QAM 3:7 230 Mbps 1 下行 100MHz 4 流 256QAM 3:7 2 Gbps 2 上行 100MHz 2 流 64QAM 3:7 175 Mbps 21

22 下行 100MHz 4 流 256QAM 3:7 2G bps 表 3-7 5G 通信模块的峰值速率 5G 通信模块支持 5G 频段要求 : 至少支持 N78 和 N79 频段 5G 频段上行下行 N MHz-3800MHz 3300MHz-3800MHz N MHz-5000MHz 4400MHz-5000MHz 表 3-8 5G 模块支持 5G 频段基本要求 5G 通信模块支持 IP 协议要求 终端支持 IPv4 单栈 IPv6 单栈 IPv4v6 双栈 5G 通信模块与 VR 终端集成方式 VR 集成 5G 通信模块主流方式, 一种是 VR 终端直接使用 5G 通信芯片的套片做一体化设计, 该种方式对 VR 终端设计有较高要求 另外方式是以 5G 通信模组方式集成,5G 通信模组可提供插拔式接口 :minpcie 或 M.2, 也可提供焊接方式接口 :LCC 或 LGA,VR 终端可根据产品需要, 选择合适接口方式 云 VR 终端计算能力 VR 终端从获取用户姿态 / 位置 到计算渲染 解码, 一般在终端 CPU/MCU 或者在连接的 PC 手机上完成 ( 如下图 ): 获取传感器数据 CPU/MCU 传感器融合产生位姿和位置信息 CPU/MCU 渲染 CPU/GPU 畸变 / 色散 / 时间扭曲 GPU 显示 对齐 VSync 图 3-7 VR 本地渲染流程 云 VR 本质上是一个异构计算体系架构, 分别在服务器端和终端完成不同的 计算 由于计算的特殊性,VR 终端对每一个硬件模块有了不同的计算能力需求 22

23 CPU 计算能力需求 云 VR 终端上运行的必然是一个多任务系统 ( 多为 Android 系统 ), 由于 VR 相关解码和渲染等任务对时延高度敏感, 不能因为竞争 CPU 资源或者操作系统调度而影响用户体验 CPU 计算能力要求 : 至少要 4 核及以上, 单核运行主频在 1GHZ 及以上, 比如 Quad-Core ARM Cortex -A53 1.8GHz 另外整个 VR 应用运行起来后,CPU 占用率不超过 50% GPU 计算能力需求 和一般的 VR 终端不一样, 云 VR 主要的游戏或者渲染在服务器端完成, 终端上的 GPU 不需要非常的强大, 能够完成解码后的视频内容叠加, 异步时间扭曲, 畸变处理和色散矫正即可 GPU 计算能力要求 : 推荐配置至少在 Mali-T760 单核以上, 能够支持 OpenGL ES3.2/3.1/3.0/2.0/1.1 渲染 二次渲染以 1440*1600*2 为例, GPU 像素填充率要高于 2GPixels/s, 浮点运算能力要高于 7.6GFLOPS, 时延在 1-2ms 以内 显示屏芯片能力需求 为确保显示质量,VR 终端屏幕的分辨率应不低于双眼 2560*1440,VR 终端屏幕的刷新率不低于 70Hz, 视场角 (FOV) 应不低于 90 度 VR 终端支持 3D 视频播放, 需要显示芯片能够支持 TOP/Bottom,Side-By-Side Full 和 Side-By- Side Half 的 3D 视频显示模式 视频编解码芯片能力需求 Jens-Rainer Ohm 等人在文献 [4] 中对不同视频编码格式比较, 在达到同样 23

24 视频质量 ( 用 PSNR 峰值信噪比衡量 ) 的情况下,HEVC 和 H.264 有着最好的性 能 而在不同的分辨率下,HEVC 比 H.264 有着更优异的压缩比 ( 以下结果见 Wikipedia) 图 3-8 不同的分辨率下,HEVC 与 H.264 压缩比对比 另外, 同一编解码格式中, 不同的最大分辨率和相应帧率也是不同的 图 3-9 同一编解码格式中, 不同分辨率与帧率数据基于通用视频的解码解一帧需要十毫秒左右才能完成, 未来保证更好的体验,VR 终端未来需要通过新的视频编解码在性能和压缩比之间取得平衡 : 在压缩率 50~150 倍左右时, 可采取简化运动搜索算法 减少帧内的预测模式 降低帧间 MV 预测技术 AMVP 和 merge 模式的算法复杂度 减少编码单元划分层级 帧间并行和帧内 Slice 并行编码模式等, 来有效地将编解码时间控制在 3 毫秒以内 定位系统计算能力需求 3DoF 定位 :VR 终端需要带有 9 轴传感器 ( 陀螺仪, 加速度计和磁力计 ), 数据融合后, 生成最终的用户位姿数据 其中陀螺仪的采样频率不低于 Hz, 加速度计的采样率不低于 Hz, 磁力计的采样率不低于 Hz VR 终端可以通过 Outside-In 或者 Inside-Out 的方式获得位置信息, 24

25 位置信息的采样频率要达到 60-90Hz, 定位精度优于 2mm, 有效范围不低于 2*2m 的空间, 支持至少 180 度定位 6DoF 定位 : 通过 Outside-In 或者 Inside-Out 的方式获取信息, 位置信息的输出结果要达到 60-90Hz, 定位精度优于 2mm, 有效范围不低于 3*3m 3.3 云 : 处理能力需求 图形渲染类业务能力 目前 VR 终端具有一定的渲染能力, 但与桌面 GPU 的性能相比, 差异明显 下图可以看到两者大约有 10 年的发展差异 因此采用桌面级 GPU 进行 VR 应用 渲染是一种必然的选择 图 3-10 VR 终端 GPU 与桌面级 GPU 性能差异 VR 应用与普通 3D 应用相比,VR 应用要求较高的分辨率和帧率, 更高的分辨率和帧率可以带给用户更好的 VR 体验, 因此 VR 对显卡的渲染能力有较高的要求 HTC Vive 和 Oculus CV1 均采用了 2160*1200 的分辨率, 游戏的渲染分辨率考虑到反畸变处理的需要, 通常需要更高的分辨率, 根据实际测试结果, 游 戏按照显示分辨率的 1.4 倍进行渲染可以达到最好的显示效果 HTC Vive 和 Oculus CV1 通常情况下, 游戏分辨率会采用 3024*1680, 对于入门级的用户, 采用 1.1 倍的渲染分辨率可以满足用户基本的体验要求, 即采用 2376*1320 可 25

26 以满足用户基本需求 不同的游戏渲染帧率对 GPU 的开销也有明显差异, 当前高端的 VR 终端, 通 常采用 90Hz 的刷新频率, 为保证画面流畅度和体验时延, 入门级的云 VR 应用 需要 45 帧的渲染帧率 云渲染计算能力举例如下, 服务器硬件配置如表 3-9, 运行了 3 个 VR 的游 戏应用, 运行过程中,VR 游戏对 GPU 和 CPU 的消耗情况如下 VR 游戏应用 : 配置 硬件型号 数量 CPU INTEL XENON E5-2690V3 2 内存 DDR4 16G 2133MHZ 8 条 硬盘 SAS600G 4 块 显卡 NVIDIA TESLA M60 16G 1 块 表 3-9 硬件环境 应用名称 应用种类 应用分级 Warfare VR 战斗 中度 VR 应用 VRog VR 益智 中度 VR 应用 UproaStory VR 格斗 重度 VR 应用 表 3-10 VR 应用列表 采用表格 3-9 所示硬件环境, 对表格 3-10 的 VR 游戏应用进行并发测试, VR 游戏分辨率为 2376*1320, 帧率为 45fps 运行过程游戏对资源的占用情况 如下 : 游戏名称并发数 CPU 内存占有率 GPU 显存占有率 VRog VR 12 70% 4.24G 90% 35% Warfare VR 7 48% 4.79G 92% 22% UproaStory VR 5 44% 14.0G 95% 90% 表 3-11 游戏测试数据 从上面可以看出,GPU 资源和显存资源是游戏运行的瓶颈资源, 可以适当的 通过增减 GPU 资源, 比如采用多块显卡进一步改善资源的平衡性, 提高并发 26

27 3.3.2 视频处理类业务能力 视频处理类业务能力需求主要存在于三个方面 : 视频接入能力 视频转换能力 视频发布能力 以目前常见的 VR 直播类业务为例 : 视频接入能力需求, 是对网络平台接收上行视频流进行服务和保障所提出的需求 网络层面, 对于目前常见的 4K@60fps VR 360 全景视频, 需要提供每路 30~40 Mbps 的稳定上行通路保障, 可支持 4-6 路, 需提供 CDN 接入服务 业务层面, 需要支持 RTSP RTMP 等常用的视频流传输格式, 以及目前 VR 视频常用的视频编码数据格式 设备层面, 需要支持对拍摄设备的调焦 调整曝光 姿态调整等基本操作的远程控制实现 视频转换能力需求, 是对网络平台处理 转换 VR 视频以满足传输 播放条件所提出的需求 VR 视频内容处理层面, 需支持分视点多副本内容转换 支持 tile-based 分视点内容转换 视频数据编码格式层面, 需支持常见的 H.264 HEVC AVS 等格式之间的实时相互转换 视频封装格式层面, 需支持对 RTSP RTMP TS HLS MPEG-DASH 等格式的实时相互转换 其中 HLS MPEG- DASH 等格式实现时, 还需平台支持对分级的分辨率 码率的配置和设定 视频发布能力需求, 是对网络平台向用户推送视频流 提供视频服务所提出的需求 业务层面, 需支持 HLS MPEG-DASH MMT 等常用传输协议 支持根据用户的网络带宽状况 设备参数等特点, 实时进行视频码率 格式转换的功能 支持 Tile-Based 分视点内容发布 27

28 4 5G 云 VR 业务解决方案 4.1 5G 云 VR 视频直播业务解决方案 解决方案框架与关键流程 典型的云 VR 视频直播业务解决方案框架如图所示, 包括采集 传输处理 播放三个主要阶段 图 4-1 云 VR 视频直播业务解决方案框架 采集阶段,VR 专业级摄像机或 VR 消费级摄像机拍摄全景画面, 通过 CPE 5G 手机或自带的 5G 模块与基站连接 将所生成的 RTSP 或 RTMP 格式视频流上传至 5G 接入网 传输处理阶段,5G 承载网通过 虚拟专网 对直播内容进行业务保障, 使 VR 视频流顺畅传入位于云端的 视频云 处理平台 平台对 VR 直播流进行本地保存 分辨率转换 码率转换 封装格式转换操作后, 将产生的新 VR 视频流通过承载网传送出去 播放阶段,VR 视频流通过 5G 基站下行通道传送至电视 手机 VR 眼镜等设备中解码播放, 不同设备获得的视频流码率 分辨率等参数不同 在网络状况发生改变时, 同一设备获得的视频流参数也随之变化 结合 5G 的 MEC 网元, 云端处理可下沉至网络边缘节点, 在 MEC 服务器上实现, 下图是实现架构框图 28

29 图 4-2 云 VR 视频直播 MEC 实现框架图发送给用户的 VR 视频流在到达 5G 网络的 MEC 服器后, 该服务器根据当前用户的观看朝向 设备硬件配置 网络带宽状况, 实时对视频流内容进行转码 如用户 A 目前朝向正前方, 设备为一台双眼 2K 分辨率的 VR 一体机, 下行网络带宽大于 1Gbps, 则 MEC 服务器会在当前收到的一路 VR 视频流基础上, 将 360 视频转码出只有正前方 区域的画面, 将其传送给用户设备进行播放 当用户转头时, 再根据观看方向, 实时转码出屏幕需播放的内容, 下发至用户设备 解决方案特点与优势 相较于在宽带网络或传统 4G/4G+ 网络上传输直播 VR 视频, 本方案主要有移动性好 业务质量稳定 用户开销低等三大优势 移动性好, 主要体现在采集设备可以通过 5G 模组接入网络, 免去了目前采用的光纤 视频线等有线连接方式带来的位移限制, 同时避免了 Wi-Fi 网络接入方式引入的死角多 接入认证切换繁琐的问题 使得采集机位可灵活移动, 提供更多的采集角度和变换空间 业务质量稳定, 主要体现在承载网络提供的 虚拟专网 承载服务上 被承载的 VR 视频流有了自己的独立 行车道, 免受其他业务的资源抢占影响, 对视频流本身的流畅性 清晰度提供了保障 29

30 用户开销低, 主要是由于 MEC 服务器的引入, 为用户节省了下行网络带宽 将原本 360 的视频压缩至原来的 1/3~1/2, 为用户节省了流量成本 同时, 播放此类视频对用户硬件设备的配置要求更低, 间接节省了硬件购置开销 30

31 4.2 5G 云 VR 强交互业务解决方案 VR 强交互业务的定义 : 用户通过交互设备与虚拟环境进行互动, 通过虚拟环境中的物体对交互行为做出实时响应, 使用户能够感受到虚拟环境的变化 在 VR 强交互业务中, 其虚拟空间图像生成与用户实时输入有关, 这与 VR 视频预先规划的内容体验是不一样的 典型的 VR 强交互业务应用场景有 : 图 4-3 云 VR 强交互业务应用场景 传统 VR 强交互业务特点 : 1) 以本地 PC 主机渲染为主 : 需要价格昂贵的高端 PC 主机, 限制了 VR 业务在广大用户中的普及 2) 内容以本地为主 : 内容比较分散, 需要下载到本地运行, 影响用户内容刷新效率,VR 厂商的内容版权得不到保护 云 VR 强交互业务特点 : 1) VR 无绳化 : 用户通过无线的方式接入网络体验 VR, 大大提升了 VR 终端的舒适性和可移动性 2) VR 内容和渲染云化 : 渲染上云, 用户购买终端的成本大幅度降低 ; 内容在云上, 容易形成产业合力, 将内容高效分发给用户, 加速 VR 的普及 解决方案框架与关键流程 云 VR 解决方案框架 云 VR 强交互业务解决方案是一个以云计算和应用流化技术为基础, 将本地云渲染拉远到边缘数据中心进行云端计算和渲染, 降低了 VR 终端的性能和成本, 31

32 同时通过基于二次投影的异步 ( 时间 / 空间 ) 扭曲技术 (ATW/ASW) 为核心的端云异步渲染解决方案, 有效解决拉远后引入的渲染和流化时延, 总体上, 使得云端的渲染与本地交互响应完全异步处理,MTP 时延保障在 20ms 以内, 完全由本地终端决定, 从而保障了用户体验 云 VR 强交互解决方案框架包含三大部分 :VR 云渲染系统 网络传输 VR 终端 图 4-4 VR 云渲染功能图 VR 云渲染系统 缘云 VR 云渲染系统是一个开放性的平台, 部署在数据中心, 位置一般部署在边 32

33 网络传输网络是 VR 内容流发送到 VR 终端的关键高速公路, 需要提供 VR 业务所需要的大带宽和确定性低时延, 以确保 VR 的良好体验, 涉及家庭网络 接入网络 无线蜂窝接入与城域网络, 其中接入网络往大容量 PON 与 5G 方向发展, 城域网络往架构简化 智能管道 网络隔离方向发展 VR 终端云 VR 终端特点是无绳化, 通常有两种类型 : 手持式 VR 盒 外接式 VR 头盔 VR 一体机 VR 一体机 手持式 VR 盒通过无绳接入方式, 将用户的控制信令发送到云端用于操控应用, 实现用户与 VR 应用之间的交互 云 VR 终端主要进行视频解码 简单的末端渲染 图像呈现控制和交互信号的接收和上传等操作 云 VR 解决方案关键流程 图 4-5 云 VR 强交互业务原理图本系统主要分为 VR 终端 5G 传输网络 云渲染服务器三部分, 关键流程如下 : 1) VR 终端采集用户头部姿态及用户输入信息, 通过上行 5G 网络传输到云渲染服务器 ; 2) 云渲染服务器启动用户业务, 根据上传的信息及业务逻辑, 进行 VR 画面渲染 ; 33

34 3) 云渲染服务器将渲染后的音频 视频抓取并利用通用视频格式进行编码封装后, 通过下行 5G 网络传输到用户 VR 终端 ; 4) 用户 VR 终端将视频流数据解码后进行相关处理, 最后把画面显示给用户 ; 5) 用户根据画面进行下一轮操作 解决方案特点与优势 云 VR 强交互业务解决方案的特点 : VR 终端无绳化 VR 内容和渲染云化端云异步渲染技术端到端低时延传输技术 端云异步渲染技术端云异步渲染技术方案的核心是异步扭曲技术 当前的异步扭曲技术主要包括 ATW( 异步时间扭曲 Asynchronous Time warp) 与 ASW( 异步空间扭曲 Asynchronous Space warp), 该技术最初提出是为了解决 VR 本地渲染时, 由于内容的复杂度各不一样, 针对复杂内容的渲染可能存在无法在一帧刷新周期内完成, 这将导致屏幕刷新时无新内容呈现, 给用户的感受表现迟滞 卡顿, 甚至导致头晕 异步扭曲通过预测或确定的下一帧的头部姿态和位置, 与上一帧图像的姿态和位置计算得到姿态差值和位移变化, 再对上一帧图像根据此姿态差值和位移变化进行扭曲变换和二次投影渲染, 生成新的一帧图像 其中 ATW 技术主要解决头部姿态的变化,ASW 技术主要解决头部位置变化, 两种技术结合解决 VR 6DoF 的全场景应用 在端云异步渲染技术方案中, 本地 VR 终端每次刷新画面时, 都使用当前已 34

35 收到云端送来的最新画面, 并依据当前头部姿态和位置计算姿态差值和位移变化, 利用异步扭曲技术对该画面进行扭曲变换后, 再直接显示 在该技术方案下云端的渲染与本地交互响应完全异步处理,MTP 与云端渲染和网络传输无关, 完全由本地终端决定 ;MTP 时延完全可以做到和非云端渲染情况下相同 姿态捕捉二次渲染 & 异步扭曲刷新呈现 MTP 动作捕捉上行传输逻辑计算实时渲染编码下行传输解码 云渲染及流化时延 操作上行传输逻辑计算实时渲染编码下行传输解码 操作响应时延 二次渲染 & 异步扭曲 刷新呈现 图 4-6 端云异步渲染技术方案下的 MTP 云渲染及流化时延 操作响应时延使用此技术方案, 云渲染及流化时延不会影响 MTP, 但该时延的长短会影响画面质量和用户体验 主要分两种情况 : 一是黑边问题, 当前 VR 实时渲染都是基于当前视角渲染的画面, 用 ATW 技术把画面扭曲到新的视角时, 新的视角范围内将没有画面, 出现黑边现象 ; 黑边的大小和云渲染及流化时延及转头的速度相关 为减小或消灭黑边对体验的影响,VR 云端渲染要进行超视角画面的渲染, 确保转头过去的视角也有画面 ; 超视角画面渲染超出的角度大小由云渲染及流化时延与转头速度决定 超视角画面渲染将增加渲染成本, 综合考虑建议各个方向都超出 5 度, 此时对云端渲染资源的消耗将增加 21%; 此时对应的云渲染及流化时延要求小于 50 毫秒 二是画面质量问题, 位置移动时, 我们将会从新的角度上观察物体, 会看到原来被遮挡的部分 ASW 技术可以根据景深或运动矢量等信息调整物体间的位置关系, 却无法凭空生成被遮挡部分, 此时只能用周边的画面替代, 出现画面扭曲现象 如果云渲染及流化时延低 移动速度慢, 微小的扭曲画面察觉不到或感觉不明显 ; 反之会大幅度降低画面质量 云渲染及流化时延的大小将影响 Cloud VR 画面质量, 按目前业界的测试情况, 建议将该时延控制在 30~50 毫秒以内为佳 ; 在入门体检阶段, 云渲染及流化时延控制在 50 毫秒, 画面质量的劣化在可接受范围 极致体验阶段, 云渲染及流化时延建议控制到 30 毫秒内, 35

36 此时画面的扭曲将让人无法察觉 端到端低时延传输技术将云化时延控制到 30~50 毫秒内, 对 Cloud VR 业务端到端系统是一个不小的挑战, 以并行处理技术 快速编解码技术 极速传输协议 低速传输网络为核心的端到端低时延传输技术方案将是系统的核心技术方案之一 渲染 编解码和传输并行技术 : 一帧画面, 通过渲染 编码 传输 解码的串行处理是通用做法 而把画面划分多个区域, 分区域渲染 分区域编解码和传输 ; 后一个区域在渲染时, 前一个区域已可进行编码, 再前一个区域已经在进行传输, 这样可实现一帧画面渲染 编解码 传输的并行处理, 大幅节省处理时间, 降低云化时延 图 4-7 云 VR 端到端并行处理 传输方案 方案优势 云 VR 强交互业务解决方案中的云业务平台是一个开放平台, 其开放性体现在两个层面, 一方面是云端的开放, 在云端系统上, 支持多种 VR 应用的运行, 包括基于 Windows 的 VR 应用和 Android 的 VR 应用等 另一方面,VR 终端是开放的, 采用云平台的设计思想, 将原来依赖于或受限于终端处理能力的渲染操作转移到云端系统, 支持各种类型终端 36

37 4.3 5G 云 VR 切片网络解决方案 解决方案框架与关键流程 面向云 VR 市场, 针对不同的云 VR 场景, 本章节将介绍基于 5G 网络切片的多场景 VR 直播互动应用及相应的解决方案, 为 2020 年 5G 商用网络的新业务拓展做好准备 根据 5G 最先标准进展来看,2018 年 6 月 3GPP 将完成第一个版本 (Release 15) 的 5G 系统标准, 重点支持的业务就是 embb( 增强型移动带宽 ), 而 VR 业务具有典型的超高带宽 低时延和广覆盖需求, 可以很好地体现 5G 网络特有的高带宽 低时延等 KPI 指标能力 一 制约云 VR 直播发展的两个关键因素针对云 VR 场景端到端分析, 制约云 VR 视频直播与互动业务发展的两大痛点 : 网络 : 网络上下行总带宽不足, 业务采用 Best Effort 机制, 缺乏 SLA/QoS 保障, 无法保证良好的观看体验 ; 现网没有超低时延的特性, 无法满足云 VR 应用现场互动的时延要求 ; 跨不同地域的专线开通慢, 使得跨地域的通信连接质量无法保障 终端 : 无线化 VR 终端是发展趋势, 但 VR 一体机受限于 CPU/GPU 等芯片技术, 在性能 功耗 体积 散热等方面还存在较大不足, 且价格昂贵, 对普通家庭 / 消费者用户而言还存在一定的消费门槛, 通常家庭购买的百元级 VR 眼镜在显示清晰度 分辨率等方面均无法达到专业级水准, 进一步制约了最终观看体验 二 云 VR 业务对 5G 网络的关键 KPI 需求视频源端与用户端跨域传输 ( 超 ) 低时延需求 : 云 VR 视频直播与互动业务对于网络的时延需求存在较大的弹性空间, 但毋庸置疑的是, 时延越低, 云 VR 业务场景将会滋生出更丰富 37

38 的交互式 参与式用户体验, 并带来更加灵活多变的商业模式 针对云 VR 视频直播类业务 : 当整个端到端时延一般在 2-3s 左右时 ( 主要时延在于 CDN 的分发处理 ), 已经基本可以满足单向的纯接收型云 VR 直播需求, 可以保证用户最基本的直播观看体验 ; 当无线网络的传输时延能够降低到 20ms 时, 可以支持一些简单的交互式体验, 例如用户侧的电子投票 弹幕互动等 针对云 VR 游戏类强交互业务 : 当无线网络的传输时延能够降低到 20ms 时, 可以支持真正的虚拟临场感的交互体验, 例如在你 隔壁 的用户转头, 那么你可以第一时间感知到对方的这个体态变化, 并如真正相邻的人一样做出实时的反应 ( 比如侧耳倾听 ) 和互动 ( 比如问答 ) 快速业务开通云 VR 应用场景的类型多样 ( 演唱会 体育赛事 音乐会 VR 课堂等等 ), 对应的场地也灵活多变, 因此网络运营商需要可以给业务运营方提供灵活快速的网络业务开通能力, 能够机动灵活的按需管理对应网络切片, 满足各种云 VR 场景的需求 端到端网络切片服务质量如上述列出, 为了保证用户侧观看及互动体验, 上 下行带宽对于高清视频传输均有较高的要求 要求端到端网络切片可以针对特定环境 特定场景定制端到端网络方案, 从终端 无线接入网 传输网到核心网分配独立的网络资源, 定制专用的网络功能, 单独为这种特定的云 VR 强交互业务场景提供隔离的网络服务 在网络切片运行过程中, 端到端网络切片管理系统也会提供质量保障服务, 实时监控 自动化控制网络切片, 以保证云 VR 业务运行网络切片提供的性能指标 基于以上网络痛点及指标要求, 本章节将提供端到端的技术解决方案 : 通过按需提供端到端网络切片 ( 包括接入网 传输网和核心网 ), 提供端到端的通 38

39 信质量保障 上行基于网络切片优先调度机制保障传输带宽, 下行通过网络传输到用户侧进行观看, 通过切片实现质量保障, 云 VR 应用源与用户侧之间通过端到端网络切片实现 SLA/QoS 保障, 从而可以提供临场感交互式的多场景互动体验 ; 本应用的端到端解决方案 图 4-8 基于 5G 网络切切片的云 VR 应用的端到端解决方案针对视频直播类业务 : 1) 云 VR 直播前, 运营商或者 OTT 通过网络切片管理层设计订购和使能端到端的切片, 构建出端到端包括 : 无线接入网 边缘计算 5G 核心网 传输网的满足业务 SLA 需求的云 VR 网络切片 ; 2) 云 VR 应用源 VR/3600 摄像机现场内容实时采集 ; 3) 摄像机通过无线通讯模块将视频无线上传送到拼接服务器 ;VR 视频拼接服务器 推流服务器等部署在本地 MEC, 从而可以加速视频处理, 节省回传带宽 ; 4) 拼接服务器将多角度视频拼接后传给推流服务器, 推流服务器将视频通过传输网络 ( 传输网专线 ) 和 5G 核心网推送到用户所在城市 / 区域所在的 MEC 中 CDN; 39

40 5) CDN 通过 UPF 和无线 5G NR(New Radio) 分发到终端侧 ; 6) 终端访问云 VR 链接, 观看实时的云 VR 视频直播针对云 VR 游戏类强交互业务 : 1) 针对云 VR 游戏类强交互业务场景, 运营商或者 OTT 通过网络切片管理层设计订购和使能端到端的切片, 构建出端到端包括 : 无线接入网 边缘计算 5G 核心网 传输网的满足业务 SLA 需求的云 VR 网络切片 ; 2) 此类云 VR 场景由云端服务器直接将数据包通过传输网络 ( 传输网专线 ) 和 5G 核心网推送到用户所在城市 / 区域所在的 UPF 和无线 5G NR(New Radio) 分发到终端侧 ; 端到端云 VR 网络切片生命周期管理 网络切片的生命周期分为如下几个阶段 : 图 4-9 网络切片生命周期准备阶段 : 网络切片实例尚不存在, 运营商根据规划和需求进行准备工作 在此阶段, 可通过 Portal 界面针对云 VR 业务特点过多个维度 (SLA 时延 带宽 容量等 ) 定义云 VR 业务需求 ; 同时根据云 VR 业务特点进行网络原子化功能编排, 完成模板设计 实例化阶段 : 客户订购云 VR 网络切片, 选择所需服务和该网络切片所覆盖的区域, 然后根据需求选择基础设施的 SLA, 付费完成网络切片的订单 ; 切片管理中心启动切片实例化过程, 完成部署和数据配置 运行阶段 : 网络切片开始提供网络服务, 租户或运营商可以监控网络切片 40

41 的实时运行状态 ; 基于云 VR 业务的网络切片可以是临时性的或者长期性的, 对于直播业务 : 生命周期包含直播活动前调试阶段和整个赛事直播期间 ; 对于强交互业务的生命周期则根据用户订购时长决定 终结阶段 : 当租户不再需要此网络切片时 ( 活动结束后 ), 可以发起停止流程, 删除网络切片并回收资源 云 VR 业务结束后, 网络切片管理功能可以快速的终结 VR 切片回收资源, 降低租户使用成本 端到端云 VR 切片业务保障 图 4-10 端到端切片业务隔离和保障通过网络切片技术, 普通用户上网的业务流和云 VR 业务流跑在不同的切片通道里面, 上网业务流出现拥塞时, 不会影响到云 VR 用户的业务体验 : 1) 5G 核心网基于 NFV 虚拟化 / 容器技术实现云 VR 转发面和其他业务的转发面隔离, 实现核心网转发的 QoS 保障 ; 2) 无线接入网基于切片化的资源管理和调度实现无线侧的云 VR 业务 QoS 保障 ; 3) 传输网当前可以通过专线方式实现业务 QoS 保障, 未来可以基于增强的传输技术实现按需的云 VR 传输切片 此外, 网络切片管理层还提供端到端切片管理运维和闭环控制 : 41

42 图 4-11 网络切片端到端闭环控制切片管理层可以获取业务的端到端和每个子域的时延和带宽, 从而评估云 VR 业务体验的质量 : 在业务体验出现或将来出现下降时实现闭环控制, 比如随着 VR 用户数量的增加, 流量超出初期的设计容量, 切片管理中心可以按需的对云 VR 切片转发面进行伸缩管理 解决方案特点与优势 针对云 VR 视频直播和强交互场景的新型业务形式, 引入 5G 网络切片技术为新业务新场景提供端到端质量可保证的网络通信连接, 解决了云 VR 视频直播 互动场景的网络通信痛点, 即对网络上下行带宽及时延的较高要求, 为高体验的云 VR 业务开展提供技术支撑, 同时网络提供稳定带宽时延, 为基于新型互动场景的研发提供的可能 同时此场景对网络质量的短周期 动态性要求对技术本身又提出了极高的要求 因此, 本解决方案的的优势主要体现在以下几方面 : 1) 基于 5G 网络切片技术提供网络质量可保证 隔离 专用的端到端网络, 服务于云 VR 视频直播或强交互场景 现有网络带宽不足且不稳定, 时延不稳定, 难以满足业务场景需求 基于网络切片技术的专用网络, 将构建接入网 传输 42

43 网和核心网的逻辑专用网络, 可保证此业务的通信质量要求, 且不受其它业务的影响, 有效解决了网络能力制约云 VR 体验及业务发展的弊端 2) 服务此应用的网络切片业务快速上线 : 云 VR 应用将基于电信云平台部署端到端网络切片网络, 与传统的光纤专网 VPN 相比有效降低了业务上线的周期, 达到 周 级的网络业务开通时长, 机动灵活, 可以随时随地满足各种云 VR 场景 活动的需求, 动态切片 的实现使直播应用不再受限于专线开通的周期 3) 云 VR 应用活动时间可长可短, 快速下线, 可按需构建长期或短期的网络切片, 订购灵活 4) 边缘计算使能云 VR 业务 : 在云 VR 直播互动和游戏场景中, 对端到端网络时延的要求可达到小于 20ms 此外, 随着直播用户的增多, 对不同地域间的传输带宽也随之提高 引入边缘计算技术, 将用户面下沉到更加靠近直播用户的位置, 降低时延, 并引入移动 CDN 技术降低不同地域间的传输带宽要求 除此之外, 针对 5G 网络技术发展特征, 网络切片端到端技术解决方案充分考虑了使用 5G 网络切片技术满足上行下行高带宽 互动低时延的需求, 构建端到端隔离的专用网络承载云 VR 直播互动场景, 基于云化 虚拟化技术实现业务快速上线和下线 1) 5G 多样化的组网方式满足云 VR 直播互动不同阶段对于带宽时延的要求 用户侧的电子投票 弹幕互动等对网络时延要求不高的,5G 初期即可实现 ; 云 VR 直播互动发展到一定阶段后, 直播中即可以加入如远程亲友团助攻等互动形式 现有 5G embb 和 urllc 网络均可支持这种对于时延要求不是很高的网络应用 ; 最终云 VR 直播可以支持真正的虚拟临场感的交互体验, 例如在 隔壁 的用户转头, 那么用户可以第一时间感知到对方的这个体态变化, 并如真正相邻的人一样做出实时的反应 ( 比如侧耳倾听 ) 和互动 ( 比如问答 ) 这种即时的互动对于网络时延的要求是 20ms 左右,5G urllc 即可以满足这种需求 2) 网络切片 边缘计算等 5G 基本网络能力使能云 VR 直播互动应用 网络 43

44 切片技术通过定制的端到端专用网络为云 VR 应用提供专属网络通路, 解决了云 VR 应用源视频采集端上行带宽大 用户侧无线资源竞争受限 网络部署成本高等问题 同时, 端到端网络切片管理系统实时管理 监控网络切片的运行状态, 做到端到端服务质量可保证的, 更加快速 便捷 高效的服务于特色垂直行业 CDN MEC 技术解决了用户侧接收端多路转发推送的需求,MEC 可以根据业务时延需求的不同按需部署在网络中的不同位置, 使能云 VR 直播互动不同场景下对于网络时延的差异化需求 44

45 5 结语 :5G 云 VR 商业前景及商业模式 通过本报告的分析, 我们可以发现, 云 VR 架构能有力促进 VR 业务的普及, 推动 VR 产业的发展 首先, 云 VR 可有效提升 VR 用户体验, 降低终端门槛, 加速 VR 硬件的普及 VR 用户体验与终端成本的折衷与平衡是目前影响 VR 产业发展的一个关键问题 低成本 VR 终端确实有助于提升 VR 硬件普及率, 但有限的硬件配置也限制了 VR 的用户体验, 影响了消费者对 VR 的持续使用和真正接纳 而另一方面, 以 HTC VIVE Oculus Rift Sony PlayStation VR 等为代表的高品质 VR 设备, 所需硬件配置较高, 套装价格动辄数千元甚至上万元人民币 如此高的硬件成本明显 制约了高品质 VR 的普及 在这一背景下, 云 VR 对推动 VR 普及的重要意义就 得以凸显 通过将 VR 应用所需的内容处理与计算能力置于云端, 可以有效地降低 VR 终端对硬件的要求, 又能维持良好的用户体验 由于可同时实现良好用户体验与可接受硬件成本的双重目标, 云 VR 将能有效促进 VR 业务的普及 同时, 云 VR 架构也可促进 VR 内容产业的健康发展 VR 内容的生产与制作也是目前制约 VR 市场发展的一个主要瓶颈 这一方面表现为 VR 内容高昂的制作成本 据国外媒体报到, 一段有 8~20 个镜头 2~5 分钟时长的 360 度 VR 视频, 制作成本就可高达 2.5~15 万欧元 如此高的制作成本使内容制作方对 VR 内容的版权保护有了更强烈的需求 另一方面, 随着 VR 终端的逐渐普及, VR 内容必然需要不断适配各类不同规格的硬件设备 在云 VR 架构下,VR 内容处理与计算能力驻留在云端, 则可以方便地适配不断发展的 VR 硬件设备, 同时也有助于实施更严格的内容版权保护措施, 遏制内容盗版, 保护 VR 产业的可持续发展 在促进 VR 产业发展的同时, 云 VR 也对电信网络提出了更高的要求 由于云 VR 的计算和内容处理在云端完成, 视频流从云端传输到 VR 终端设备, 以及 45

46 用户动作从终端设备反馈到云端都需要很高的带宽和很低的时延, 尤其是时延对用户体验的影响更为明显, 此时 5G 网络的价值就得以显现, 只有利用 5G 网络的高速率 低时延特性, 运营商才能充分满足云 VR 发展对网络的需求 同时, 针对云 VR 在带宽与时延方面的强烈需求, 电信运营商也可借助 5G 网络的先进特性, 开发基于体验的新型业务模式 尤其是当 VR 内容的计算 渲染等功能全部驻留于运营商的云计算平台时, 运营商就有机会完整掌握 VR 内容的处理和分发链条, 有可能实现对 VR 业务端到端的时延管理, 从而使运营商有能力从带宽和时延两个维度进行基于体验的业务模式创新, 为 5G 网络的市场经营和业务发展探索新的机会 利用基于体验的业务模式, 运营商既可用较为优惠的价格提供基本业务体验, 增强用户黏性, 又可通过优质体验, 吸引用户迁移到新一代网络, 进行差异化定价, 从而加快 5G 投资的回收速度 云 VR 将 VR 内容的计算 处理置于云端, 也使运营商获得了切入 VR 内容生产制作链条的机会 在 2018 年 2 月韩国平昌冬奥会期间对奥运会 VR 直播业务进行了测评结果显示, 目前 VR 的内容制作能力仍是制约 VR 用户体验 限制 VR 生态发展的重要瓶颈 而在云 VR 架构的帮助下, 通信产业可将对 VR 的关注视角从消费端扩展到内容的生产制作方面 利用 5G 的大带宽 低时延特性, 更好地支持 VR 用户生成内容 VR 自媒体 VR 社交等新型内容的发展, 丰富 VR 内容资源 同时, 专业内容制作机构也可考虑利用 5G 技术, 改进 VR 内容制作的形式 提高工作效率 比如可利用 5G 增强的上行传输能力, 实现动态机位的 VR 拍摄和实时直播, 提供第一视角的 VR 视频等等 这一方面可以促进 VR 产业生态的成熟, 同时也可帮助运营商提升在内容生产制作环节的影响力, 实现网络与内容之间更为有机的战略协同, 创造新的收入来源和业务模式 综上所述, 云 VR 业务可为运营商在 5G 时代开发新型商业模式 提升产业影响力提供重要助力 而另一方面, 我们也必须看到当前 VR 产业还远未成熟, 在 VR 内容的生产与制作 VR 产品的体验与分销 VR 硬件供应链的建设与管理等诸多方面, 均存在相当的困难与制约因素 电信运营商所拥有的渠道 资金 46

47 和技术资源则可为 VR 产业的成熟发展提供帮助 以这些资源为杠杆, 运营商可 加强对 VR 产业链的影响和引导, 加深 VR 应用与网络的融合程度, 从而推动 VR 真正成为 5G 时代的 杀手级应用 在这一过程中, 云 VR 可成为连接电信网 络与 VR 产业链的桥梁与纽带, 促进产业链各方的共赢发展 47

48 参考文献 [1] 虚拟 ( 增强 ) 现实白皮书 (2017 年 ). 中国信通院 华为等,2017 年 9 月 [2] 面向 Cloud VR 的承载网络白皮书. 华为 ilab,2017 年 10 月 [3] Cloud VR+ 场景白皮书. 中国信通院 华为 ilab 华为 C&SI 商业咨询部, 2018 年 2 月 [4] Jens-Rainer Ohm, Gary J. Sullivan,Heiko Schwarz, Thiow Keng Tan and Thomas Wiegand: Comparison of the Coding Efficiency of Video Coding Standards Including High Efficiency Video Coding (HEVC)[J] IEEE Volume: 22, Issue: 12, Dec

49 联合编写单位及作者 ( 作者按姓氏笔画排序 ) 中国移动通信有限公司研究院 : 于江 李可 杨本植 杨光 周佳俊 郑庆国 胡玉双 高艳福 程锦霞 赵辰羽 李璐 华为 ilab: 马翠娟 包孝东 何志群 黄茵 上海乐相科技有限公司 : 陈玉琨 华为终端 AR&VR 产品线 : 邓清珊 刘建滨 罗毅 北京视博云科技有限公司 : 牛长峰 武振华 Strategy Analytics: 杨光 中国信息通信研究院 : 陈曦 聂蔚青 49

50 关于中国移动 5G 联合创新中心 2016 年 2 月, 中国移动 5G 联合创新中心 ( 以下简称 5G 联创中心 ) 成立, 旨在 4G 向 5G 演进过程中, 联合合作伙伴共同推进 5G 基础通信能力成熟, 孵化融合创新应用和产品, 构建合作共赢的跨行业融合生态 5G 联创中心聚焦基础通信能力 智能交通 视频娱乐 工业能源 智慧城市 教育 人工智能与机器人 智慧医疗等领域, 与合作伙伴开展联合创新项目, 并在国内外构建区域开放实验室, 提供基础通信实验 业务开放实验 成熟度测试认证 用户分析及体验四大能力 截至 2018 年 5 月, 已有 130 家合作伙伴加入, 其中垂直行业合作伙伴达到 74 家, 在北京 上海 浙江等地构建 9 个境内实验室, 在美国 ( 硅谷 ) 香港 瑞典( 斯德哥尔摩 ) 构建 3 个境外实验室 中国移动 5G 联合创新中心 网址 : 联系我们 :admin@cmcc-5gic.org 50

51 Copyright 2018 中国移动 5G 联合创新中心版权所有 您可以为内部参考的目的引用本文件 本文件未授予任何其他许可 本文件 按原样 提供, 不作任何明示或暗示的保证 任何保证均明确予以否认, 包括但不限于不侵权 商用性以及对特定目的适用性的保证 中国移动 5G 联合创新中心不负责保证所呈现信息的精确性 本文件提供的任何信息可能会被纠正 修改和改变, 恕不另行通知 使用或信赖本文件所提供信息的风险自行承担 本文件提供的所有关于第三方的信息均来源于公开资源或他们发布的报告和报表 转载 摘编或利用其它方式使用本报告, 请注明来源 中国移动 5G 联合创新中心 违反上述 声明者, 我们将保留追究其相关法律责任权利 51

52 52