截至 2012 年 4 月份,JCT-VC 联合工作组已经召开了第八次会议, 并于 2012 年 2 月 17 日发布了第一版内部草稿 High efficiency video coding (HEVC) text specification draft 6, 计划 2012 年 7 月发布第一

Size: px

Start display at page:

Download "截至 2012 年 4 月份,JCT-VC 联合工作组已经召开了第八次会议, 并于 2012 年 2 月 17 日发布了第一版内部草稿 High efficiency video coding (HEVC) text specification draft 6, 计划 2012 年 7 月发布第一"

炫稳艾
6 years ago
Views:

1 解读下一代视频压缩标准 HEVC(H.265) 文 / 华为企业业务 BG UC&C 产品线智真产品部李军华王浦林摘要 : 在数字视频应用产业链的快速发展中, 面对视频应用不断向高清晰度高帧率高压缩率方向发展的趋势, 当前主流的视频压缩标准协议 H.264(AVC) 的局限性不断凸显同时, 面向更高清晰度更高帧率更高压缩率视频应用的 HEVC(H.265) 协议标准应运而生本文重点分析了下一代视频压缩协议标准 HEVC(H.265) 的技术亮点, 并对其在未来应用中将给整个产业带来的深刻变化予以展望关键词 : H.264 H.265 HEVC 编解码视频压缩一概述 H.264(AVC) 从 2003 年 5 月草稿发布以来, 凭借其相对于以往的视频压缩标准在压缩效率以及网络适应性方面的明显优势, 逐步成为视频应用领域的主流标准根据 MeFeedia 的数据, 由于 ipad 以及其它新兴设备大多支持 H.264 硬件加速, 至 2011 年底,80% 的视频使用 H.264 编码, 并且随着支持 H.264 解码的设备不断增多, 这一占有率还将进一步增长但是, 随着数字视频应用产业链的快速发展, 视频应用向以下几个方向发展的趋势愈加明显 : 高清晰度 (Higher Definition): 数字视频的应用格式从 720 P 向 1080 P 全面升级, 在一些视频应用领域甚至出现了 4K x 2K 8K x 4K 的数字视频格式 ; 高帧率 (Higher frame rate ): 数字视频帧率从 30 fps 向 60fps 120fps 甚至 240fps 的应用场景升级 ; 高压缩率 (Higher Compression rate ): 传输带宽和存储空间一直是视频应用中最为关键的资源, 因此, 在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求由于数字视频应用在发展中面临上述趋势, 如果继续采用 H.264 编码就出现的如下一些局限性 : (1) 宏块个数的爆发式增长, 会导致用于编码宏块的预测模式运动矢量参考帧索引和量化级等宏块级参数信息所占用的码字过多, 用于编码残差部分的码字明显减少 (2) 由于分辨率的大大增加, 单个宏块所表示的图像内容的信息大大减少, 这将导致相邻的 4 x 4 或 8 x 8 块变换后的低频系数相似程度也大大提高, 导致出现大量的冗余 (3) 由于分辨率的大大增加, 表示同一个运动的运动矢量的幅值将大大增加,H.264 中采用一个运动矢量预测值, 对运动矢量差编码使用的是哥伦布指数编码, 该编码方式的特点是数值越小使用的比特数越少因此, 随着运动矢量幅值的大幅增加,H.264 中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低 (4) H.264 的一些关键算法例如采用 CAVLC 和 CABAC 两种基于上下文的熵编码方法 deblock 滤波等都要求串行编码, 并行度比较低针对 GPU/DSP/FPGA/ASIC 等并行化程度非常高的 CPU,H.264 的这种串行化处理越来越成为制约运算性能的瓶颈为了面对以上发展趋势,2010 年 1 月,ITU-T VCEG(Video Coding Experts Group) 和 ISO/IEC MPEG(Moving Picture Experts Group) 联合成立 JCT-VC(Joint Collaborative Team on Video Coding) 了联合组织, 统一制定下一代编码标准 :HEVC(High Efficiency Video Coding) HEVC 协议标准计划于 2013 年 2 月份正式在业界发布, 目前整个框架结构已基本确定

2 截至 2012 年 4 月份,JCT-VC 联合工作组已经召开了第八次会议, 并于 2012 年 2 月 17 日发布了第一版内部草稿 High efficiency video coding (HEVC) text specification draft 6, 计划 2012 年 7 月发布第一版公开版草稿, 在 H.264 标准 2~4 倍的复杂度基础上, 将压缩效率提升一倍以上下表列出了 HM4.0(HEVC 参考代码 ) 相对于 JM18.0 BD-Rate 对比 : Video Sequence HM 4.0 HE Bit Rate Savings for Equal PSNR Random Access Low Delay All Intra Class A 43% 29% Class B 44% 48% 26% Class C 34% 41% 23% Class D 32% 38% 18% Class E 51% 29% Average 39% 44% 25% Average Encoding Time 110% 175% 103% Average Decoding Time 43% 59% 80% 表 1 HEVC 相对于 H.264 的压缩效率提升数据列表由表中数据可见, 在 Low Delay 的情况下,HEVC(HM4.0) 相对于 H.264 比特率平均下降 44% 二 HEVC(H.265) 的技术亮点作为新一代视频编码标准,HEVC(H.265) 仍然属于预测加变换的混合编码框架然而, 相对于 H.264,H.265 在很多方面有了革命性的变化 HEVC(H.265) 的技术亮点有 : 1. 灵活的编码结构在 H.265 中, 将宏块的大小从 H.264 的 16x16 扩展到了 64x64, 以便于高分辨率视频的压缩同时, 采用了更加灵活的编码结构来提高编码效率, 包括编码单元 (Coding Unit) 预测单元 (Predict Unit) 和变换单元 (Transform Unit) 如图 1 所示 : 图 1 编码单元 (CU) 预测单元(PU) 变换单元(CU) 其中编码单元类似于 H.264/AVC 中的宏块的概念, 用于编码的过程, 预测单元是进行预测的基本单元, 变换单元是进行变换和量化的基本单元这三个单元的分离, 使得变换预测和编码各个处理环节更加灵活, 也有利于各环节的划分更加符合视频图像的

3 纹理特征, 有利于各个单元更优化的完成各自的功能 2. 灵活的块结构 ----RQT(Residual Quad-tree Transform) RQT 是一种自适应的变换技术, 这种思想是对 H.264/AVC 中 ABT(Adaptive Block-size Transform) 技术的延伸和扩展对于帧间编码来说, 它允许变换块的大小根据运动补偿块的大小进行自适应的调整 ; 对于帧内编码来说, 它允许变换块的大小根据帧内预测残差的特性进行自适应的调整大块的变换相对于小块的变换, 一方面能够提供更好的能量集中效果, 并能在量化后保存更多的图像细节, 但是另一方面在量化后却会带来更多的振铃效应因此, 根据当前块信号的特性, 自适应的选择变换块大小, 如图 2 所示, 可以得到能量集中细节保留程度以及图像的振铃效应三者最优的折中图 2 灵活的块结构示意图 3 采样点自适应偏移(Sample Adaptive Offset) SAO 在编解码环路内, 位于 Deblock 之后, 通过对重建图像的分类, 对每一类图像像素值加减一个偏移, 达到减少失真的目的, 从而提高压缩率, 减少码流采用 SAO 后, 平均可以减少 2%~6% 的码流, 而编码器和解码器的性能消耗仅仅增加了约 2% 4 自适应环路滤波(Adaptive Loop Filter) ALF 在编解码环路内, 位于 Deblock 和 SAO 之后, 用于恢复重建图像以达到重建图像与原始图像之间的均方差 (MSE) 最小 ALF 的系数是在帧级计算和传输的, 可以整帧应用 ALF, 也可以对于基于块或基于量化树 (quadtree) 的部分区域进行 ALF, 如果是基于部分区域的 ALF, 还必须传递指示区域信息的附加信息 5 并行化设计当前芯片架构已经从单核性能逐渐往多核并行方向发展, 因此为了适应并行化程度非常高的芯片实现,HEVC/H265 引入了很多并行运算的优化思路, 主要包括以下几个方面 : (1) Tile 如图 3 所示, 用垂直和水平的边界将图像划分为一些行和列, 划分出的矩形区域为一个 Tile, 每一个 Tile 包含整数个 LCU(Largest Coding Unit), Tile 之间可以互相独立, 以此实现并行处理 : (2) Entropy slice 图 3 Tile 划分示意图 Entropy Slice 允许在一个 slice 内部再切分成多个 Entropy Slices, 每个 Entropy Slice 可以

独立的编码和解码, 从而提高了编解码器的并行处理能力 : 图 4 每一个 slice 可以划分为多个 Entropy Slice (3) WPP(Wavefront Parallel Processing) 上一行的第二个 LCU 处理完毕, 即对当前行的第一个 LCU 的熵编码 (CABAC) 概率状态参数进行初始化, 如图 5 所示因此, 只需要上一行的第二个 LCU 编解码完毕,

4 独立的编码和解码, 从而提高了编解码器的并行处理能力 : 图 4 每一个 slice 可以划分为多个 Entropy Slice (3) WPP(Wavefront Parallel Processing) 上一行的第二个 LCU 处理完毕, 即对当前行的第一个 LCU 的熵编码 (CABAC) 概率状态参数进行初始化, 如图 5 所示因此, 只需要上一行的第二个 LCU 编解码完毕, 即可以开始当前行的编解码, 以此提高编解码器的并行处理能力 : 图 5 WPP 示意图 6 H.264 中已有特性的改进相对于 H.264,H.265 标准的算法复杂性有了大幅提升, 以此获得较好的压缩性能 H.265 在很多特性上都做了较大的改进, 如表 2 所示 : H.264 H.265 MB/CU 大小 4 4 ~ ~ 亮度插值 Luma-1/2 像素 {1,-5,20,20,-5,1} Luma-1/4 像素 {1,1} Luma-1/2 像素 {-1,4,-11,40,40,-11,4,-1} Luma-1/4 像素 {-1,4,-10,57,19,-7,3,-1} Luma-1/4 像素 {-1,3,-7,19,57,-10,4,-1} MVP 预测方法空域 MVP 预测空域 + 时域 MVP 预测 AMVP\Merge 亮度 Intra 预测 4 4 / 8 8 / 16 16:9/9/4 模式 34 种角度预测 + Planar 预测 DC 预测色度 Intra 预测 DC, Horizontal, Vertical, Plane DM, LM, planar, Vertical, Horizontal, DC, diagonal 变换 DCT4 4/8 8 DCT4 4/8 8/16 16/32 32 DST4x4 去块滤波器 4x4 和 8x8 边界 Deblock 滤波较大的 CU 尺寸,4x4 的边界不进行滤波表 2 H.264 和 H.265 关键特性对比三 HEVC(H.265) 技术应用前景展望 H.265 标准是在 H.264 标准的基础上发展起来的, 结合 H.264 在视频应用领域的主流地位可以预见 H.265 协议在未来广大的发展前景世界的一些主流电视组织以及媒体运营商已经选择 H.264 作为媒体格式标准, 一些主要的编解码设备厂商也一直积极参与到 H.265 标准的研究当中华为是 ITU-T 视讯标

5 准的主要 Reporter( 报告人 ) 和 Editor( 编辑者 ) 作为国际电信联盟(ITU-T) 成员单位, 华为牵头并参与制订了多项国家标准和行业企业标准在 H.265 协议制定期间, 华为提交了多项相关提案建议, 并提供了非常典型的应用场景测试序列, 得到 ITU-T 的高度认可和接纳华为提供的 ChinaSpeed 序列已经被标准组织采纳作为 Class F 的标准测试序列随着芯片处理能力越来越强, 算法复杂性对应用的影响因素越来越小相反, 在算法实时通讯应用以及 IPTV 应用中, 业务的不断扩展和需求的增加使得有限的带宽资源逐渐成为瓶颈, 高压缩率的编码是解决这一难题的有效技术手段, 这也为 H.265 在基于 IP 进行流媒体服务领域的应用奠定了坚实的基础目前很多电信运营商使用 H.264 标准作为其媒体格式, 也有很多厂商推出了基于 H.264 标准的机顶盒以及基于 H.264 标准的视频会议解决方案华为作为全球领先的电信解决方案供应商, 是国内目前最大的视频会议研发机构, 从 1993 年华为正式推出 ViewPoint 系列视频会议产品以来, 已经发布了五代视频会议产品, 在视频通信领域目前获得 600 多项专利受理, 其中国际专利 100 多项华为能够提供全系列的视频会议产品, 包括智真视频会议系统高清视频会议系统标清视频会议系统以及基于 IPTV 的解决方案根据 Frost& Sullivan 咨询报告,2011 年华为视频会议解决方案市场占有率全球排名前三, 智真的市场占有率全球排名第二华为作为研究 HEVC 的第一梯队企业, 密切关注 H.265 标准的发展, 并将率先推出 H.265 相关的视讯产品四结束语 HEVC(H.265) 标准预计 2013 年 2 月发布正式版本, 由于其在压缩效率并行处理能力以及网络适应性方面的极大改进, 它的发展和应用必将把视频编解码理论和应用推向一个新的高度五参考文献 1. Gary J. Sullivan and Jens-Rainer Ohm, "Recent developments in standardization of high efficiency video coding (HEVC)", SPIE Applications of Digital Image Processing XXXIII, Andrew G. Tescher (editor), Proceedings of SPIE Volume 7798, Paper number , August, ON RESIDUAL QUAD-TREE CODING IN HEVC, Yih Han Tan, Chuohao Yeo, Hui Li Tan, Zhengguo Li, / IEEE 4. 从 H.264 向 H.265 的数字视频压缩技术升级, 刘国梁, 铁路通信信号工程技术 (RSCE) 2011 年 6 月, 第 8 卷第 3 期 5. High Efficiency Video Coding (HEVC) text specification draft 6, JCTVC-H 陈清.H.265 标准现状和发展应用趋势 [J]. 中国多媒体通信,2008(10):12-15.

H.265标准明年1月推出安防视频监控标准竞争白热化

H.265标准明年1月推出安防视频监控标准竞争白热化 H.265 标准明年 1 月推出安防视频监控标准竞争白热化每一项标准的诞生似乎都会给行业的编码技术带来新的发展信号无论是 ISO ITU 制定的 MPEG4 和 H.264 国际标准还是国内标准起草组制定的 AVS SVAC 等国内标准, 谁占据标准高地, 相应地标准制定者就占据了视频编解码行业的制高点而最近又有消息传出, H.265 标准即将诞生该国际标准将会给安防行业带来哪些信号? 对行业的发展将会产生哪些影响?

截至 2012 年 4 月份,JCT-VC 联合工作组已经召开了第八次会议, 并于 2012 年 2 月 17 日发布 了第一版内部草稿 High efficiency video coding (HEVC) text specification draft 6, 计划 2012 年 7 月发布第一

截至 2012 年 4 月份,JCT-VC 联合工作组已经召开了第八次会议, 并于 2012 年 2 月 17 日发布了第一版内部草稿 High efficiency video coding (HEVC) text specification draft 6, 计划 2012 年 7 月发布第一