AVS与MPEG视频编码标准的比较

Size: px

Start display at page:

Download "AVS与MPEG视频编码标准的比较"

桐尧庞
5 years ago
Views:

1 我视频编码国家标准 AVS 与国际标准 MPEG 的比较数字音视频编解码技术标准工作组黄铁军本文从技术角度对 MPEG-2 的视频标准 MPEG-4 AVC/H.264 和 AVS 视频 (GB/T ) 三个视频标准进行对比, 包括技术方案主观测试客观测试复杂度等四个方面一技术对比 AVS 视频与 MPEG 标准都采用混合编码框架 ( 见图 1), 包括变换量化熵编码帧内预测帧间预测环路滤波等技术模块, 这是当前主流的技术路线 AVS 的主要创新在于提出了一批具体的优化技术, 在较低的复杂度下实现了与国际标准相当的技术性能, 但并未使用国际标准背后的大量复杂的专利 AVS- 视频当中具有特征性的核心技术包括 : 8x8 整数变换量化帧内预测 1/4 精度像素插值特殊的帧间预测运动补偿二维熵编码去块效应环内滤波等编码控制控制数据 - 解码器变换 / 量化反量化反变换量化后的变换系数熵编码帧内预测帧内 / 帧间运动补偿预测环滤波运动估计运动数据图 1 典型视频编码框架 AVS 视频编码器框图如下图所示

2 图 2 AVS 视频编码器框图 AVS 视频标准定义了 I 帧 P 帧和 B 帧三种不同类型的图像,I 帧中的宏块只进行帧内预测,P 帧和 B 帧的宏块则需要进行帧内预测或帧间预测, 图中 S 0 是预测模式选择开关预测残差进行 8 8 整数变换 (ICT) 和量化, 然后对量化系数进行 zig-zag 扫描 ( 隔行编码块使用另一种扫描方式 ), 得到一维排列的量化系数, 最后对量化系数进行熵编码 AVS 视频标准的变换和量化只需要加减法和移位操作, 用 16 位精度即可完成 AVS 视频标准使用环路滤波器对重建图像滤波, 一方面可以消除方块效应, 改善重建图像的主观质量 ; 另一方面能够提高编码效率滤波强度可以自适应调整 AVS 标准支持多种视频业务, 考虑到不同业务之间的互操作性,AVS 标准定义了档次 (profile) 和级别 (level) 档次是 AVS 定义的语法语义及算法的子集 ; 级别是在某一档次下对语法元素和语法元素参数值的限定集合为了满足高清晰度 / 标准清晰度数字电视广播数字存储媒体等业务的需要,AVS 视频标准定义了基准档次 (Jizhun profile) 和 4 个级别 ( 和 6.2), 支持的最大图像分辨率从到 , 最大比特率从 10 Mbit/s 到 30 Mbit/s 表 1 AVS 与 MPEG-2 MPEG-4 AVC/H.264 使用的技术对比和性能差异估计 AVS 视频与 AVC/H.264 性能视频编码标准 MPEG-2 视频 MPEG-4 AVC/H.264 视频 AVS 视频差异估计 ( 采用信噪比 db 估算, 括号内的百分比为码率差异 ) 帧内预测只在频域内进行 DC 系数差分预测基于 4 4 块,9 种亮度预测模式,4 种色度预测模式基于 8 8 块,5 种亮度预测模式,4 种色度预测模式基本相当

3 多参考帧预测变块大小运动补偿 B 帧宏块直接编码模式 B 帧宏块双向预测模式 ¼ 像素运动补偿变换与量化熵编码环路滤波只有 1 帧最多 16 帧最多 2 帧 ( 场编码 ) 无编码前后两个运动矢量仅在半像素位置进行双线性插值 8 8 浮点 DCT 变换, 除法量化单一 VLC 表, 适应性差无独立的空域或时域预测模式, 若后向参考帧中用于导出运动矢量的块为帧内编码时只是视其运动矢量为 0, 依然用于预测编码前后两个运动矢量 ½ 像素位置采用 6 拍滤波,¼ 像素位置线性插值 4 4 整数变换, 编解码端都需要归一化, 量化与变换归一化相结合, 通过乘法移位实现 CAVLC: 与周围块相关性高, 实现较复杂 CABAC: 计算较复杂基于 4 4 块边缘进行, 滤波强度分类繁多, 计算复杂容错编码简单的条带划分数据分割复杂的 FMO/ASO 等宏块条带组织机制强制 Intra 块刷新编码约束性帧内预测等 DCT(Discrete Cosine Transform): 离散余弦变换时域空域相结合, 当时域内后向参考帧中用于导出运动矢量的块为帧内编码时, 使用空域相邻块的运动矢量进行预测称为对称预测模式, 只编码一个前向运动矢量, 后向运动矢量由前向导出 ½ 像素位置采用 4 拍滤波,¼ 像素位置采用 4 拍滤波线性插值 8 8 整数变换, 编码端进行变换归一化, 量化与变换归一化相结合, 通过乘法移位实现上下文自适应 2D-VLC, 编码块系数过程中进行多码表切换基于 8 8 块边缘进行, 简单的滤波强度分类, 滤波较少的像素, 计算复杂度低简单的条带划分机制足以满足广播应用中的错误隐藏恢复需求都采用两帧时相当, 帧数增加性能提高不明显降低约 0.1dB (2-4%) 提高 dB (5%) 基本相当基本相当提高约 0.1dB(2%) 降低约 0.5dB(10-15%) VLC(Variable Length Coding): 变长编码 CAVLC(Context-based Adaptive Variable Length Coding): 基于上下文的自适应变长码 CABAC(Context-based Adaptive Binary Arithmetic Coding): 基于上下文的自适应二进制算术编码 FMO(Flexible Macroblock Ordering): 灵活的宏块排序 ASO(Arbitrary Slice Ordering): 任意条带排列二主观评价和客观测试

4 压缩效果的评价标准有主观评价和客观评价两种, 各有优缺点主观评判是聘请专门的评价人员来比较压缩之后再恢复的视听效果和原始效果的差异, 通常是在专门的视听环境中按照一定的规则进行主观评分客观评判则是通过一种具体的算法来统计多媒体数据压缩结果的损失, 例如信噪比 SNR( 即信号与噪声之比的对数 ) 主观评判和客观评判有时相差很大, 因此衡量一个算法的好坏就需要在这二者之间找到一个平衡点对一套标准的评价, 通常开发过程中采用客观评价的方法, 但最终要得到主观评价的确认 1.MPEG-4 AVC 视频标准主观测试 2002 年月,MPEG 组织了专题组对 AVC (ISO/IEC ITU-T Rec. H.264) 与 MPEG-4 Visual (ISO/IEC ) 和 MPEG-2 Video (ISO/IEC ) 标准进行了测试测试在 FUB/ISCTI ( 意大利 ) NIST ( 美国 ) 和 TUM ( 德国 ) 进行, 测试结果表明 AVC 的编码性能有显著提高本次测试标准清晰度 (SD) 和高清晰度 (HD) 采用的测试条件 ( 视频序列和码率 ) 如下表 : 表 2 AVC 标清测试条件 Test SD Main Test Codecs AVC L3 compared against MPEG-2 MP@ML (MPEG-2 TM5 & HiQ) Resolution SD Sequences Mobile & Calendar, Husky Tempete, Football Input rate 50 fields per seconds 60 fields per seconds Bitrate 6 Mbps, 4 Mbps, 3 Mbps, 2.25 Mbps, 1.5 Mbps (AVC only) Maximum allowed intra 0.5 seconds refresh period 表 3 AVC 高清测试条件 Test HD Main Test Codecs AVC L4compared against MPEG-2 MP@HL (MPEG-2 TM5 & HiQ) Resolution 720(60p) 1080(30i) 1080(25p) Sequences Harbour, Crew Stockholm Pan, Vintage Car, Riverbed New Mobile & Calendar Input rate 60 frames per second 60 fields per 25 frames per second second Bitrate 20Mbps, 10Mbps, 6Mbps 20Mbps, 10Mbps 20Mbps, 10Mbps, 6Mbps Maximum allowed intra 0.5 seconds refresh period

5 图像质量主观评价试验依据 ITU-R BT Methodology for the subjective assessment of the quality of television pictures( 电视图像质量主观评价方法 ) ( 下面可以看到 AVS 的两次主观测试同样采用的是这个测试标准 ) 测试结果如下表: 表 4 标清情况下,AVC 与优化的 MPEG(MPEG-2 HiQ) 对比情况 SD Main (AVC Main vs. MPEG-2 HiQ) 序列 Football Mobile Husky Tempete 6 Mbps T T 4Mbps 1.5x T 1.5x T AVC 码率 3Mbps 1.3x 2x 1x /1.3x T 2.25Mbps > 1.3x 2.7x 1.3x T 1.5Mbps > 1.5x 4x > 1.5x T, 2x ( 注 : 表中 T 表示透明, 压缩后与原始图像看不出差异,Nx 表示被对比者码率是 AVC 的 N 倍时才能达到同等质量, 下同 ) 由表可以看出,12 个可比项中有 8 个的 N 大于等于 1.5, 有 3 个大于等于 2, 有一个等于 4 表 5 标清情况下,AVC 与 MPEG-2 参考软件 (MPEG-2 TM5) 对比情况 SD Main (AVC Main compared to MPEG-2 TM5) 序列 Football Mobile Husky Tempete 6 Mbps T T 4Mbps 1.5x T > 1.5 T AVC 码率 3Mbps 1.3x > 2x 2x T 2.25Mbps 1.8x > 2.7x 1.8x T 1.5Mbps 2x > 4x 2.7x / 2x T, 4x 由表可以看出,AVC 与 MPEG-2 参考软件比,12 个可比项中有 9 个的 N 大于等于 1.8, 有 2 个大于等于 4 表 6 高清情况下,AVC 与优化的 MPEG(MPEG-2 HiQ) 对比情况 HD Main (AVC Main compared MPEG-2 HiQ) Sequence 720 (60p) 1080 (30i) 1080 (25p) Crew Harbour Stockholm Pan New Mobile & Calendar River Bed Vintage Car 20Mbps T T T T T AVC bitrates 10Mbps 2x T 1x T, 2x > 1x T, 2x 6Mbps 1.7x T, 3.3x This bitrate was not part of the test > 1.7x 1.7x 由表可以看出,AVC 与优化的 MPEG-2 高清编码器比,9 个可比项中有 7 个的 N 大于等于 1.7, 有 3 个大于等于 2, 有一个等于 3.3

6 表 7 高清情况下,AVC 与 MPEG-2 参考软件 (MPEG-2 TM5) 对比情况 HD Main (AVC Main compared MPEG-2 TM5) Sequence 720 (60p) 1080 (30i) 1080 (25p) Crew Harbour Stockholm New Mobile & River Vintage Pan Calendar Bed Car 20Mbps T T T T T AVC 10Mbps 2x T 2x T, 2x > 1x T, 2x bitrates 6Mbps 1.7x T, 1.7x This bitrate was not part of the test > 1.7x 1.7x 由表可以看出,AVC 与 MPEG-2 参考软件比,9 个可比项中有 8 个的 N 大于等于 1.7, 有 4 个大于等于 2 总体上讲,AVC 与 MPEG-2 对比,85 个比对中 66 对 MPEG-2 的码率要达到 1.5 倍才能与 AVC 达到同样质量, 其中 51 对 MPEG-2 码率要达到 AVC 的 2 倍才能达到 AVC 的质量换句话说, 在 60% 的情况下,AVC 的编码效率能够达到 MPEG-2 的两倍鉴于 AVC 的编码效率能够达到 MPEG-2 的 2 倍, 我国有关测试机构在测试 AVS 时, 通常把 AVS 视频的码率也设在 MPEG-2 典型码率的二分之一或更低, 也就是测试 AVS 编码效率是 MPEG-2 的 2 倍或更高的情况下的 AVS 视频的编码质量是否能够广播要求 2.AVS 主观测试国家广播电视产品质量监督检验中心数字电视用户端产品测试实验室 2004 年 11 月 15 日至 12 月 26 日, 依据数字音视频编解码技术标准工作组的委托, 国家广播电视产品质量监督检验中心数字电视用户端产品测试实验室对工作组送检的 AVS 视频编 / 解码方案组织了图像质量主观评价试验通过对委托方提供的 AVS 软编 / 解码器的主观评价试验, 评价 AVS 视频压缩方案的性能图像质量主观评价试验依据 ITU-R BT Methodology for the subjective assessment of the quality of television pictures( 电视图像质量主观评价方法 ) 和 ITU-R BT Subjective assessment of image quality in high-definition television( 高清晰度电视图像质量的主观评价 ), 采用双刺激连续质量标度 (DSCQS) 法评价 AVS 视频编 / 解码系统处理后的图像质量相对于未经压缩的原始图像质量的差别本次视频图像质量主观评价的目的是通过比较经 AVS 编 / 解码系统处理过的图像质量与原始素材图像质量的差别来评价 AVS 视频编 / 解码方案的总体性能, 评价素材的选择内容应广泛且严酷度适当所选择的测试序列应能反应图像的亮度再现彩色再现静态空间分辨率动态空间分辨率运动再现视在深度效果临场感闪烁性能和熟悉的色调

7 的再现等特性希望通过所选择的节目能够充分准确地反映被评价的视频编 / 解码方案的性能测试序列包括 8 个高清晰度节目和 8 个标准清晰度节目, 每段节目时间长度为 10s~ 20s 高清晰度图像测试序列的被评价对象与原始素材的平均得分差在 1.6 和 6.0 之间, 总平均分差为 3.6, 说明评价人员认为被评价对象的图像质量与原始素材的图像质量差别很小统计结果表明, AVS 视频编 / 解码方案在图像格式为 P/25Hz 压缩码率为 6Mbps 时, 被评价对象的图像质量与原始素材图像质量的差别很小, 不易察觉 8 个标准清晰度图像测试序列的被评价对象与原始素材的平均得分差在 1.1 和 10.5 之间, 总平均分差为 6.4 除序列 2 外, 其他 7 个测试序列的标准偏差均在 6.4 至 8.6 之间, 说明评价人员对这些测试序列打分的离散度较小试验结果表明 AVS 视频编 / 解码方案在图像格式为 I/50Hz 压缩码率为 2.5Mbps 时, 可察觉经编 / 解码处理后的被评价对象与原始素材图像质量的差别, 但差别小本次测试表明,AVS 视频码率不到 MPEG-2 典型码率二分之一 ( 标清 ) 和三分之一 ( 高清 ) 的情况下, 质量损失很小, 可以达到广播要求 3.AVS 主观测试国家广电总局广播电视规划院 2005 年 04 月至 9 月, 国家广电总局广播电视规划院受 AVS 工作组挂靠单位中国科学院计算技术研究所委托, 对经过 AVS 参考软件编解码后的标准清晰度和高清晰度视频进行主观评价, 评价其对源图像的质量损伤程度, 完成了 AVS 视频压缩质量主观评价测试报告 ( 附件 ) 本次测试的依据是广电行业标准 GY/T 数字电视图像质量主观评价方法和 ITU-R BT ITU-R BT Test Materials to be used in Subjective Assessment( 用于主观评价的测试材料 ) 标准标清测试采用 6 个国际标准图像序列, 高清采用 6 个国家标准图像序列测试结果汇总如下 : 表 8 AVS 主观测试结果测试码率 \ 视频类型标准清晰度 (625/50i) 高清晰度 (1125/50i) AVS 测试码率 (Mbps) 测试结果优秀良好优秀良好到优秀考虑到目前使用 MPEG-2 标准实施高清电视广播时, 一般使用 20Mbps 的码率, 使用 MPEG-2 标准实施标清电视广播时, 一般使用 5-6Mbps 的码率, 对照本次测试结果可以得知,

8 AVS 码率为现行 MPEG-2 标准的一半时, 无论是标准清晰度还是高清晰度, 编码质量都达到优秀码率不到其三分之一时, 也达到良好到优秀因此相比于 MPEG-2 视频编码效率高 2~3 倍的前提下,AVS 视频质量已完全达到了大范围应用所需的良好要求对比 MPEG 标准组织对 MPEG-4 AVC/H.264 的测试报告,AVS 在编码效率上与其处于同等技术水平 4.AVS 与 MPEG 标准的客观测试对视频编码标准进行客观评价的常用方法是峰值信噪比 PSNR 表 9 表 10 分别给出了 AVS 与 MPEG-2 标准以及 AVS 与 MPEG-4 AVC/H.264 标准 main profile 的客观编码性能结果为相同码率条件下峰值信噪比 PSNR 的增益可以看出,AVS 相对于 MPEG-2 标准编码效率平均提高 2.56dB, 相比于 H.264 标准编码效率略低, 平均有 0.11dB 的损失表 9 AVS 与 MPEG-2 标准客观编码效率比较 HD progressive 序列 SD interlace 序列 AVS 相比于 MPEG-2 pedestrain Station2 Rushhour hourseriding Zy PSNR 增益 (db) 表 10 AVS 与 MPEG-4 AVC/H.264 标准 main profile 客观编码效率比较 HD progressive 序列 SD interlace 序列 AVS 相比于 H.264 pedestrain Station2 Rushhour hourseriding Zy PSNR 增益 (db) 下面是另一组视频序列的 AVS 和 H.264 的性能比较实验结果实验使用的 AVS 视频编码器是 RM 5.0a,H.264 编码器是 JM 6.1e 实验序列包括 720p 和 1080i 序列编码参数见表 4 表给出了 AVS 视频标准相对 H.264 在 PSNR 上的增益图 5 到图 8 给出了 PSNR 曲线表 11 AVS 和 H.264 编码参数 JM 6.1e RM 5.0a 熵编码 CABAC 2D-VLC 率失真优化使用使用参考图像 2 帧 2 帧 B 帧 2 帧 (IBBP) 2 帧 (IBBP) 隔行编码宏块帧 / 场自适应图像帧 / 场自适应运动补偿块大小到到 8 8 环路滤波使用使用表 12 AVS 和 H.264 实验结果逐行扫描 ( ) 隔行扫描 ( ) 序列 PSNR 增益序列 PSNR 增益

9 City db Fireworks db Crew db Flamingo db Harbour db Kayaka db Night db Spincalendar db 平均 db 平均 db PSNR (db) City AVS H bitrate (kbit/s) 图 3 City 序列实验结果 PSNR (db) Harbour AVS H bitrate (kbit/s) 图 4 Harbour 序列实验结果

10 PSNR (db) Spincalendar AVS H bitrate (kbit/s) 图 5 Spincalendar 序列实验结果 PSNR (db) Flamingo AVS 33 H bitrate (kbit/s) 图 6 Flamingo 序列实验结果从上面的数据可以看出, 在逐行编码方面,AVS 视频标准的性能与 H.264 基本一致 ; 在隔行编码方面, 由于 AVS 视频标准目前只支持图像级帧 / 场自适应编码, 平均有 0.5dB 的性能差距三复杂度对比表 13 对 AVS 与 H.264 的计算实现复杂性进行扼要对比, 大致估算,AVS 解码复杂度相当于 H.264 的 30%,AVS 编码复杂度相当于 H.264 的 70% 表 13 AVS 与 H.264 计算复杂性对比技术模块 AVS 视频 MPEG-4 AVC/H.264 视频复杂性分析帧内预测基于 8 8 块,5 种亮度预测模式,4 种色度预测模式基于 4 4 块,9 种亮度预测模式,4 种色度预测模式降低约 50% 多参考帧预测最多 2 帧最多 16 帧, 复杂的缓冲区管存储节省 50% 以上

11 变块大小运动补偿 B 帧宏块对称模式 ¼ 像素运动补偿块运动搜索理机制块运动搜索节省 30~40% 只搜索前向运动适量即可双向搜索最大降低 50% ½ 像素位置采用 4 拍滤波 ¼ 像素位置采用 4 拍滤波线性插值 ½ 像素位置采用 6 拍滤波 ¼ 像素位置线性插值降低 1/3 存储器的访问量变换与量化解码端归一化在编码端完成, 降低解码复杂性编解码端都需进行归一化解码器低于熵编码环路滤波上下文自适应 2D-VLC, Exp-Golomb 码降低计算及存储复杂性基于 8 8 块边缘进行, 简单的滤波强度分类, 滤波较少的像素 CAVLC: 与周围块相关性高, 实现较复杂 CABAC: 硬件实现特别复杂基于 4 4 块边缘进行, 滤波强度分类繁多, 滤波边缘多相比 CABAC 降低 30% 以上降低 50% Interlace 编码 PAFF 帧级帧场自适应 MBAFF 宏块级帧场自适应降低 30% 容错编码简单的条带划分机制足以满足广播应用中的错误隐藏恢复需求数据分割复杂的 FMO/ASO 等宏块条带组织机制强制 Intra 块刷新编码约束性帧内预测等实现特别复杂大大低于四小结 AVS 视频标准 (GB/T ) 是基于我国自主创新技术和国际公开技术所构建的标准, 主要面向高清晰度和高质量数字电视广播网络电视数字存储媒体和其他相关应用, 具有以下特点 :(1) 性能高, 编码效率是 MPEG-2 的 2 倍以上, 与 H.264 的编码效率处于同一水平 ;(2) 复杂度低, 算法复杂度比 H.264 明显低, 软硬件实现成本都低于 H.264;(3) 我国掌握主要知识产权, 专利授权模式简单, 费用低基于此, 我们认为 AVS 标准是能够支撑国家数字音视频产业发展的重要标准参考文献 [1] 信息技术先进音视频编码第 2 部分 : 视频. AVS N1165, 2005 [2] 黄铁军, 高文. AVS 标准制定背景与知识产权状况. 电视技术年第 7 期.P4-7 [3] Liang Fan, Siwei Ma, Feng Wu. Overview of AVS Video Standard. Proc IEEE Intl. Conf. Multimedia & Expo., 2004: [4] 梁凡. AVS 视频标准的技术特点. 电视技术年第 7 期 [5] ISO/IEC JTC1/SC29/WG11 (MPEG). N6231 Report of The Formal Verification Tests on AVC (ISO/IEC

12 ITU-T Rec. H.264). December 2003, Waikoloa [6] 国家广播电视产品质量监督检验中心. AVS 视频编 / 解码方案图像质量主观评价试验报告年 12 月 [7] 国家广播电影电视总局广播电视规划院. AVS 视频压缩质量主观评价 (AVS 参考软件 5.2 版 ) 测试报告年 9 月

MPEG AVS AV AVS:JVT AVS

AVS 2003 7 30 MPEG AVS AV AVS:JVT AVS HPA Customer site A HPA Customer site B Harmonic Enterprise 1 Customer site C / (MPEG, H26x, AVS) (ISMA) DVB DVD (S/C/T) (TCP/IP) MPEG MPEG VCD: MPEG-1(ISO/IEC 11172)