多媒体通信 Multimedia Communications 第 2 章多媒体数据压缩国际标准关于视频的压缩标准俞能海陈晓辉 2014 年 10 月 14 日

Transcription

1 多媒体通信 Multimedia Communications 第 2 章多媒体数据压缩国际标准关于视频的压缩标准俞能海陈晓辉 2014 年 10 月 14 日

2 20 年来图像和视频压缩标准的进展 图像 JPEG, 1992 JPEG-LS, 1998 JPEG 2000, 2000 JPEG XR, 2009 视频 H.261, 1988 MPEG-1, 1993 MPEG-2/H.262, 1996 H.263, 1996 MPEG-4, 1999 MPEG-4 AVC/H.264, 2003 H.264 Intra Frame HEVC, 2013 年 4 月 13 号 HEVC Intra Frame China AVS, 2003 Review

3 温故知新 : 回顾图像编码 JPEG JPEG2000 JPEG XR Review 变换 数字信号处理 I II DCT DWT LBT 熵编码 信息论 Huffman 编码 EBCOT VLC

4 图像压缩编码的基本框架 JPEG 算法基本步骤, 1992 年 Review

5 图像压缩编码的基本框架 JPEG-LS 编码流程, 1998 年 Review 三邻域预测结果与边缘检测结果相关 根据梯度计算是否为平滑区域 ( 平滑区域熵编码效果不好 )

6 图像压缩编码的基本框架 JPEG2000 编解码器框架, 2000 年 Review 熵编码 : 首先使用基于上下文的算术编码器, 每个码块进行独立的嵌入式码块编码 ; 然后将所有码块的压缩位流适当截取, 组织成具有不同质量级的压缩位流层 每一层上的压缩位流连同其前面的所有层的压缩位流, 可重构出一定质量的图像 EBCOT (Embedded Block Coding with Optimal Truncation) 标准与技术追踪 2005 年第 10 期 JPEG2000 标准的核心算法及最新进展 6

7 图像压缩编码的基本框架 Review JPEG-XR encoder and decoder, 2009 年 8x8 blocks Quantization tables Adaptive VLC table switching Original image Reversible int-int mapping LBT Scalar quantization VLC Encoding Coded image Block based encoder lapped bi-orthogonal transform (LBT) VLC Encoding Adaptive VLC table switching Quantization tables Coded image VLC Decoding Scalar Dequantization Reversible int-int mapping inverse LBT Original image

8 温故知新 : 回顾图像编码 JPEG 系列 H.26x 系列静止图像 变换 数字信号处理 I II DCT DWT LBT Integer Transform 熵编码 信息论 Huffman 编码 EBCOT VLC CABAC: Context-Adaptive Binary Arithmetic Coding CAVLC: Context-Adaptive Variable Length Coding 帧内预测 (Intra-frame Prediction) Review JPEG-LS, 1998

9 课程内容 第 1 章多媒体通信概述 第 2 章多媒体数据压缩国际标准 第 3 章多媒体同步机制 第 4 章多媒体网络 QoS 第 5 章多媒体传输网络 第 6 章多媒体通信终端 系统与国际标准 第 7 章多媒体通信技术最新进展

10 第 2 章多媒体数据压缩国际标准 2.1 多媒体数据压缩编码的重要性和分类 2.2 常见数据压缩方法分类与基本原理 2.3 音频压缩标准 2.4 静态图像压缩编码的国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

11 视频编码的思路 现有编码技术可以分为三类 第一类方法基于图像统计特性 包括预测编码 ( 例如帧内预测, 运动估计与补偿等 ), 变换编码 ( 例如傅立叶变换, 哈达玛变换,KL 变换, 离散余弦变换, 离散小波变换等 ), 量化, 熵编码 ( 例如算术编码, 霍夫曼编码, 游程编码 ) 等 第二类方法基于人眼视觉特性 包括方向滤波编码, 面向轮廓一纹理特征的编码等 第三类方法基于图像内容特征 包括分形编码, 基于对象的编码等 后两种方法由于复杂度过高, 技术尚未成熟等原因, 仍处于研究阶段 而第一类方法则得到不断地发展和融合, 形成了基于块的预测 / 变换混合编码框架

12 问题的提出 : 视频与图像编码的差异帧间冗余是最大的冗余

13 视频编码器原理 JPEG e.g., DCT: spatial frequency common code words shorter symbols Huffman, arithmetic coding Frames of Digital Video Motion Estimation & Compensation Transform, Quantization, Zig- Zag Scan & Run- Length Encoding Symbol Encoder Bit Stream predict current frame from previous Quantization changes representation size for each symbol adjust rate/quality trade-off Run-length encoding: long runs of zeros run-length symbol MPEG, H.26x

14 视频编解码器框架 自 1988 年 H.261 开始 Temporal Prediction Spatial Transform Entropy VLC Video + + T Q VLC _ (Q) -1 stream (T) -1 + MC MC: Motion Estimation MC: Motion Compensation ME Mode/MV Frame Buffer Generic Encoder 基于块的预测 / 变换混合编码框架

15 混合编码框架 J. R. Jain 和 A. K.Jain 在 1979 年的国际图像编码学会 (PCS 1979) 上提出了基于块运动补偿和变换编码的混合编码框架 (MC/DCT Hybrid Coding), 它也成为了现代几乎所有的视频编码标准的核心 混合编码框架的核心模块除了预测编码和变换编码之外, 还有量化和熵编码两部分

16 20 年来图像和视频压缩标准的进展 图像 JPEG, 1992 JPEG-LS(1998) JPEG 2000, 2000 JPEG XR, 2009 视频 H.261, 1988 MPEG-1, 1993 MPEG-2/H.262, 1996 H.263, 1996 MPEG-4, 1999 MPEG-4 AVC/H.264, 2003 HEVC, 2013 年 4 月 13 号 China AVS, 2003

17 图像和视频编码的标准化组织 JPEG (Joint Photographic Expert Group, 1986) Joint committee between ISO/IEC JTC1 and ITU-T ISO/IEC Joint Technical Committee 1, Subcommittee 29, Working Group 1 (ISO/IEC JTC 1/SC 29/WG 1) - Coding of still pictures. MPEG (Moving Pictures Experts, 1988) ISO/IEC JTC1/SC29 WG11 Coding of moving pictures and audio (ISO/IEC Joint Technical Committee 1, Subcommittee 29, Working Group 11). JVT (Joint Video Team, 2001) Joint project between ITU-T SG16/Q.6 (Study Group 16 / Question 6) VCEG (Video Coding Experts Group) and ISO/IEC JTC1/SC29/WG11 MPEG. JCT-VC (Joint Collaborative Team on Video Coding, 2010) A group of video coding experts from ITU-T Study Group 16 (VCEG) and ISO/IEC JTC 1/SC 29/WG 11 (MPEG) It was created to develop High Efficiency Video Coding.

18 20 年来压缩算法性能 Compression Ratio MPEG-4 AVC/ 03 MPEG-4/ 99 MPEG-2/ 95 MPEG-1/ HEVC/2013 Computation Intensity

19 MPEG 相关标准 MPEG-1: 在 VCD 中被采用, 其中 MPEG-1 Layer3 简称 MP3 MPEG-2: 广播质量的视频 音频和传输协议 被用于无线数码电视 -ATSC DVB 以及 ISDB 数字卫星电视 数字有线电视信号, 以及 DVD 视频光盘技术中 MPEG-3: 原本目标是为 HDTV 设计, 随后发现 MPEG-2 已足够 HDTV 应用, 故 MPEG-3 的研发便中止 MPEG-4: 扩展 MPEG-1 MPEG-2 等标准以支持视频 / 音频物件 (video/audio "objects") 的编码 3D 内容 低位元率编码 ( low bitrate encoding) 和数码版权管理 MPEG-7:MPEG-7 并不是一个视频压缩标准, 它是一个多媒体内容的描述标准 MPEG-21:MPEG-21 是一个正在制定过程中的标准, 它的目标是为未来多媒体的应用提供一个完整的平台

20 小结 : 基于块的预测 / 变换混合编码框架 MPEG-1(1993) MPEG-2/H.262(1996) MPEG-4 AVC/H.264(2003) HEVC(2013) Temporal Spatial Entropy Prediction Transform VLC Video + + T Q VLC _ stream (Q) -1 (T) -1 MC + Mode/MV ME Frame Buffer Generic Encoder

21 第 2 章多媒体数据压缩国际标准 2.1 多媒体数据压缩编码的重要性和分类 2.2 常见数据压缩方法分类与基本原理 2.3 音频压缩标准 2.4 静态图像压缩编码的国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

22 视频中帧间冗余是最大的冗余 MPEG1 2 中的三种图象帧 MPEG 专家组定义了三种图像 : 帧内图像 I(intrapictures) 预测图像 P(predicted pictures) 插补 ( 双向预测 ) 图像 B(bidirectionally interpolated)

23 MPEG Video 典型流结构 两幅 B 位于两个参考图像间 每 15 帧插入一幅 I

24 视频序列的组成 GOP Picture Slice Macroblock Block

25 帧内图像 I 的压缩编码算法

26 预测图像 P 的压缩编码算法 预测图像 P 使用两种类型的参数来表示 : 一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值, 另一种参数是宏块的移动矢量

27 差值法 假设宏块 MPI 是参考宏块 MRJ 的最佳匹配块, 它们的差值就是这两个宏块中相应像素值之差

28 运动矢量算法原理

29 块匹配法 块匹配法 (Block Matching Algorithm) 需要解决两个关键问题 : 匹配准则 绝对值最小 均方误差最小 平均绝对帧差最小 搜索算法 穷举式搜索 三步搜索法 二维对数搜索法 orthogonal search 对偶搜索法

30 最佳匹配的原则 绝对值 AE(absolute difference) 最小 均方误差 MSE(mean-square error) 最小 平均绝对帧差 MAD(mean of the absolute frame difference) 最小 dx 和 dy 分别是参考宏块 MRJ 的移动矢量 d(dx, dy) 在 X 和 Y 方向上的矢量 ), ( ), ( i j x d y j d i g j i f AE ), ( ), ( I J i j y x J I d j d i g j i f MSN 2 2 ), ( ), ( 1 I i J j x d y j d i g j i f J I MAD

31 运动矢量的估计 穷举式搜索 (Exhaustive Search) 三步搜索法 (three-step search) 二维对数搜索法 (2D-logarithmic search) orthogonal search algorithm (OSA) 对偶搜索法 (conjugate search)

32 Motion Estimation Block Based Motion Estimation Mesh Based Motion Estimation Time-domain Algorithms Frequency-domain Algorithms Matching Algorithms Gradient Based Algorithms Blockmatching Featurematching Pelrecursive Blockrecursive Phasecorrelati on (DFT) Matching in (DCT) domain Matching in wavelet domain

33 插补图像 B 的压缩编码算法

34 小结 GOP(Group Of Picture) I 帧 P 帧 B 帧 I 帧 JPEG:DCT Huffman RLE 预测帧 宏块差值 : 匹配的原则 宏块的移动矢量 : 各类搜索方法 时域 / 频域

35 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 H.264 编码框架概述 H.264 视频编码的技术创新点 H.264 不同 Profile 的特点简介 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

36 进一步视频 / 图像冗余及去除方法 H.264 的精华? Temporal Prediction Spatial Transform: DCT/Wavelet Entropy Huffman/VLC/

37 H.264/MPEG-4 AVC H.264 是 ITU-T 以 H.26x 系列为名称命名的标准之一, 同时 AVC 是 ISO/IEC MPEG 一方的称呼 这个标准通常被称之为 H.264/AVC ( 或者 AVC/H.264 或者 H.264/MPEG-4 AVC or MPEG- 4/H.264 AVC) 而明确的说明它两方面的开发者 该标准最早来自于 ITU-T 的称之为 H.26L 的项目的开发 H.26L 这个名称虽然不太常见, 但是一直被使用着 有时候该标准也被称之为 "JVT 编解码器 ", 这是由于该标准是由 JVT 组织并开发的 ( 作为两个机构合作开发同一个标准的事情并非空前, 之前的视频编码标准 MPEG-2 也是由 MPEG 和 ITU-T 两方合作开发的 -- 因此 MPEG-2 在 ITU-T 的命名规范中被称之为 H.262)

38 H.264 的地位

39 H.264 与 MPEG-2/MPEG-4 比较

40 H.264 的视频质量 视频质量 MPEG-4 H264 AVC AVS MPEG Kbps 流达到录像带质量, 1 Mbps 流达到 DVD 质量 主观 可接受的质量 1 mbps 2 mbps

41 基于块的预测 / 变换混合编码框架趋于 成熟 基于块运动补偿和变换编码的混合编码框架 1979 年提出 该编码框架中, 将编码帧划分为固定大小的块, 以块为单位编码 以块为单位进行运动估计和运动补偿, 去除视频序列内的时间冗余 通过帧内预测去除空间冗余 对运动估计, 补偿后的残差数据或者帧内预测后的残差数据, 进行变换 ( 将能量集中到变换域的少数几项系数上 ) 经过变换编码的残差数据进行量化 对运动矢量 (MotionVector,MV) 以及经过变换, 量化后的残差数据进行熵编码

42 Overview of the H.264/AVC video coding standard, Google Cited by 5837 IEEE Trans. Circuits System and Video Technology., vol. 13, no. 7, pp , Jul H.264 编码器框架 Input Video Signal Split into Macroblocks 16x16 pixels - Decoder Coder Control Transform/ Scal./Quant. Scaling & Inv. Transform Control Data Quant. Transf. coeffs Entropy Coding Intra/Inter Intra-frame Prediction Motion- Compensation De-blocking Filter Output Video Signal Motion Estimation Motion Data

43 H.264 编码器结构

44 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 H.264 编码框架概述 H.264 视频编码的技术创新点 H.264 不同 Profile 的特点简介 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

45 创新点 Motion Compensation 1/4 象素精度的运动估计 7 种大小不同的块进行匹配 前向与后向多参考帧 Intra-frame Prediction 包括 9 种 4 4 亮度块的预测 4 种 亮度块的预测和 4 种色度块的预测 De-blocking Filter 优秀的运动补偿滤波器 Transform/Scal./Quant. Entropy Coding

46 Motion Compensation Accuracy Input Video Signal Split into Macroblocks 16x16 pixels - Decoder Coder Control Transform/ Scal./Quant. Scaling & Inv. Transform Control Data Quant. Transf. coeffs Entropy Coding Intra/Inter Intra-frame Prediction Motion- Compensation Motion Estimation De-blocking 16x16 16x8 8x16 Filter MB 0 Types Output 1 Video 8x8 Signal 8x4 4x8 8x Types Motion 1 Data Motion vector accuracy 1/4 (6-tap filter) 46 8x x

47 宏块大小 可以对不同大小和形状的宏块进行运动估计和补偿, 从而提高了对运动矢量估计的精度

48 H.264 树状结构的运动补偿 宏块可进行进一步的分割, 形成图示不同模式的小块 对不同大小和形状 ( 非正方形 ) 的小块进行运动估计和补偿, 从而提高了对运动矢量估计的精度 对于图像中变化平缓的区域, 采用较大的分块尺寸比较合适 ; 对于细节丰富的区域, 采用较小的尺寸比较合适

49 Why different partition sizes? MVs are expensive Smooth area large partition Detailed area small partition

50 The concept of block partitioning In the AVC/H.264 standard, a two-level tree structured partitioning scheme is developed for motion estimation. A macroblock of size is motion-compensated by 16 16, 16 8, 8 16, or 8 8 prediction blocks, while each 8 8 prediction block can be further split into 8 4, 4 8 or 4 4 subblocks. An adaptive block transform technique, which selects a transform size between 4 4 and 8 8, is designed for improving the transform efficiency.

51 高精度的运动估计策略 ½-pel pixel grid values are interpolated using a separable 6-tap filter ¼-pel pixel grid values are interpolated using the average of two ½-pel pixels

52 Intra Prediction Input Video Signal Split into Macroblocks 16x16 pixels - Decoder Intra/Inter Coder Control Transform/ Scal./Quant. Intra-frame Prediction Motion- Compensation Motion Estimation Scaling & Inv. Transform De-blocking Filter Directional spatial prediction (9 types for luma, 1 chroma) Control Data Q A B C D E F G H I Quant. a b c d J Transf. e f g coeffs h K i j k l L m n o p M N O P Output Video Signal 4 Entropy Coding 0 e.g., Mode 3: diagonal down/right Motion prediction Data a, f, k, p are predicted by (A + 2Q + I + 2) >>

53 帧内预测的本质 相邻像素之间通常具有很强的相关性 每个子块用其相邻的上方和左方已编码重建后的像素点来进行预测 后编码的子块若和已编码过的子块相似, 则只需要记录预测值和实际值之间的差值 4 4 亮度块的 9 种帧内预测模式示意图

54 Transform Coding Input Video Signal Decoder Split 4x4 into Block Integer Transform Macroblocks x16 pixels H Coder Control Transform/ Scal./Quant. Main Profile: Adaptive Block Size Transform (8x4,4x8,8x8) Repeated transform of DC coeffs for 8x8 chroma and 16x16 Intra Intra/Inter luma blocks Intra-frame Prediction Motion- Compensation Motion Estimation Scaling & Inv. Transform De-blocking Filter Control Data Quant. Transf. coeffs Output Video Signal Motion Data Entropy Coding

55 整数变换和量化 Transform H.264/MPEG-4 AVC 使用整数 DCT4X4 变换 ; 而 MPEG-2 和 MPEG-4 使用浮点 DCT8X8 变换 更小块减少了块效应和明显的人工痕迹 整数系数消除了在 MPEG-2 和 MPEG-4 中进行浮点系数运算时导致的精度损失 Quantization 量化使用了 52 级步长的量化器, 而 H.263 标准只有 31 级 量化步长以 12.5% 递增, 量化步长范围的扩大使得编码器能够更灵活 精确地进行控制, 在比特率和图像质量之间达到折中

56 Multiple Reference Frames - Decoder Coder Control Transform/ Quantizer Deq./Inv. Transform Control Data Quant. Transf. coeffs Intra/Inter 0 Motion- Compensated Predictor Motion Estimator Multiple Reference Motion Frames for Data Motion Compensation Entropy Coding

57 Residual Coding - Decoder Coder Control Transform/ Quantizer Residual coding is based on 4x4 blocks Integer Transform Deq./Inv. Transform Control Data Quant. Transf. coeffs Intra/Inter 0 Motion- Compensated Predictor Entropy Coding Motion Estimator Motion Data

58 去块效应滤波器 (Deblocking filter) 消除由于相邻宏块由不同的运动估计或者量化导致的人工痕迹 Whether or not to filter a particular block boundary Whether to apply strong or normal deblocking

59 There are two main approaches in integrating deblocking filters into video codecs. Deblocking filters can be used either as post filters or loop filters. Post filters only operate on the display buffer outside of the coding loop. On the contrary, loop filters operate within the coding loop. That is, the filtered frames are used as reference frames for motion compensation of subsequent coded frames.

60 去块效应滤波的代价 Despite all of these advantages, the requirement of a normative loop filter was extensively debated during the development of the H.264/MPEG-4 AVC standard. A critical factor in the debate was the comparatively high complexity of the loop filter. Even after a tremendous effort in speed optimization of the filtering algorithms, the filter can easily account for one-third of the computational complexity of a decoder. This is true even though the loop filter can be implemented without any multiplication or division operations.

61 Entropy Coding Input Video Signal Split into Macroblocks 16x16 pixels - Decoder Coder Control Transform/ Scal./Quant. Inv. Scal. & Transform Control Data Quant. Transf. coeffs Entropy Coding Intra/Inter Intra-frame Prediction Motion- Compensation De-blocking Filter Output Video Signal Motion Estimation Motion Data

62 熵编码的改进 VLC(Variable Length Coding) Huffman Coding Golomb Coding CAVLC Context-Adaptive Variable Length Coding CABAC Context-Adaptive Binary Arithmetic Coding

63 Context-Adaptive In H.264, all symbols are encoded in a context, and the probabilities of each symbol adapt to the context in which they are coded. 例如, 在英文中字母 u 出现的概率是 3%, 但是当前一个字母是 q 的时候, u 出现的概率几乎是 100% H.264 and AIC use several contexts. The probability of a DCT coefficient being 0 is greater for coefficients in the lower right corner of the 8x8 coefficient matrix as for coefficients in the upper left corner. CAVLC 与 CABAC 根据相临块的情况进行当前块的编码 CABAC 比 CAVLC 压缩效率高, 但要复杂一些

64 Golomb-Rice Coding 规则 : 商 +1+ 余数 首先将需要编码的正数除以给定参数 ( 例中为 4) 商表示 0 的个数 余数需要的位长由参数决定 (4 对应长度 2bit) 商和余数之间插入 1 作为停止位

65 exponential Golomb codes 规则 : 指数 +1+( 余数 +1) 首先将需要编码的正数表示为给定参数 ( 例中为 2) 的幂形式 : 如 0=2 0 +0, 1=2 0 +1, 2=2 0 +1, 3= 指数用来表示 0 的个数 余数 +1 表示为二进制数 指数和余数之间插入 1 作为停止位

66 H.264 解码器个单元的运算量 Loop filtering (33%) and interpolation (25%) are the largest components, followed by bitstream parsing and entropy decoding (13%), and inverse transforms and reconstruction (13%). Comparison is based on two similarly optimized C only decoder implementations running on a 600-MHz P3 PC. H.264/AVC Baseline Profile Decoder Complexity Analysis IEEE Transactions on Circuit and System for Video Technology, vol. 13, N0. 7, July 2007

67 小结 :H.264 优点 运动估计 ( 时间冗余 ) 1/4 象素精度的运动估计 7 种大小不同的块进行匹配 前向与后向多个参考帧 帧内预测 ( 空间冗余 ) 去除相临块之间的相关性 去块效应滤波器, 对块的边界进行滤波 空间域到频率域的变换 DCT->4 4 整数变换 52 级步长的量化器, 量化步长以 12.5% 递增 熵编码 CAVLC/CABAC

68 补充 :AVS AVS 是由我国自主制定的音 / 视频编码技术标准, 主要面向高清晰度电视 高密度光存储媒体等应用 AVS 标准以 AVC 框架为基础, 强调自主知识产权, 同时充分考虑了实现的复杂度 相对于 H.264, AVS 的主要特点有 : 的整数变换与 64 级量化 ; 2. 亮度和色度帧内预测都是以 8 8 块为单位, 亮度块采用 5 种预测模式, 色度块采用 4 种预测模式 ; 和 种块模式的运动补偿 ; 4. 在 1/4 象素运动估计方面, 采用不同的四抽头滤波器进行半象素插值和 1/4 象素插值 ; 5. P 帧可以利用最多 2 帧的前向参考帧, 而 B 帧采用前后各一个参考帧

69 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 H.264 编码框架概述 H.264 视频编码的技术创新点 H.264 不同 Profile 的特点简介 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

70 H.264 的三种 Profile 不同的配置 (profile) 复杂度不同 Picture source: FMO, AMO, SP/SI, Data partition

71 H.264 Slice( 帧 ) 类型 Slice Type Description Profile(s) I (Intra) P (Predicted) B (Bi-predictive) SP (Switching P) SI (Switching I) Contains only I macroblocks (each block or MB is predicted from previously coded data within the same slice). Contains P macroblocks (each MB or MB partition is predicted from one list 0 reference picture) and/or I MBs. Contains B macroblocks (each MB or MB partition is predicted from a list 0 and/or a list 1 reference picture) and/or I macroblocks. Facilitates switching between coded streams; contains P and/or I macroblocks. Facilitates switching between coded streams; contains SI macroblocks (a special type of intra coded MB). 在使用不同参考帧的情况下重构相同的图像帧 All All Extended and Main Extended Extended

72 基于 SP 帧的流切换 应用场景示例 : 两个数据流对应同一个视频序列, 如分级编码情况下, 发送端可以发送多个流, 接收到收到所有的数据流则达到最高质量 Bitstream 2 P 2, n-2 P 2, n-1 SP 2, n P 2, n+1 P 2, n+2 SP 12, n Primary SP-frame Secondary SP-frame Bitstream 1 P 1, n-2 P 1, n-1 SP 1, n P 1, n+1 P 1, n+2 The SP- and SI-Frames Design for H.264/AVC IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003

73 SP 和 SI 用于流的拼接 应用场景示例 : 两个数据流不是同一个视频序列, 如多视角拍摄时不同视角摄像机影像 Bitstream 2 P 2, n-2 P 2, n-1 SP 2, n P 2, n+1 P 2, n+2 SI 2, n Bitstream 1 P 1, n-2 P 1, n-1 SP 1, n P 1, n+1 P 1, n+2 The SP- and SI-Frames Design for H.264/AVC IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003

74 SP 和 SI 用于错误恢复 应用场景示例 :SP 和 SI 帧携带了冗余信息可以用于错误恢复 P 1, n-3 P 1, n-2 P 1, n-1 S 1, n P 1, n+1 S 21, n SI 1, n P 1, n+1 The SP- and SI-Frames Design for H.264/AVC IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003

75 Data Partitioning Since some coded information for representation of each region (e.g., motion vectors and other prediction information) is more important or more valuable than other information for purposes of representing the video content, H.264/AVC allows the syntax of each slice to be separated into up to three different partitions for transmission, depending on a categorization of syntax elements.

76 ASO(Arbitrary Slice Order) 如果不使用 ASO, 那么 slice 总是按扫描顺序编解码的 ; 如果使用了 ASO, 序号靠后的 slice 可以先于前面的 slice 编解码 A slice is a data structure that can be decoded independently from other slices of the same picture, in terms of entropy coding, signal prediction, and residual signal reconstruction.

77 FMO(Flexible Macroblock Ordering) FMO 映射表 (macroblock to slice group map) 决定具体每个宏块属于哪个 slice groups, 标准定义了 6 种映射 Interleaved Dispersed Foreground and Background 77

78 FMO 性能 PSNR of foreman sequence in different FMO types Adaptive FMO Selection Strategy for Error Resilient H.264 Coding, ICALIP2008 Hao Chen, Zhen Han, Ruimin Hu and Ruolin Ruan

79 小结 :H.264 profile ASO(Arbitrary Slice Order) FMO(Flexible Macroblock Ordering) Switching P Slice Switching I Slice Data Partitioning Baseline Profile Main Profile Extended Profile 79

80 小结 :H.264 细节决定成败 Temporal? Prediction Spatial? Transform 帧内预测 Entropy? H.265/HEVC(High Efficiency Video Coding) 仍属于预测加变换的混合编码框架

81 第 2 章多媒体数据压缩国际标准 2.1 多媒体数据压缩编码的重要性和分类 2.2 常见数据压缩方法分类与基本原理 2.3 音频压缩标准 2.4 静态图像压缩编码的国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

82 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 HEVC(H.265) 产生的背景 :4K 时代来临 HEVC 性能与编解码框架概述 Quadtree-based coding structure Deblocking & SAO Filter HEVC 各模块运算量 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

83 HEVC(H.265) 产生的背景 :4K 时代来临 UHDTV (Ultra high definition television) 依据 NHK 人类视觉系统测试制作的最佳观看距离与屏幕尺寸及分辨率关系图

84 ITU-R BT 系列的演进 BT.2020: Parameter values for ultra-high definition television systems for production and international programme exchange 编码格式 : 每个分量为 10 或 12 比特 ( 线性 / 非线性 ) 像素数 : 水平 垂直 BT.709: Parameter values for the HDTV standards for production and international programme exchange 编码格式 : 每个分量 8 或 10 比特像素数 : 水平 垂直 BT.601: Studio encoding parameters of digital television for standard 4:3 and wide screen 16:9 aspect ratios 编码格式 : 每个分量为 8 或 10 比特像素数 : 水平 垂直

85 Rec (UHDTV) Color Space UHDTV 是 CIE1931 的 75.8% 数码相机是 53.6% HDTV 是 35.9%

86 Display Port(DP) DisplayPort is a digital display interface developed by the VESA. The current version 1.2 ( ) includes: Gbit/s in High Bit Rate 2 (HBR2) mode multiple independent video streams Source: IDF 2013

87 HEVC(H.265) 产生的背景 :4K 时代来临 H.264 在处理巨幅画面时的问题 87 目标 : 在 H.264 标准 2~4 倍的复杂度基础上, 将压缩效率提升一倍以上 宏块个数的爆发式增长, 会导致用于编码宏块的预测模式 运动矢量 参考帧索引和量化级等宏块级参数信息所占用的码字过多, 用于编码残差部分的码字明显减少 由于分辨率的大大增加, 单个宏块所表示的图像内容的信息大大减少, 这将导致相邻的 4 x 4 或 8 x 8 块变换后的低频系数相似程度也大大提高, 导致出现大量的冗余 由于分辨率的大大增加, 表示同一个运动的运动矢量的幅值将大大增加,H.264 中采用一个运动矢量预测值, 对运动矢量差编码使用的是哥伦布指数编码, 该编码方式的特点是数值越小使用的比特数越少 因此, 随着运动矢量幅值的大幅增加, H.264 中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低 H.264 的一些关键算法如 CAVLC 和 CABAC 两种熵编码方法 deblock 滤波等都要求串行编码, 并行度比较低

88 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 HEVC(H.265) 产生的背景 :4K 时代来临 HEVC 性能与编解码框架概述 Quadtree-based coding structure Deblocking & SAO Filter HEVC 各模块运算量 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

89 在 H.264 十年之后 HEVC encoders can achieve equivalent subjective reproduction quality as encoders that conform to H.264/MPEG-4 AVC when using approximately 50% less bit rate on average. Comparison of the Coding Efficiency of Video Coding Standards Including High Efficiency Video Coding (HEVC) IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012 Overall the complexity of HEVC decoders does not appear to be significantly different from that of H.264/AVC decoders. HEVC encoders are expected to be several times more complex than H.264/AVC encoders, and a subject of research in years to come. HEVC Complexity and Implementation Analysis IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

90 HEVC 的性能 MP: Main Profile HP: High Profile ASP: Advanced Simple Profile HLP: High Latency Profile Comparison of the Coding Efficiency of Video Coding Standards Including 90 High Efficiency Video Coding (HEVC), IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

91 H.264 编码器框架 Review Input Video Signal Split into Macroblocks 16x16 pixels - Decoder Coder Control Transform/ Scal./Quant. Scaling & Inv. Transform Control Data Quant. Transf. coeffs Entropy Coding Intra/Inter Intra-frame Prediction Motion- Compensation De-blocking Filter Output Video Signal Motion Estimation Motion Data

92 HEVC(H.265) 编码器框架 HEVC 的编码分层沿用了 H.261 以来的混合模式 灵活的编码结构 采样点自适应偏移 (Sample Adaptive Offset) Overview of the High Efficiency Video Coding (HEVC) Standard IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

93 推荐阅读的文献 朱秀昌等, 新一代视频编码标准 HEVC, 南京邮电大学学报,2013 年 6 月 IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012 Overview of the High Efficiency Video Coding (HEVC) Standard Sample Adaptive Offset in the HEVC Standard Block Partitioning Structure in the HEVC Standard Comparison of the Coding Efficiency of Video Coding Standards Including HEVC HEVC Complexity and Implementation Analysis

94 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 HEVC(H.265) 产生的背景 :4K 时代来临 HEVC 性能与编解码框架概述 Quadtree-based coding structure Deblocking & SAO Filter HEVC 各模块运算量 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

95 灵活的编码块结构 Detail of 4k2k sequence Traffic showing the coding block (white) and nested transform block (red) structure resulting from recursive quadtree partitioning.

96 Quadtree-based coding structure 块的大小从 H.264 的 16x16 扩展到了 64x64 A treeblock can be further split into smaller blocks recursively, which leads to a quadtree based partition. As shown in Fig, N0 is a treeblock. It splits incrementally into N10 to N33 and generates a quadtree. Each leaf (e.g., N13, N20, N32) of the quadtree is referred to as a coding node, called a CU.

97 灵活的编码结构 CU PU TU 的清晰分离 In contrast to the fixed size macroblock structure of H.264/AVC, HEVC defines three different units according to their functionalities. 同时, 采用了更加灵活的编码结构来提高编码效率, 包括编码单元 (CU, Coding Unit) 预测单元 (PU, Predict Unit) 和变换单元 (TU, Transform Unit) 其中编码单元类似于 H.264/AVC 中的宏块的概念, 用于编码的过程, 预测单元是进行预测的基本单元, 变换单元是进行变换和量化的基本单元 这三个单元的分离, 使得变换 预测和编码各个处理环节更加灵活, 也有利于各环节的划分更加符合视频图像的纹理特征, 有利于各个单元更优化的完成各自的功能 Block Partitioning Structure in the HEVC Standard IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

98 Coding Tree Unit Picture Slice CTU CU A slice contains an integer multiple of CTU, which is an analogous term to the macroblock in H.264/AVC. Inside a slice, a raster scan method is used for processing the CTU. 四叉树结构 quadtree structure Block Partitioning Structure in the HEVC Standard IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

99 Prediction Unit 一个编码块 CU 可以分割 1 或 2 或 4 个预测块 PU 与 H.264 类似, 提供三种分割模式 Skip mode Intra mode Inter mode 但支持非对称的 PU 分割

100 Transform Unit 与 PU 类似一个 CU 可分割为 1 个或多个 TU H.264 支持 4 4 和 8 8 的 TU 帧间预测时只要有块小于 8 8 就全部采用 4 4 H.265 对于帧间编码, 变换块的大小根据运动补偿块的大小进行自适应的调整 对于帧内编码, 变换块的大小根据帧内预测残差的特性进行自适应的调整 RQT(Residual Quad-tree Transform) 100

101 CU 和 PU 的关系 一个 CU 可能同时包含有高细节 ( 高频 ) 部分和低细节 ( 低频 ) 部分, 因此 CU 直接用于变换处理不合适 H.265 中允许将 CU 分割为 TU,TU 和 PU 并不需要对齐 H.264 中 TU 大小为 4 4 或 8 8,TU 是小于 PU 的 CUs in red have RQT transform tree of depth 1 (i.e. each TU spans more than 1 PU). CUs in blue and green have RQT transform tree of depths 2 and 3 respectively.

102 灵活的块结构 RQT(Residual Quad-tree Transform) RQT 是一种自适应的变换技术, 这种思想是对 H.264/AVC 中 ABT(Adaptive Block-size Transform) 技术的延伸和扩展 对于帧间编码来说, 它允许变换块的大小根据运动补偿块的大小进行自适应的调整 ; 对于帧内编码来说, 它允许变换块的大小根据帧内预测残差的特性进行自适应的调整 大块的变换相对于小块的变换, 一方面能够提供更好的能量集中效果, 并能在量化后保存更多的图像细节, 但是另一方面在量化后却会带来更多的振铃效应 因此, 根据当前块信号的特性, 自适应的选择变换块大小, 可以得到能量集中 细节保留程度以及图像的振铃效应三者最优的折中

103 小结 :Quadtree-based coding structure CU PU TU 分离的思想 CU, Coding Unit PU, Predict Unit TU, Transform Unit TU 大小的自适应调整 RQT Residual Quad-tree Transform 非正方形区域的变换

104 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 HEVC(H.265) 产生的背景 :4K 时代来临 HEVC 性能与编解码框架概述 Quadtree-based coding structure Deblocking & SAO Filter HEVC 各模块运算量 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

105 Deblocking Filter The HEVC deblocking filter is less complex as compared to the H.264/AVC deblocking filter, while still having the capability to improve the subjective and objective quality. Another aspect that received significant attention in the HEVC deblocking filter design is its suitability for parallel processing.

106 SAO: Sample Adaptive Offset The concept of SAO is to reduce mean sample distortion of a region by first classifying the region samples into multiple categories with a selected classifier, obtaining an offset for each category, and then adding the offset to each sample of the category, where the classifier index and the offsets of the region are coded in the bitstream. 样值自适应偏移 ( SAO) 先将像素分为不同的类型, 然后按照不同的类型为每个像素值加上一个简单的偏移值, 达到减少失真的目的 Sample Adaptive Offset in the HEVC Standard IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

107 Two SAO types: EO, BO SAO may use different offsets sample by sample in a region depending on the sample classification, and SAO parameters are adapted from region to region. Two SAO types that can satisfy the requirements of low complexity are adopted in HEVC: edge offset (EO) and band offset (BO). For EO, the sample classification is based on comparison between current samples and neighboring samples. For BO, the sample classification is based on sample values.

108 SAO: edge offset (EO) Four 1-D directional patterns for EO sample classification Sample Classification Rules for Edge Offset Positive offsets for EO categories 1 and 2 and negative offsets for EO categories 3 and 4 result in smoothing. Sample Adaptive Offset in the HEVC Standard IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

109 SAO: band offset (BO) Example of BO, where the dotted curve is the original samples and the solid curve is the reconstructed samples. Example of sample distribution in a CTB, where BO send the offsets of four consecutive bands. Sample Adaptive Offset in the HEVC Standard 109 IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

110 小结 :Deblocking & SAO Filter deblocking filter less complex suitable for parallel processing SAO: Sample Adaptive Offset edge offset (EO) band offset (BO)

111 第 2 章多媒体数据压缩国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 HEVC(H.265) 产生的背景 :4K 时代来临 HEVC 性能与编解码框架概述 Quadtree-based coding structure Deblocking & SAO Filter HEVC 各模块运算量 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

112 解码器不同模块的运算量同一视频序列在不同处理器下对比 Intel Core i7 2.6GHz Cortex-A9 dual-core HEVC Complexity and Implementation Analysis IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

113 解码器不同模块的运算量 Cortex-A9 dual-core 不同视频序列对比 HEVC Complexity and Implementation Analysis IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

114 小结 :HEVC(H.265) 创新点 Suitable for parallel processing Quadtree-based CU PU TU 分离 采样点自适应偏移 (Sample Adaptive Offset) Overview of the High Efficiency Video Coding (HEVC) Standard IEEE Transactions on Circuit and System for Video Technology, vol. 22, N0. 12, Dec 2012

115 第 2 章多媒体数据压缩国际标准 2.1 多媒体数据压缩编码的重要性和分类 2.2 常见数据压缩方法分类与基本原理 2.3 音频压缩标准 2.4 静态图像压缩编码的国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

116 MPEG1/MPEG2 MPEG4 MPEG-1 MPEG-2 H.261 H.263 基于图像块 变换 统计编码 MPEG-4: 提出基于模型 / 对象的压缩编码技术 充分利用了人眼视觉特性, 抓住了图像信息传输的本质, 从轮廓 纹理思路出发, 支持基于视觉内容的交互功能, 这适应了多媒体信息的应用由播放型转向基于内容的访问 检索及制作的发展趋势 不考虑内容 基于内容 Block based Object based

117 MPEG-4 视频编码核心思想 AV 对象 (AVO,Audio Visual Object) 是 MPEG-4 为支持基于内容编码而提出的重要概念 对象是指在一个场景中能够访问和操纵的实体, 对象的划分可根据其独特的纹理 运动 形状 模型和高层语义为依据 在 MPEG-4 中所见的视音频已不再是过去 MPEG-1 MPEG-2 中图像帧的概念, 而是一个个视听场景 (AV 场景 ), 这些不同的 AV 场景由不同的 AV 对象组成 117

118 Block based & Obeject based A 原始图像 B 基于宏块的 C 引起宏块方式中预测错误 D 基于对象的

119 GOP GOV MPEG 4 Structure and Syntax

120 MPEG-4 由一系列的子标准组成 part1 (ISO/IEC ): 系统 : 描述视频和音频的同步以及混合方式 (multiplexing) part2(iso/iec ): 视频 : 定义了对视觉信息的编解码器 part3(iso/iec ): 音频 : 定义了一个对各种音频信号进行编码的编解码器的集合 part4(iso/iec ): 一致性 : 定义了对本标准其他的部分进行一致性测试的程序 part5(iso/iec ): 参考软件 part6(iso/iec ): 多媒体传输集成框架 part7(iso/iec ): 优化的参考软件 part8(iso/iec ): 在 IP 网络上传输 : 定义了在 IP 网络上传输 MPEG-4 内容的方式 part9(iso/iec ): 参考硬件 part10(iso/iec ):AVC,ITU-T H.264 part12(iso/iec ): 基于 ISO 的媒体文件格式 part13(iso/iec ): 知识产权管理和保护 part14(iso/iec ):MPEG-4 文件格式 part15(iso/iec ):AVC 文件格式 part16(iso/iec ): 动画框架扩展 part17(iso/iec ): 同步文本字幕格式 part18(iso/iec ): 字体压缩和流式传输 part20(iso/iec ): 简单场景表示 part21(iso/iec ): 用于描绘 (Rendering) 的 MPEG-J 拓展

121 Audio Object

122 MPEG-4 Video Object Instead of frames : Video Object Planes Shape Adaptive DCT VOP A video frame Alpha map SA DCT Background VOP VOP

123 MPEG-4 Structure

124 Object-based Shape Coding

125 Face Animation Facial animation parameters (FAPs) define a face 66 base level FAPs, 68 FAPs total

126 MPEG-4 Visual Coding Tools Coding of Natural Video Shape Coding Motion Coding Texture Coding Coding of Synthetic Video Object Mesh Coding Face Animation Still Texture Coding Bitstream Issues Scalable Video Coding Robust Video Coding

127 小结 :MPEG4 思路 : 不考虑内容 基于内容 处理单元 :Block based Obeject based 文件格式 :GOP GOV part10(iso/iec ):AVC,ITU-T H.264 part13(iso/iec ): 知识产权管理和保护

128 第 2 章多媒体数据压缩国际标准 2.1 多媒体数据压缩编码的重要性和分类 2.2 常见数据压缩方法分类与基本原理 2.3 音频压缩标准 2.4 静态图像压缩编码的国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码

129 MPEG-2 的配置和等级

130 MPEG-2 等级 Main Profile, Main Level :2:0 15 Mb/s Main Profile, High Level :2:0 80 Mb/s 130

131 MPEG2 中常用

132 Scalable Video Coding (SVC) extension of the H.264/AVC standard

133 H.264: SVC Basics In Spatial scalability and Temporal Scalability the subset of the bit-stream represent the source content with reduced picture size (Spatial Resolution) or frame rate (Temporal Resolution). In case of quality scalability, also known as fidelity or SNR scalability, the subset of the bit-stream provides lower quality. (Lower SNR). In rare cases, region-of-interest and object based scalability is also required, wherein the subsets of the bit-stream represent spatially contiguous regions of original picture area. Multiple scalability features can be combined to support various spatio-temporal resolutions and bit rates within single bitstream.

134 H.264: Hierarchical prediction structure supporting temporal scalability For example, the picture 1 labeled as T0 can only use the picture 0 as its reference while the picture 2 labeled as T1 can use both 0 and 1 as its reference. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard IEEE Transactions on Circuit and System for Video Technology, vol. 17, no. 9, Sep

135 H.264: quality and spatial scalability The input sequence is first down-sampled to different resolutions, resulting in different spatial layers. The lowest spatial layer employs a standard H.264/AVC encoder to generate the base layer bitstream. Higher spatial enhancement layers adopt additional interlayer prediction mechanisms to exploit the redundancy between two successive layers to improve coding efficiency. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard 135 IEEE Transactions on Circuit and System for Video Technology, vol. 17, no. 9, Sep 2007

136 小结 : 视频质量的可伸缩性 MPEG1/2 Spatial scalability Quality scalability (SNR scalability) MPEG4 AVC/H.264 Spatial scalability Quality scalability (SNR scalability) Temporal Scalability 未来? region-of-interest object based scalability

137 第 2 章多媒体数据压缩国际标准 2.1 多媒体数据压缩编码的重要性和分类 2.2 常见数据压缩方法分类与基本原理 2.3 音频压缩标准 2.4 静态图像压缩编码的国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介 MPEG-1(1993) & MPEG-2/H.262(1996) 视频标准 MPEG-4 AVC/H.264(2003) 视频标准 HEVC(2013) 视频标准 2.6 不同应用场景下的其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码 :FVV MVC

138 任意视角视频 (FVV) Free Viewpoint Video FVV 采集设备图例 同一时刻不同视角的视频

139 任意视角视频 (FVV) 问题 : 总数据量 = 单视角的数据量 视角数 随着视角数的增加, 要传输的数据量很快变得无法承受, 必须想办法减少数据量 减少数据量 消除冗余 问题 : 原有的视频编码框架已经较好的解决了帧间冗余 ( 时域冗余 ) 帧内冗余 ( 空间冗余 ) 统计冗余问题, 那么, 在 FVV 中又可以利用什么冗余信息?

140 任意视角视频 (FVV) 视角间冗余 视角 1 视角 2 视角间冗余 为满足 FVV 的需要, 人们提出多视角编码 (Multiview Video Coding, MVC), 以充分利用视角间冗余, 减少传输或存储的数据量

141 多视角编码 (MVC) 多视角编码 (Multi-view Video Coding) 的系统框架 :

142 MVC 的预测模型 (1) Simulcast 结构 : 时间上只采用了前向预测 ; 未考虑视角间的相关性 编码效率低

143 MVC 的预测模型 (2) 视间和时间双向预测结构 : 第一个视角的第一帧为关键帧, 采用帧内预测编码 (I 帧 ), 其余帧采用时间上的帧间预测编码 ; 其余视角的第一帧参考关键帧采用视间预测编码, 其余帧采用帧间和视间双向预测编码

144 MVC 的预测模型 (3) 基于分层 B 帧的预测结构 :

145 MVC 的预测模型 (4) 仅关键帧作视间预测 :

146 MVC 的编码器框架

147 小结 : 多视角视频编码 Temporal Spatial Entropy Inter-View 不同冗余的联合处理? Simulcast 结构 视间和时间双向预测结构 基于分层 B 帧的预测结构

148 总结 : 视频编码 基于块的预测 / 变换混合编码框架 MPEG-1(1993) & MPEG-2/H.262(1996) GOP Picture Slice Macroblock Block I 帧 P 帧 B 帧 MPEG4 AVC/H.264 (2003) 运动估计 帧内预测 去块效应滤波 整数变换 熵编码 HEVC (2013) Quadtree-based coding structure CU PU TU 分离 其他编码思想 基于模型 / 对象的编码思想 :MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码