171023_腾讯视频全网清晰度提升攻坚战_v0.183

Size: px

Start display at page:

Download "171023_腾讯视频全网清晰度提升攻坚战_v0.183"

沾楚谭
5 years ago
Views:

1 腾讯视频全网清晰度提升攻坚战李大龙, 腾讯视频

2 Agenda 背景主体思路编码端战线 Codec 提升 :HEVC 快速算法编码效率提升 : 深究算法参数的使用码率分配提升 : 基于 ROI 的编码框架日常自动化监测解码端战线播放方案的演进与选择前端的几个细节提升日常自动化监测

3 甜蜜的烦恼 : 海量用户增长依旧迅猛视频播放次数增长超过 1.5 倍日活跃用户数增加 1 倍移动端默认清晰度提升至高清 ( 平均码率提高超过 50%) ipad 版本全员开放蓝光级片源 OTT 版本最高可达 4K 级片源

4 主体思路编码控制 Codec 格式 Profile/Level GOP RC: CBR/VBR/ABR CodingTree, ME range, Max Ref, De-blocking Encoder 评测监控渲染输出 Android.MediaPlayer, ios.avplayer, FFPLAY/VLC FFmpeg/MediaCodec/VideoToolbox 纹理曝光色彩 Decoder

5 Codec 提升 : 从 H.264/AVC 到 HEVC Coding Quadtree with Coding Blocks Residual Quadtree with Transform Blocks Encoder Control Mode-, Quadtree-, Motion-, and Filter Information - Transform, Scaling & Quantization CABAC Entropy Coding Subdivision into Coding Tree Blocks Scaling & Inverse Transform Intra-Picture Prediction + In-Loop Filter Inter-Picture Prediction Prediction Blocks Input Video signal Motion Estimation Reconstructed Picture Buffer

Codec 提升 :HEVC 编码难点之模式划分 Video coding standard Supported block size for prediction MPEG-2 16x16 H.263 16x16, 8x8 MPEG-4 Visual MPEG-4 Part10 AVC/H.264 HEVC/H.

6 Codec 提升 :HEVC 编码难点之模式划分 Video coding standard Supported block size for prediction MPEG-2 16x16 H x16, 8x8 MPEG-4 Visual MPEG-4 Part10 AVC/H.264 HEVC/H x16, 8x8 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 64x64, 64x48, 64x32, 64x16, 48x64, 32x64, 16x64, 32x32, 32x24, 32x16, 32x8, 24x32, 16x32, 8x32, 16x16, 16x12, 16x8, 16x4, 12x16, 8x16, 4x16, 8x8, 8x4, 4x8

7 Codec 提升 : 快速模式选择 Co-located block Current block 利用时间 - 空间相关性, 预判 CU 划分深度 PU 模式搜索设定提前 break 条件 ; 简化 RD 判断标准以决策是 Preset Bitrate Diff PSNR Diff Time Reduction medium % slow % slower % 否深一层划分结合量化后系数当前 TU 与所属 CU 深度关系, 提前终止 TU 进一步划分 very-slow %

8 压缩效率提升 : 效率与算法参数强相关 Codec 参数算法影响物理意义 Frame-type Ratecontrol Analysis --keyint <integer> Maximum GOP size 场景类型时延需求 --bframes <integer> --b-pyramid <strict/normal> Number of B-frames, and keep some of them as references --ref <integer> Number of reference frames 时间域相关性 --no-deblock Disable loop filter 伪边界平滑 --rc-lookahead <integer> --aq-strength <float> Number of frames for frame-type lookahead Reduces blocking and blurring in flat and textured areas 图像间码率分配权衡平滑区域码率分配 --pass <integer> Enable multi-pass ratecontrol 统计特征复用 --no-mbtree Disable mb-tree ratecontrol 不同特征区域间的码率分配 --partitions Partitions to consider "p8x8,b8x8,i8x8,i4x4" 区域纹理适配 --merange <integer> Maximum motion vector search range 对象运动激烈程度 --psy-rd <float:float> Strength of psychovisual optimization #1: RD #2: Trellis 纹理特征保持

9 压缩效率提升 : 量体裁衣 2D 动画 3D 动画影视体育码率设定运动检测范围小普通普通很大区块划分较大较小中等较小参考图像范围很少多中等多

压缩效率提升 : 分类视频码率削减 K12 细分类视频码率削减对比分辨率测试序列 ΔPSNR ΔSSIM ΔMOS ΔBit-rate SEQ_360P_1-14.87% -0.69% ±0-62.57% 480x360 SEQ_360P_2-7.74% -0.03% ±0-46.68% SEQ_360P_3-7.27% -0.08% ±0-43.97% SEQ_720P_1-13.

10 压缩效率提升 : 分类视频码率削减 K12 细分类视频码率削减对比分辨率测试序列 ΔPSNR ΔSSIM ΔMOS ΔBit-rate SEQ_360P_ % -0.69% ± % 480x360 SEQ_360P_2-7.74% -0.03% ± % SEQ_360P_3-7.27% -0.08% ± % SEQ_720P_ % -0.67% ± % 1280x720 SEQ_720P_2-4.88% -0.03% ± % SEQ_720P_3-7.08% -0.09% ± % 以 720P 画面 4 子类为例码率削减对比 720P 级别 ΔMOS ΔBit-rate 2D 动画 % 3D 动画 % 影视 % 综艺 %

11 压缩效率提升 : 智能场景划分

12 码率分配效率提升 : 基于 ROI 的编码框架通过深度学习, 找到人脸部的位置信息将该位置传递给编码器, 分配更多的码率, 提高人脸部分的清晰度以大面积的小幅度质量损失, 换来重点区域的明显提升主要用于综艺演唱会等节目, 节约背景码率, 突出人脸在同等码率的情况下, 人脸区域编码质量提升 3dB, 背景质量降低 1dB 转码耗时大约增加 25%

13 日常线上监控 : 自反馈驱动

14 日常线上监控 : 行业对比 55 行业自动化监控质量评分 /7/ /7/ /7/ /7/ /8/1 2017/8/2 2017/8/4 2017/8/5 2017/8/6 2017/8/8 2017/8/ /8/ /8/ /8/ /8/27 对比品 1 对比品 2 腾讯视频

15 解码端 :HEVC 坑较多平台版本解码能力媒体协议最高能力 Android Android 5.0+ ios ios 11 Web IE Edge Safari 11 on ios 11, macos High Sierra android.media.mediaco decinfo; finddecoderforformat( MediaFormat); MediaPlayer 表现可能与 MediaCodecInfo 不匹配 ios A9+,macOS 6 th Intel Core; 其余设备支持软解仅在硬件能力支持的设备上开启 ISO MPEG-4 (.mp4) HTTP/HTTPS live streaming draft protocol (MPEG-2 TS media files only) QuickTime Movie (.mov), ISO MPEG-4 (.mp4) HEVC in HLS using fmp4 segments Main Profile Level 3 for mobile devices and Main Profile Level 4.1 for Android TV Main, Main Still Picture, Main 10

16 播放器的演进 : 整体外包型不同协议格式片源码流优点 : 门槛较低快速接入 Android 业务封装 Android 系统播放器适配逻辑 ios 业务封装 ios 系统播放器缺点 : 复杂的适配逻辑 : 版本 Codec 能力流媒体传输协议无法统一后台存储无法统一基础播放体验, 如 : 加载时长等不太可控潜在的流量浪费

17 播放器的演进 : 流控代理型不同协议格式片源码流不同协议格式片源码流本地代理模块适配逻辑适配逻辑 Android 业务封装 ios 业务封装 Android 业务封装 ios 业务封装 Android 系统播放器 ios 系统播放器 Android 系统播放器 ios 系统播放器

18 播放器的演进 : 跨平台框架型视频流解码图像后处理渲染数据流传输协议解析文件流媒体格式解析音频流 1 解码声音后处理渲染音频流 2 解码声音后处理字幕流解码文本后处理渲染时钟同步协议数据呈现

19 播放器的演进 : 跨平台框架型多级策略柔性可控协议格式统一片源码流黑名单过滤下发 H.264/AVC 业务封装协议层数据层呈现层 HEVC 机型能力模式 Android Phone iphone ipad OTT 系统 Crash 分析实时图像帧率监控解码器异常捕获清晰度降档码流格式实时切换播放结束

20 细节提升 :HEVC decoder 汇编 Deblocking filter 8% Others 2% Parser 6% Inverse transform 15% Decoding picture buffer 14% Select CU 7% SAO filter 8% Intra-Prediction 2% Inter-Prediction 38%

21 细节提升 : 最后的 10ms 主观质量增强

22 日常监测 : 热点追踪

23 日常监测 :HEVC Decoder 比例 HW Decoding SW Decoding

24 日常监测 : 厂商能力标准化建设

25 打个小广告 SDK(Android Phone Android TV ios) 接入 App 超过 100 个外部合作总量 :VV30 亿 UV1.5 亿

26 WeChat: geminili QQ:

清华大学2013年毕业生就业质量报告

清华大学2013年毕业生就业质量报告清华大学 2013 年毕业生就业质量报告清华大学就业指导中心 2014 年 2 月 2013 年, 清华大学认真贯彻落实中央及教育部北京市关于大学生就业的各项政策, 并充分结合学校定位和学生发展, 以充分就业为基础, 以提升质量为重点, 以就