863项目战场环境分析报告

Size: px

Start display at page:

Download "863项目战场环境分析报告"

滋茅
5 years ago
Views:

1 多媒体通信第三章多媒体同步机制 2014 年 10 月 28 日 1

2 要点回顾 : 多媒体数据的 30 年 CD-DA 数字音乐的光存储, CD-DA 数据的光存储, CDROM 数字视频的光存储,VCD MP3 随着因特网发展而流行 DAB MPEG2 PS / TS (HDTV) 随着 DVD 出现开始流行 MPEG-4 AVC / H.264 随着下一代 DVD 的讨论而诞生 HEVC / H s 1990 s

3 要点回顾 : 所涉及同步技术点到点系统中的同步 CD-DA: EFM (8-14 Modulation) MP3: Tag Frame Header DAB: MP2 HDTV: ES PES PS TS MPEG-4 AVC / H.264: VCL NAL 多点系统中的同步从面向存储到面向网络的转变从点到点到点到多点多点到多点的转变 3

4 多媒体同步 20 年 - 同步技术 90 年载波同步 / 载波恢复码元同步 / 时钟恢复 / 位同步群同步 / 帧同步网同步多媒体同步 ( 时间空间 ) 1920 s ? 基于内容的多媒体同步? 4

5 背景 : 数字通信系统中的同步载波同步 / 载波恢复在接收设备中产生一个和接收信号的载波同频同相的本地振荡, 用于相干解调码元同步 / 时钟同步 / 时钟恢复 / 位同步从接收信号中获取同步信息, 由其产生一时钟脉冲序列, 使后者和接收码元起止时刻保持正确关系或插入辅助同步信息群同步 / 帧同步通常需要在发送信号中周期性地插入一个同步码元, 标示出分组位置网同步 1919 年英国最早试行无线电广播年贝尔公司 (AT&T) 发明并使用了世界上第一台程交换机

6 载波同步示例平方变换法恢复载波设调制信号 m(t), m(t) 中无直流分量, 调制后信号为 : DC-balanced / DC-Free? 接收端将该信号进行平方变换, 即经过一个平方律部件后就得到为了改善平方变换的性能, 可以把窄带滤波器用锁相环替代 6

7 比特同步示例 Run Length Limited (RLL) Coding 硬盘 MFM Intel 1977 硬盘 RLL (2,7) IBM 1979 CD EFM RLL(2,10) SONY 1985 DVD EFMPlus RLL(2,10) Philip 1997 Blu-ray 17PP RLL(1,7) SONY 2007 EFM CD-DA 的 EFM 编码 : 把 0 的游程长度最短限制在 2 个, 而最长限制在 10 DC-balanced / DC-Free Code 在频率 f=0 处无信号分量 7

8 帧同步示例 MP3 Header (32bits) typedef FrameHeader { unsigned int sync: 11; // 同步信息 : the bit string " ". }HEADER, *LPHEADER; 8

9 网同步示例因特网的时间服务 9

10 媒体同步关注的问题模拟电视系统音频视频之间的同步 HDTV 系统音频视频字幕等之间的同步类 PPLIVE 系统多个视角时间的同步声音 / 画面 ; 解说 / 画面的同步不同用户之间同步 10

11 多媒体通信第三章多媒体同步机制 2014 年 10 月 28 日 11

12 主要内容什么是多媒体同步多媒体同步的定义与分类音视频的同步容限如何描述多媒体同步基于 Web 的媒体时间关系描述基于 Petri Net 的多媒体时间域信息的描述典型多媒体设备接口信号的同步机制典型多媒体系统的媒体同步方法展望未来 13

13 空间的同步还是时间的同步? 14

14 步调一致发送方和接收方的步调一致指双方的时钟频率一致如 : 频带传输系统相干解调的时候, 接收方和发送方的载波的频率相等初相位相等雅典奥运会 15

15 多媒体同步保持和维护各个媒体对象之间和各个媒体对象内部存在的时态关系, 组织多种媒体序列以实现某种特定的表现任务 16

16 17

17 多媒体同步示例 : 新闻语音记者念的第一条新闻声音引导音乐音乐渐隐视频世界报道片头播音员全景图像播音员上方的照片 ( 播音员 ) 整理讲稿整理领带播音员播第一条新闻时间 18

18 不同媒体对象的同步关系空间关系用来描述在终端显示或者输出时不同的媒体对象之间在空间域上的位置关系内容关系是指用不同的表现形式来表示相同的数据例如, 一份数据有时候既可以用表格又可以用图表表示, 那么在计算机中不管是用表格图表或者曲线等方式表示的都是同一份数据内容时间关系是用来描述时间相关媒体媒体流内或者媒体流之间各个数据单元的时间关系的, 我们狭义上的多媒体同步主要就是指的这种时间同步 19

19 多媒体同步的定义 / 分类广义上的同步 (Synchronization) 从广义上讲, 同步是指多媒体系统中各个媒体对象之间存在的时间空间以及逻辑关系在分布式多媒体通信中, 同步是一个基于时间的概念, 是指多媒体系统中各个媒体对象之间存在的时间关系, 同步的目的就是向用户展示多媒体信息时, 保持媒体对象之间固有的时间关系狭义的同步分类流内同步 (Intra-stream Synchronization) 是指在单一连接上的单一媒体流内各个媒体单元之间存在的时间关系流间同步 (Inter-stream Synchronization) 是指在多个连接上的相关媒体流之间存在的时间关系人机交互同步用于保持用户与多点传送媒体流之间的同步播映速度 20

20 流内同步一个 25 帧 /s 的视频流, 它每帧间隔的时间是 40ms 一个用 G.729 编码的音频流, 它每帧间隔时间是 10ms 21

21 流间同步不同步的原因 : 采集端产生延时网络传输变化播放端产生的时间偏差媒体间同步是指维持媒体相互之间的时间关系, 其目标是消除各媒体流之间的时间偏移如果 33.3ms 产生 1 个视频帧,10ms 产生 1 个音频帧, 情况如何? 22

22 人机交互同步人机交互同步用于保持用户与多点传送媒体流之间的同步播映速度在用户和多媒体系统之间的交互实质就是交互对象, 即用户和计算机系统之间的通信例如当用户利用输入设备控制多媒体系统的跳转停止变速和暂停等, 系统应该及时响应用户的操作在交互系统中, 用户对于鼠标键盘等外部设备的操作必须要及时响应例如, 实时运动广播和交互式多媒体视频会议等这类同步的特点在于同步的时间随着指令的时间所决定, 因为同步发生时间具有不可预测性 23

23 常用的同步方法复用同步法将发送端的音视频数据流复用到一个数据流中, 从而使音视频数据流在网络传输过程中自然保持着媒体间的相互关系, 在接收端, 按照音视频流的这一关系解复用, 达到同步目的同步标记法在媒体发送端发出一个同步标记, 在接收端接收同步标记, 用来对各个媒体进行同步处理, 达到两方通信同步的目的时间戳同步法把音视频数据流单元分别添加统一的时间信息 ( 例如时间戳 ), 然后尽可能的同时发送出去, 保证发送端的同步在接收过程中提取音视频单元的时间信息, 根据该时间信息对音视频数据的播放先后进行调整, 例如音频滞后者, 就将视频播放速度减慢 ; 如果音频超前, 则加快视频的播放速率, 若音频超前过多, 甚至可考虑丢弃些视频帧 24

24 时间精度的不同要求时间准确度频率稳定度卫星导航 ±20 纳秒 ±2 10^-13 电子侦察卫星 ±10 纳秒 ±5 10^-13 巡航导弹 ±50 纳秒 ±5 10^-13 卫星测轨 ±50 纳秒 ±1 10^-12 高速数字通信网 ±0.5 微秒 ±5 10^-12 电力传输网 ±1 微秒 ±1 10^-11 电视校频 ±5 10^-12 频率的稳定度 : 时间既然由原子振荡频率来定义因此频率稳定度和频率准确度便成为时间测量的一个重要概念在时频测量中习惯上把不稳定性称为稳定度 Source 26

25 可观察到的时间量 TI DSP(C6455) 中断响应 :4μs Windows 线程启动 :1-10ms 音频压缩的样本序列长度 :5ms/10ms/20ms 视频中一帧图像的产生时间 :30ms-40ms 100M 以太网传输 700 万像素 JPEG 图像 :100ms 网络视频播放的缓冲时间 :20s-60s 27 问题 : 多媒体同步需要的时间精度?

26 主要内容什么是多媒体同步多媒体同步的定义与分类音视频的同步容限如何描述多媒体同步基于 Web 的媒体时间关系描述基于 Petri Net 的多媒体时间域信息的描述典型多媒体设备接口信号的同步机制典型多媒体系统的媒体同步方法展望未来 28

27 同步容限 CPU 抢占缓冲区不大传输带宽不足等因素往往会导致在恢复后的时域场景中时域事件间的相对位置发生变化, 我们将这种变化称为事件间偏差 (SKEW) 属于同一媒体对象的时域事件之间的偏差称为对象内偏差, 不同媒体对象的时域事件之间的偏差为对象间偏差同步容限包含了用户对偏差许可范围的定义, 同步机制则需依据同步容限, 保证恢复场景中事件间偏差在其许可范围内 29

28 常见多媒体业务对传输网络的要求 30

29 MOS 话音质量与包时延丢包率关系 MOS vs. packet loss and delay (for AMR,12.2Kb/s) Packet loss (%) Delay (ms) 0 31

同步容限与内容有关人对于视频 / 音频之间同步程度的感知与视频内容有关 http://www.kom.tu-darmstadt.

30 同步容限与内容有关人对于视频 / 音频之间同步程度的感知与视频内容有关 Human Perception of Jitter and Media Synchronization IEEE JOURNAL on Selected Areas on Communications, Vol. 14, No. 1, Jan Google Scholar 显示引用 466 次 (2013)

31 Level of Annoyance 33

32 Correctly Detected Error 34

33 35

-Ing) in Electrical Engineering, Communications Awards Books First ACM SIGMM Award for Outstanding Technical

34 Prof. Dr.-Ing. Ralf Steinmetz Education Habilitation in Computer Science at Frankfurt University Doctoral Degree (Dr.-Ing) in Electrical Engineering, Communications Awards Books First ACM SIGMM Award for Outstanding Technical Contributions to Multimedia Computing, Communications and Applications, 2008 ACM Fellow, 2002 IEEE Fellow,

35 RECOMMENDATION ITU-R BT.1359 [1998] Relative timing of sound and vision for broadcasting Detectability and acceptability thresholds skew should be kept within ms and -30 ms 38 positive skew: video behind audio

36 Skew in standards ITU BT ms ms ATSC IS/ ms +15 ms EBU R ms +40 ms ITU: International Telecommunication Union EBU: European Broadcasting Union ATSC: Advanced Television Systems Committee ITU-R BT [1998] Relative timing of sound and vision for broadcasting ATSC IS-191[2003] Relative Timing of Sound and Vision for Broadcast Operations EBU R037[2007] 39

37 小结 : 典型音视频同步问题数据流 1: 图像帧率是 30fps, 即每隔 33.3ms 产生一个完整的图像数据块数据流 2: 音频采样频率是 44.1k, 一般每 20ms 的数据作为一个传输数据块 40 音视频同步需要的时间精度已有结论, 实际系统中如何描述?

38 主要内容什么是多媒体同步多媒体同步的定义与分类音视频的同步容限如何描述多媒体同步基于 Web 的媒体时间关系描述基于 Petri Net 的多媒体时间域信息的描述典型多媒体设备接口信号的同步机制典型多媒体系统的媒体同步方法展望未来 41

39 What is SMIL SMIL 是同步多媒体集成语言 ( Synchronized Multimedia Integration Language) 的缩写, 念做 smile 参与制定该标准的公司包括 Compaq Gateway IBM Microsoft RealNetworks Oratrix 等等 SMIL 与我们网页上用的 HTML( 超文本传输语言 ) 的语法格式非常相似后者主要针对普通的网络媒体文件进行操纵 ( 文字图片声音动画视频的机械堆砌 ), 而前者则操纵多媒体片断 ( 对多媒体片断的有机的智能的组合 ) D.C.A. Bulterman, 'SMIL 2.0-Part 1: Overview, Concepts, and Structure,' IEEE MultiMedia, vol. 8, no. 4, pp. 2001, D.C.A. Bulterman, 'SMIL 2.0-Part 2: Examples and Comparisons,' IEEE MultiMedia, vol. 9, no. 1, , pp

40 用 SMIL 语言连续播放 rm 片断 <smil> <head> <layout> <region id="a" left="0" top="0" />  </layout> </head> <body> <seq>  <video region="r" src="shushan1.rm" /> <video region="r" src="shushan2.rm" /> <video region="r" src="shushan3.rm" /> </seq> </body> </smil> 43

41 多媒体片断结构组织 <seq> <img src="image1.jpg"/> <img src="image2.jpg"/> </seq> <par> <img src="image1.jpg"/> <img src="image2.jpg"/> </par> 44

42 时间控制图片显示时间为 5 秒 <img src="image1.jpg" dur="5s"/> 图片在演示开始 2 秒以后显示并持续 5 秒 <img src="image1.jpg" begin="2" dur="5s"/> 45

43 智能流 (surestream) <switch> <vedio src="high.rm" system-bitrate="250000"/> <vedio src="mid.rm" system-bitrate="80000"/> <vedio src="low.rm" system-bitrate="20000"/> </switch> 当用户的联网速度大于 250kbps 时, 播放器就从服务器下载 high.rm 播放 ; 如果用户的联网速度大于 80kbps 小于 250kbps 时, 播放器就从服务器下载 mid.rm 播放 ; 如果用户的联网速度大于 20kbps 小于 80kbps 时, 播放器就从服务器下载 low.rm 播放 46

44 主要内容什么是多媒体同步多媒体同步的定义与分类音视频的同步容限如何描述多媒体同步基于 Web 的媒体时间关系描述基于 Petri Net 的多媒体时间域信息的描述典型多媒体设备接口信号的同步机制典型多媒体系统的媒体同步方法展望未来 47

45 多媒体数据时域特征表示时间关系 before, starts, meets, overlaps, during, finishes, equals, 除 equals 外, 其余六种都有逆关系, 共十三种时间规范绝对 / 相对并行 / 顺序基于图形的表示法时间线流图 Petri 网时间层次法最著名的是 OCPN 方法 48

46 Petri 网 Petri 网是对离散并行系统的数学表示 1962 年由 C.A. Petri 发明, 适合于描述异步的并发的计算机系统模型有严格的数学表述方式和直观的图形表达方式 Petri nets were invented in August 1939 by Carl Adam Petri at the age of 13 for the purpose of describing chemical processes. 对比 : 状态图无法表示多个状态的同时变化 Send_Tx Recv_Rx Send_Rx Recv_Tx 49

47 Places Petri 网的基本要素 Petri net (known as place/transition net or P/T net) Transitions 变迁, 用直线表示 Arcs Token 位置相当于状态图中的状态, 圆圈表示弧线表示变迁发生的条件和产生的结果位置中的黑点表示已经处于该状态 Send_Tx Recv_Rx Send_Rx Recv_Tx 50

48 用 Petri 网表示同步关系 Petri 网可用来表示同步关系 t d P a before P b P a P b P a P d P b P a meet P b P a P b P a P b P a during P b t d P b P a P d P b P a P a P a overlap P b P a P b t d P d P b 51

49 About Petri Net Petri Net MPN (Marked PetriNet) Petri Net: C PN = {T,P,A} T = {t 1,t 2,,t n }, P = {P 1,P 2,,P m }, A:{T P}U{P T} I,I = {1,2, } Transitions Places Arcs Markings MPN (Marked PetriNet): C MPN = {T,P,A,M} M:P I',I'={0,1,2, } M 定义了由位置集向整数集的映射, 它表示集中的标记 (Token) 分布 52

50 About Petri Net Petri Net OCPN(Object Composite Petri Net) Petri Net: C PN = {T,P,A} T = {t 1,t 2,,t n }, P = {P 1,P 2,,P m }, A:{T P}U{P T} I,I = {1,2, } MPN (Marked PetriNet): C MPN = {T,P,A,M} M:P I',I'={0,1,2, } Transitions Places Arcs OCPN(Object Composite Petri-Net) C OCPN = { T, P, A, D, Re, M} D:P R 表示 OCPN 中的时间约束 Markings R:P {r 1,r 2,r 3,,r k } 由位置集向资源集的映射 Duration Resource 53

51 OCPN(Object Composite Petri Net) 54

52 小结 : 如何描述同步时间关系 before, starts, meets, overlaps, during, finishes, equals, 除 equals 外, 其余六种都有逆关系, 共十三种多媒体时间域信息的描述 SMIL: 基于 Web 的媒体时间关系描述描述并发的状态变化 :Petri Net OCPN(Object Composite Petri Net) 55

53 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 56

54 CD-DA 每扇区持续时间 1/75 秒螺旋型的物理光道分成多个逻辑光道一条逻辑光道由许多扇区 (sector) 组成, 一扇区由 98 帧 (frame) 组成 CD 的采样频率为 44.1 khz, 每次对左右声音通道各取一个 16 位的样本,1 秒钟的声音数据率就为 (16 2) = 字节 / 秒由于 1 帧存放 24 字节的声音数据, 所以 1 秒钟所需要的帧数为 =7350 帧 / 秒 98 帧构成 1 个扇区, 所以 1 秒钟所需要的扇区数为 =75 扇区 / 秒 4 字节的扇区地址称为 HEADER 57 分 (MIN) 1 字节 0~74 秒 (SEC) 1 字节 0~59 分秒 (FRAC) 方式 (Mode) 1 字节 1 字节 0~74 01

55 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 58

56 模拟电视扫描原理场频 / 场速率 (field rate) f f 帧频 / 帧速率 (frame rate) f F 逐行扫描 (noninterlaced scanning): 电子束从显示屏的左上角一行接一行地扫到右下角, 在显示屏上扫一遍就显示一幅完整的图像隔行扫描 (interlaced scanning) : 一帧图像由两部分组成 : 由奇数行组成的奇数场 ; 由偶数行组成的偶数场每一场的扫描行数为 625/2=312.5 行, 其中 25 行作场回扫, 传送图像的行数每场只有行, 因此每帧只有 575 行有图像显示 59

57 场消隐扫描定时与同步信号行消隐在荧幕上产生一行图像的信号每次扫描都是从左到右, 扫描完第一行时, 电子束要从第一行的末尾回到第二行的行首, 这段时间会产生一条回扫线, 影响图像质量, 所以要用水平消隐 ( 行消隐,Hblank, 持续 12μs) 使电子枪截止不发送电子同理, 电子枪从右下角移动到左上角的那段时间就是垂直消隐 ( 场消隐,Vblank, 持续 1612μs) 60

58 一个行周期的黑白全电视信号行同步脉冲行消隐在荧幕上产生一行图像的信号 61

59 水平消隐间隔上的色差信号在彩色电视系统中, 色差信号通过色载波信号调制之后加到每一扫描行的水平消隐信号上, 再与图像亮度信号复合后就得到彩色全电视信号 62

60 图像信号和伴音信号的同步图像信号和伴音信号分别调制在图像载频和伴音载频上 63

61 小结 : 模拟电视信号的行同步与场同步行扫描信号周期 64μs 图像信号持续 52μs 行消隐,Hblank, 持续 12μs 一帧完整图像扫描行数为 625 行 575 行有图像显示 25 行作场回扫 : 场消隐,Vblank, 持续 1612μs 隔行扫描 : 每一场的扫描行数为 625/2=312.5 行黑白电视彩色电视行消隐信号上调制了色度信号图像和视频的同步 :FDM 64

62 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 65

63 CCIR 601 / ITU-R BT. 601 数字视频信号是在模拟视频信号的基础上经过取样量化和编码形成的, 不同的空间垂直分辨率, 会有不同的空间水平分辨率, 这必然会给不同制式的数字视频信号的互通带来巨大不便因此有必要在世界范围内建立统一的数字视频标准 1982 年 10 月, 国际无线电咨询委员会 (CCIR, Consultative Committee for International Radio) 通过了第一个关于演播室彩色电视信号数字编码的建议, 即 1993 年变更成的国际电信联盟无线电通信部门 ITU-R BT. 601 分量数字系统建议, 该标准规定了图像屏幕宽高比 (IAR, Image Aspect Ratio) 为和两种数字视频格式该建议考虑到现行的多种彩色电视制式, 提出了一种世界范围内兼容的数字编码方式, 它是标准数字电视 (SDTV,Standard Digital TV) 的图像格式 66

64 ITU-R BT.601 数字化规范采样频率对于数字分量编码, CCIR601 建议亮度抽样频率为 525/60 和 625/50 三大制式行频公倍数 2.25MHz 的 6 倍, 即 13.5MHz 对现行电视制式而言, 亮度信号的最大带宽是 6MHz,13.5MHz 大于 2 倍信号带宽, 符合奈奎斯特定理而色差信号的带宽比亮度信号窄得多, 同时考虑到抽样的样点结构应满足正交结构要求, 两个色差信号的抽样频率均选为 6.75MHz, 这样亮度信号与两个色差信号的抽样频率之比为数据量 4:2:2 的格式采样,10Bit 量化 =270Mbps 4:2:2 的格式采样,8Bit 量化 =216Mbps 数据时分复用经量化编码后的视频数据字有 3 个样本值,CCIR601 规定进行多路复用后按 27Mwords/s 来传递, 其中字按以下顺序传递 :Cb Y Cr Y Cb Y Cr Y Cb Y Cr Y 67

65 ITU-R BT.656 BT.601 规划了对视频进行数字编码的方法 BT.656 则实际定义了实施 BT.601 所必需的物理接口和数据流, 以及位并行和位串行模式位并行模式只需要 27MHz 的时钟以及 8 或 10 条连线 ( 取决于像素的深度 ) 同步化信号都嵌入到数据流中, 因此无需额外添加硬件连线位串行模式只需要在单个通道上传输像素串行数据流, 不过它需要运用复杂的同步化频谱整形和时钟恢复调理等技术手段此外, 其位时钟速率高达接近 300MHz, 因此要在很多系统中实施基于采用串行位形式的 BT.656 是极富挑战性的任务 68

66 ITU-R BT.656 并行传输模式 ITU-R BT.656 包含三部分信号 : 视频信号定时基准信号辅助信号辅助数据信号可在行消隐期间传送, 或在场消隐中的行的有效期间传送 27 MHz 有两个定时基准信号, 一个在每个视频数据块的开始 (Start of ActiveVideo,SAV), 另一个在每个视频数据块的结束 (End of Active Video,EAV); 每个定时基准信号由 4 个字的序列组成, 格式如下 : FF XY (16 进制 ) 头三个是固定前缀, 第 4 个字包含定义第二场标识场消隐状态和行消隐状态的信息 69

67 ITU-R BT.656 数据格式数字化后的数据包括行消隐信号有效的图像像素信号场消隐信号接收端需要从上述信号中提取出有效的图像像素信号 71

68 ITU-R BT.656 串行传输模式串行比特流每个 10 比特字的最不重要比特应最先发射发射之前, 通过补充编码进行频谱整形字同步, 并促进时钟的恢复未编码的串行比特流中低频成分很丰富, 不利于接收端的时钟提取, 故使用生成器多项式 G1(x) G2(x) 进行扰码 G1(x) = x 9 + x 用于生成扰码 NRZ 信号 G2(x) = x + 1 用于生成无极性 NRZI 序列 72

69 小结 :ITU-R BT. 601 数字视频 BT.601 规划了对视频进行数字编码的方法 BT.656 则定义了实施 BT.601 所必需接口并行传输模式 :27MHz 时钟信号线 8 或 10 根数据信号线串行传输模式 : 扰码 / 解扰 ; 接收端做时钟恢复这是一个典型的基带传输系统接收端需要做比特同步 : 并行接口有时钟线, 串行接口要恢复时钟接收端需要做帧同步 : 定时基准信号 SAV/EAV 此接口上如何传输音频? BT.601 仅是一个视频信号的数字编码规范 BT.656 未提供音频信号线消隐信号对应的 Clock 周期可用来传输视频以外的数据 75

70 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 76

71 HDMI High Definition Multimedia Interface 2002 年 4 月, 日立松下飞利浦 Silicon Image 索尼汤姆逊东芝七家公司共同组建了 HDMI 高清多媒体接口组织, 开始着手制定一种符合高清时代标准的全新数字化视频 / 音频接口技术经过半年多时间的准备工作,HDMI 组织在 2002 年 12 月 9 日正式发布了 HDMI 1.0 版标准 77

72 High Definition Multimedia Interface,HDMI 机械特性 78

73 High Definition Multimedia Interface,HDMI 功能特性最小化传输差分信号 (TMDS:Transition Minimized Differential signal) 通过异或及异或非等逻辑算法将原始信号 8bit 数据转换成 10bit, 用来实现直流平衡 (DC-balanced), 转换后的数据以差分传动方式传送这种算法使得被传输信号过渡过程的上冲和下冲减小, 传输的数据趋于直流平衡, 使信号对传输线的电磁干扰减少, 提高信号传输的速度和可靠性 79

74 HDMI 系统架构音频视频和其他辅助的数据通过三对 TMDS 数据通道来传输, 一对 TMDS 时钟, 通常是等于视频像素的比特率, 通过一对 TMDS 时钟通道来发送 CEC (Consumer Electronics Control) 80 one-wire 总线, 用户通过一个遥控器即可对连接的设备进行控制 DDC (Display Data Channel) I 2 C 总线 HDMI 源端设备与接收端设备交互 EDID 数据及 HDCP 密钥 EDID 用于了解接收端设备音视频的接收能力 ;HDCP Key 用于数据内容保护

75 High Definition Multimedia Interface,HDMI TMDS 通道 Pixel Clock 的 10 倍频 BT.656: 每个 Clock 传输 Y 或 Cr 或 Cb 一个样本值 HDMI: 默认像素深度 24bits 情形下一个 Pixel Clock 之内可完成一个像素值的传输 HDMI 不同版本的 maximum pixel clock rate 不同 MHz(HDMI 1.0) 340MHz(HDMI 1.3) 600MHz(HDMI 2.0)

76 HDMI 规程特性 83 HDMI 连接可处于三种操作模式之一 : 视频数据周期数据岛周期控制周期视频数据周期发送视频像素数据岛周期中, 音频和辅助数据使用一系列数据包来发送两个非控制周期之间是控制周期, 传输引导数据

77 High Definition Multimedia Interface,HDMI 不同传输周期的编码方式控制周期传输引导数据, 同时也被接收端用于字符同步 84

78 High Definition Multimedia Interface,HDMI 音频同步的实现方法音频时钟再生模式示意图音频样本会在数据岛周期利用 3 个 TMDS 通道传输, 采用 4bits 10bits 的编码音频的采样时钟 f S 需要在接收端恢复通过 N 和 CTS(Cycle Time Stamp) 的传输可以恢复 f S 满足下式 : 128 f S =t TMDSclock N/CTS 85

79 High Definition Multimedia Interface,HDMI 音频时钟信息通过 DDC 传递 DDC(Display Data Channel) 就是一个 I 2 C 总线 (SCL,SDA) HDMI 源端可通过 DDC 访问 HDMI 接收端的 EDID(Extended Display Identification Data) 信息, 从而获知接收端的接受能力和一些关于接收端的信息 HDMI 接收端还通过 DDC 通道探测信息帧 : 辅助视频信息帧音频信息帧 Audio Infoframe 包含音频格式的基本信息如编码方式采样频率等 86

80 High Definition Multimedia Interface,HDMI 视频和音频如何同步? HDMI 的流内同步视频同步 :TMDS 在控制周期传 HSync 和 VSync 音频同步 : 通过 DDC 传输音频采样频率等基本信息 HDMI 音视频流间同步 HDMI 1.3(2006 年 ) 添加了 automatic audio syncing 支持 HDMI 2.0 (2013 年 ) 添加了 Dynamic auto lip-sync 支持其基本原理应该是给音频 / 视频增加一个延时控制电路, 因 HDMI 为收费标准, 未查到具体规范内容 87

81 HDMI 芯片示例 AD 公司的 AD9889B 是一款 HDMI/DVI 驱动芯片视频输入 CLK: MHz 音频输入 TMDS 输出 TxC: 800MHz 88

82 小结 : HDMI 数字视频接口 TMDS (Transition Minimized Differential Signal) 通道视频数据周期数据岛周期 : 音频流控制周期 DDC(Display Data Channel) 通道 I 2 C 总线 (SCL,SDA): 音频流采样频率 CEC(Consumer Electronics Control) 通道 1-Wire 总线 TMDS 时钟是 Pixel 时钟的 10 倍! 89

83 小结 : 多媒体设备接口信号的同步机制 CD-DA 音频的流内同步比特同步帧同步 ( 每帧持续 1/7350s) 模拟电视信号的行同步与场同步每个扫描行持续 64μs,625 行持续 40ms 图像和伴音信号调制 2 个不同的载波 (FDM) ITU-R BT. 601 数字视频图像帧的同步每行 720 像素 720/ 64μs=11.25MHz 13.5MHz 比特同步 ( 仅串行需要 ) 帧同步 (SAV/EAV) HDMI 数字多媒体接口的同步 BT. 601 类似的数据块结构消隐信号持续时间数据岛周期 TMDS Clock = 10 Pixel Clock 90

84 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 91

85 MP3 文件结构 :Tag+Frame Tag: MP3 除了保存声音信息外, 还可以同时保存一些和曲目相关的文本信息, 比如歌名演唱者专辑名等等, 这些信息就称为 tag( 标签 ) 信息 Frame: 用于存放声音数据 92

86 MP3 帧格式 Frame sync (11bits 1 ) MPEG version MPEG layer Protection Bitrate index Sampling rate frequency Padding bit Private bit Channel mode Mode extension Copyright Original Emphasis 同步信息版本层 CRC 校验比特率索引采样频率索引帧长调节保留字声道模式扩充模式版权原版标志强调方式 93

87 比特率索引表 128Kbps 是常见 MP3 的比特率 95

88 采样率索引表每帧的持续时间 = 样本数 / 采样频率 Frame Size = ( (Samples Per Frame / 8 * Bitrate) / Sampling Rate) + Padding Size 96

89 MP3 的流间同步 (Lyrics) [ar: 杨幂 ] [al:] [00:00.17] 杨幂 - 爱的供养 [00:02.62] [00:13.77] 把你捧在手上虔诚地焚香 [00:22.12] 剪下一段烛光将经纶点亮 [00:30.16] 不求荡气回肠只求爱一场 [00:38.22] 爱到最后受了伤哭得好绝望 [00:44.87] [01:29.93] 把你放在心上合起了手掌 [01:39.18] 默默乞求上苍指引我方向 [01:47.20] 不求地久天长只求在身旁 [01:55.26] 累了醉倒温柔乡轻轻地梵唱 [02:02.63][00:45.63] 我用尽一生一世来将你供养 [02:10.46][00:53.53] 只期盼你停住流转的目光 [02:18.49][01:01.48] 请赐予我无限爱与被爱的力量 [02:26.26][01:09.20] 让我能安心在菩提下静静的观想 97

90 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 98

91 MPEG-2 音视频复用单路节目多路节目 99

92 MPEG-2 数据流格式 Elementary Stream (ES) Packetised Elementary Stream (PES) Transport Streams (TS) 100

93 MPEG-2 TS 包固定长度 188 字节,4 字节 header 和 184 字节 payload Header 包括 : 同步字节传输差错标志 13bit 的 PID( 描述该包中 payload 的内容以及该包属于哪个 ES 流 ) 4 byte TS header 188 bytes 184 byte payload 13 bit packet identifier=pid 1bit transport error indicator 1 byte sync byte = 47 hex 101

94 TS 扩展包头有时 TS 包的头长度必须大于 4 个 byte: 包头扩展到 payload 中, 称作 adaptation field 在 4bytes 的包头中由 Adaptation control bits 标志是否有 adaptation field 188 byte 4 Byte Header header Optional Adaptation field 184 byte payload Adaption Field length Discontinuity indicator. 5 flags Optional Fields Depending On flags.. PCR Bit 102

95 PCR(Program Clock Reference) PCR 是由对系统时钟脉冲触发的计数器状态抽样而来 PCR 共占 6Bytes, 其中 6bits 预留,42bits 有效位有效位分为两部分 :33bits 的 PCR-Base 和 9bits 的 PCR-Ext PCR-Base 是由 27MHz 脉冲经 300 分频后的 90kHz 脉冲触发计数器, 再对计数器状态进行取样得到的 PCR-Ext 是由 27MHz 脉冲直接触发计数器, 再对计数器状态进行取样得到的 103

96 27MHz 时钟同步 PCR 使得码流中带有准确的内部时钟, 所有编码和解码过程都受这个内部时钟控制解码器必须读出 PCR 值, 与自身系统时钟 (42bit 计数器 ) 比较 : 如果收到的 PCR 与解码器系统时钟一致, 则收发端时钟同步 ; 如果不一致, 则根据差别大小产生一个控制变量送到锁相环, 可以纠正接收端的振荡器 104

97 MPEG-2 PES 包 6byte 的 PES Header 前 3 个 byte 是起始码前缀第 4 个 byte 标识 payload 是视频音频还是数据后两个 byte 是包长度, 说明后面还有多少字节如果长度为 0, 表示 PES 包大于 64kbytes 可选 PES Header 传送 ES 流的净负荷数据 (payload) max.64 kbyte +6 6 Byte Header Max.64kbyte payload PES header Optional PES header 3 byte start code prefix Stream ID PES packet length 105

98 Optional PES header PTS(presentation time stamps) 预定义的播放时间 : 由 27MHz 脉冲经 300 分频后的 90kHz 脉冲触发计数器 DTS(decoding time stamps) 预定义的解码时间 : 由 27MHz 脉冲经 300 分频后的 90kHz 脉冲触发计数器 PES header Optional PES heaer max.64 kbyte +6 6 Byte Header Max.64kbyte payload PTS DTS ESCR ES rate DSM Trick mode Additional Copy Info Previous PES CRC PES extension Bit 106

99 MPEG2 同步小结时钟同步 TS PCR(Program Clock Reference) 27MHz 解码同步 PES DTS(decoding time stamps) 90kHz 显示同步 PES PTS(presentation time stamps) 90kHz 107

100 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 108

101 RTP(Real-time Transport Protocol) RTP 提供端对端网络传输功能, 适合通过组播和点播传送实时数据 RTP 没有涉及资源预订和质量保证等实时服务 RTP 报文格式中包括固定的 RTP 报文头, 可选用的作用标识 (CSRC) 和负载数据 V P X CC M PT 序列号 (Sequence Number) 时戳 (Timestamp) 同步源标识符 (SSRC Identifier) 其它同步源标识符 (CSRC Identifier) 静荷 (PayLoad) SSRC 帮助接收方利用发送方生成的唯一的数值来区分多个同时的数据流 SSRC 必须是一个严格的随机数 109

102 RTP Header 中的 Timestamp 时间戳单位 : 时间戳计算的单位有时不用秒之类的单位, 而是由采样周期所代替, 这样做可简化时间戳计算如一个音频的采样频率为 8000Hz, 可设时间戳单位为 1/8000s 时间戳计算的单位也可以采用设备的脉冲周期 MPEG2 系统有 90kHz 的计数器, 可设时间戳单位为 1/90000 时间戳增量 : 相邻两个 RTP 包之间的时间差假设时间戳单位为 1/ 90kHz, 若每秒发送 25 帧, 那么每一个帧的发送占多少个时间块呢? 当然是 90000/25 = 3600 根据定义时间戳增量是发送第二个 RTP 包相距发送第一个 RTP 包时的时间间隔, 时间戳增量应该为 3600 注 : 时间戳也可以用其他方式来定义 110

103 RTP 基于 UDP 传输 111

104 RTCP(Real Time Control Potocol) RTP 本身并不能为按顺序传送数据包提供可靠的传送机制, 也不提供流量控制或拥塞控制, 它依靠 RTCP 传输控制协议提供这些服务 RTP 本身仅提供了同步需要的信息, 但不具备同步的功能 RTP 的控制协议 RTCP 通过在会话用户之间周期性地递交控制报文来完成监听服务质量和交换会话用户信息等功能 RTCP 数据报有几种类型如 : 发送端报告 (SR) 接收端报告 (RR) 源描述项 (SDES) 结束标识 (BYE) 应用程序说明 (APP) 等等 112

105 RTCP SR(Sender Report) RTCP RR(Receiver Report) RTCP RR Header RTCP SR Header { NTP timestamp: 64 bits RTP timestamp: 32 bits 这里的 timestamp 与 RTP 报文中一致 113 }

106 RTCP 的 NTP 时间戳 NTP 的时间戳有 MSW 和 LSW 组成 ( 共 64bits) MSW 表示秒,LSW 表示 1/2 32 秒 ( 约 200ps) NTP 时间是绝对时间 114

107 根据 RTCP SR 可实现流的时间同步在每个 RTCP SR 包中对应有一个 RTP 时间和一个 NTP 时间不同 stream 的 RTP 时间尽管不同, 但可以通过 NTP 时间映射到同一个时间轴上, 从而实现同步如图所示,RTP session 1 发送 H264 使用 90000Hz, 而 RTP session 2 发送 G.711 使用 8000HZ 115

108 H.264 可基于 RTP/RTCP 实现流内同步 H.264 Payload 格式定义了三种不同的基本的负载 (Payload) 结构可能的结构类型分别有 : 单一 NAL 单元模式 : 一个 RTP 包仅由一个 NALU 组成组合封包模式 : 即可能是由多个 NAL 单元组成一个 RTP 包分别有 4 种组合方式 :STAP-A STAP-B MTAP16 MTAP24 对应类型值分别是 24, 25, 26 以及 27 分片封包模式 : 把一个 NALU 单元封装成多个 RTP 包存在两种类型 FU-A 和 FU-B 类型值分别是 28 和 29 RTP Payload 的第一个字节包含 Payload 的 Type 24 STAP-A 单一时间的组合包 25 STAP-B 单一时间的组合包 26 MTAP16 多个时间的组合包 27 MTAP24 多个时间的组合包 28 FU-A 分片的单元 29 FU-B 分片的单元 RFC 3984 RTP Payload Format for H.264 Video 116 H.264 的 Network Friendly 特性 : H.264 视频流与其他流的复用可以方便地基于 RTP 实现

109 小结 : 基于 RTP/RTCP 实现流同步 RTP 提供必要的流识别与同步信息时戳 (Timestamp) 同步源标识符 (SSRC Identifier) RTCP SR(Sender Report) 给接收方提供了同步的完整信息 NTP timestamp: 64 bits MSW 表示秒,LSW 表示 1/2 32 秒 ( 约 200ps) RTP timestamp: 32 bits 时间戳计算的单位一般是对应流的采样周期 117

110 小结 : 典型多媒体系统媒体的同步 MP3 如何在播放时进行时间控制? Samples Per Frame Sampling Rate DVD/HDTV 中不同媒体流如何实现同步? ES PES TS PCR/DTS/PTS RTP/RTCP 的流同步如何实现? SSRC Identifier NTP timestamp RTP timestamp 118

111 主要内容什么是多媒体同步如何描述多媒体同步典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步基于 RTP 的流媒体同步展望未来 119

多个媒体流内容的自动同步 Synchronization of Multiple Videos 不同来源视频的自动同步球场上多个角度不同摄像头录制的视频家庭中某事件多个 DV 的拍摄结果难点分析视角不同导致对视频 / 音频信号的对比无法进行需要寻找一个特征该文作者利用摄像时候的闪光灯信息实现了多个视频源的同步

112 多个媒体流内容的自动同步 Synchronization of Multiple Videos 不同来源视频的自动同步球场上多个角度不同摄像头录制的视频家庭中某事件多个 DV 的拍摄结果难点分析视角不同导致对视频 / 音频信号的对比无法进行需要寻找一个特征该文作者利用摄像时候的闪光灯信息实现了多个视频源的同步 Synchronization of Multiple Camera Videos Using Audio-Visual Features IEEE TRANSACTIONS ON MULTIMEDIA, VOL. 12, NO. 1, JANUARY Philips Research, Eindhoven, The Netherlands

113 社交媒体内容的同步 Social Media Synchronization 例 :Tag Cloud 含义的统一多协议 IM Tool 如 Miranda :AIM, Gadu-Gadu, ICQ, IRC, Jabber, MSN, Yahoo! 多个博客的同步发布 121

114 云存储 : 文件的同步 / 备份 122

115 将音频数据同步隐藏到帧间编码帧内编码主要应用于整个视频序列的第一帧 I 帧以及 P 帧中的部分宏块如果使用帧内编码宏块进行音频信号的嵌入, 既会严重影响视频图像的质量, 而且嵌入量也相对较小, 不容易满足音视频同步编码的要求在 H.264 帧间编码中, 除了 SKIP 模式, 还有 7 种不同的编码模式 :mode1 (Inter16 16) mode2 (Inter16 8) mode3 (Inter8 16) mode4 (Inter8 8) mode5 (Inter8 4) mode6 (Inter4 8) 以及 mode7 (Inter4 4) 作者利用帧间编码模式的多样性, 使得帧间编码模式和要嵌入的音频信号之间产生映射关系, 使得不同的帧间编码模式携带不同的音频信息实验结果显示不会对视频产生太大影响 123 面向 H_264 的嵌入式音视频同步编码技术研究吉林大学, 博士论文, 李晓妮,2012 年 6 月

分布式系统同步示例 TrueTime of Google Spanner 谷歌在其 Spanner 数据中心里配备了自己的原子钟和 GPS( 全球定位系统 ) 接收器这些时间协调装置会连接到特定数量的主服务器, 然后再由主服务器向整个谷歌网络中运行的其他电脑传输时间读数 Spanner 数据库中, 谷歌摒弃了传统的网络时间协议,

116 分布式系统同步示例 TrueTime of Google Spanner 谷歌在其 Spanner 数据中心里配备了自己的原子钟和 GPS( 全球定位系统 ) 接收器这些时间协调装置会连接到特定数量的主服务器, 然后再由主服务器向整个谷歌网络中运行的其他电脑传输时间读数 Spanner 数据库中, 谷歌摒弃了传统的网络时间协议, 转而使用自己的 TrueTime API Spanner: Google s Globally-Distributed Database OSDI(Operating Systems Design and Implementation) Oct

117 分布式多媒体同步的新问题点到点系统流内同步 (Intra-stream Synchronization) 是指在单一连接上的单一媒体流内各个媒体单元之间存在的时间关系流间同步 (Inter-stream Synchronization) 是指在多个连接上的相关媒体流之间存在的时间关系多点系统 : 用户间的同步一个发送者, 多个接收者之间的同步 RTP/RTCP 可以解决多个发送者, 一个接收者同步不同来源的信息??? 多个发送者, 多个接收者情形??? 多点参与的系统仅有近年的时间

118 总结 : 多媒体同步什么是多媒体同步时间空间 ; 同步容限如何描述多媒体同步 SMIL 基于 Petri Net 的并发系统描述典型多媒体设备接口信号的同步机制行消隐场消隐消隐信号持续时间传送音频等信息典型多媒体系统的媒体同步方法各种时间戳的产生机制和时间计量方法 DVD/HDTV 专有流传输系统网络有好的 H.264 展望未来 : 内容同步才是重点? 126

119 谢谢大家! 多媒体通信第三章多媒体同步机制 127

863项目战场环境分析报告

863项目战场环境分析报告多媒体通信第三章多媒体同步机制 2016 年 11 月 21 日要点回顾 : 多媒体数据的 30 年 CD-DA 数字音乐的光存储, CD-DA 数据的光存储, CDROM 数字视频的光存储,VCD MP3 随着因特网发展而流行 1980 s 1990 s DAB MPEG2 PS / TS (HDTV) 随着 DVD 出现开始流行 MPEG-4 AVC / H.264 随着下一代 DVD 的讨论而诞生