863项目战场环境分析报告

Transcription

1 多媒体通信 第三章多媒体同步机制 2017 年 11 月 5 日 1

2 主要内容 什么是多媒体同步 多媒体同步的定义与分类 音视频的同步容限 如何描述多媒体同步 基于 Web 的媒体时间关系描述 基于 Petri Net 的多媒体时间域信息的描述 典型多媒体设备接口信号的同步机制 典型多媒体系统的媒体同步方法 展望未来 3

3 不同媒体对象的同步关系 空间关系用来描述在终端显示或者输出时不同的媒体对象之间在空间域上的位置关系 内容关系是指用不同的表现形式来表示相同的数据 例如, 一份数据有时候既可以用表格又可以用图表表示, 那么在计算机中不管是用表格 图表或者曲线等方式表示的都是同一份数据内容 时间关系是用来描述时间相关媒体媒体流内或者媒体流之间各个数据单元的时间关系的, 我们狭义上的多媒体同步主要就是指的这种时间同步 4

4 多媒体同步的定义 / 分类 广义上的同步 (Synchronization) 从广义上讲, 同步是指多媒体系统中各个媒体对象之间存在的时间 空间 以及逻辑关系 在分布式多媒体通信中, 同步是一个基于时间的概念, 是指多媒体系统中各个媒体对象之间存在的时间关系, 同步的目的就是向用户展示多媒体信息时, 保持媒体对象之间固有的时间关系 狭义的同步分类 流内同步 (Intra-stream Synchronization) 是指在单一连接上的单一媒体流内各个媒体单元之间存在的时间关系 流间同步 (Inter-stream Synchronization) 是指在多个连接上的相关媒体流之间存在的时间关系 人机交互同步用于保持用户与多点传送媒体流之间的同步播映速度 5

5 流内同步 一个 25 帧 /s 的视频流, 它每帧间隔的时间是 40ms 一个用 G.729 编码的音频流, 它每帧间隔时间是 10ms 6

6 流间同步 不同步的原因 : 采集端产生延时网络传输变化播放端产生的时间偏差 媒体间同步是指维持媒体相互之间的时间关系, 其目标是消除各媒体流之间的时间偏移 如果 33.3ms 产生 1 个视频帧,10ms 产生 1 个音频帧, 情况如何? 7

7 人机交互同步 人机交互同步用于保持用户与多点传送媒体流之间的同步播映速度 在用户和多媒体系统之间的交互实质就是交互对象, 即用户和计算机系统之间的通信 例如当用户利用输入设备控制多媒体系统的跳转 停止 变速和暂停等, 系统应该及时响应用户的操作 在交互系统中, 用户对于鼠标 键盘等外部设备的操作必须要及时响应 例如, 实时运动广播和交互式多媒体视频会议等 这类同步的特点在于同步的时间随着指令的时间所决定, 因为同步发生时间具有不可预测性 8

8 常用的同步方法 复用同步法 将发送端的音视频数据流复用到一个数据流中, 从而使音视频数据流在网络传输过程中自然保持着媒体间的相互关系, 在接收端, 按照音视频流的这一关系解复用, 达到同步目的 同步标记法 在媒体发送端发出一个同步标记, 在接收端接收同步标记, 用来对各个媒体进行同步处理, 达到两方通信同步的目的 时间戳同步法 把音视频数据流单元分别添加统一的时间信息 ( 例如时间戳 ), 然后尽可能的同时发送出去, 保证发送端的同步 在接收过程中提取音视频单元的时间信息, 根据该时间信息对音视频数据的播放先后进行调整, 例如音频滞后者, 就将视频播放速度减慢 ; 如果音频超前, 则加快视频的播放速率, 若音频超前过多, 甚至可考虑丢弃些视频帧 9

9 时间精度的不同要求 时间准确度 频率稳定度 卫星导航 ±20 纳秒 ±2 10^-13 电子侦察卫星 ±10 纳秒 ±5 10^-13 巡航导弹 ±50 纳秒 ±5 10^-13 卫星测轨 ±50 纳秒 ±1 10^-12 高速数字通信网 ±0.5 微秒 ±5 10^-12 电力传输网 ±1 微秒 ±1 10^-11 电视校频 ±5 10^-12 频率的稳定度 : 时间既然由原子振荡频率来定义 因此频率稳定度和频率准确度便成为时间测量的一个重要概念 在时频测量中习惯上把不稳定性称为稳定度 Source 10

10 5G 的同步要求 Analysis of the Synchronization Requirements of 5g and Corresponding Solutions IEEE Communications Standards Magazine March

11 5G 的同步要求 The end-to-end time error budget for 5G will probably be ±130 ns. Considering the total budget requirement and feasible technique, the time error allocation on the time distribution chain is suggested to be: Time server (grandmaster): ±20 ns Time transport: ±100 ns, including Intermediate nodes: ±90 ns (e.g., corresponding to 18 nodes with time error of ±5 ns) Time error induced by link asymmetry: ±10 ns Base station: ±10 ns Analysis of the Synchronization Requirements of 5g and Corresponding Solutions IEEE Communications Standards Magazine March

12 可观察到的时间量 TI DSP(C6455) 中断响应 :4us Windows 线程启动 :1-10ms 音频压缩的样本序列长度 :5ms/10ms/20ms 视频中一帧图像的产生时间 :30ms-40ms 100M 以太网传输 700 万像素 JPEG 图像 :100ms 网络视频播放的缓冲时间 :20s-60s 13 问题 : 多媒体同步需要的时间精度?

13 主要内容 什么是多媒体同步 多媒体同步的定义与分类 音视频的同步容限 如何描述多媒体同步 基于 Web 的媒体时间关系描述 基于 Petri Net 的多媒体时间域信息的描述 典型多媒体设备接口信号的同步机制 典型多媒体系统的媒体同步方法 展望未来 14

14 同步容限 CPU 抢占 缓冲区不大传输带宽不足等因素往往会导致在恢复后的时域场景中时域事件间的相对位置发生变化, 我们将这种变化称为事件间偏差 (SKEW) 属于同一媒体对象的时域事件之间的偏差称为对象内偏差, 不同媒体对象的时域事件之间的偏差为对象间偏差 同步容限包含了用户对偏差许可范围的定义, 同步机制则需依据同步容限, 保证恢复场景中事件间偏差在其许可范围内 15

15 常见多媒体业务对传输网络的要求 16

16 话音质量与包时延 丢包率关系 MOS vs. packet loss and delay (for AMR,12.2Kb/s) MOS Packet loss (%) Delay (ms) 0 17

17 同步容限与内容有关 人对于视频 / 音频之间同步程度的感知与视频内容有关 Human Perception of Jitter and Media Synchronization IEEE JOURNAL on Selected Areas on Communications, Vol. 14, No. 1, Jan Google Scholar 显示引用 550 次 ( )

18 Level of Annoyance 19

19 Correctly Detected Error 20

20 21

21 Prof. Dr.-Ing. Ralf Steinmetz Education Habilitation in Computer Science at Frankfurt University Doctoral Degree (Dr.-Ing) in Electrical Engineering, Communications Awards Books First ACM SIGMM Award for Outstanding Technical Contributions to Multimedia Computing, Communications and Applications, 2008 ACM Fellow, 2002 IEEE Fellow,

22 RECOMMENDATION ITU-R BT.1359 [1998] Relative timing of sound and vision for broadcasting Detectability and acceptability thresholds skew should be kept within ms and -30 ms 24 positive skew: video behind audio

23 Skew in standards ITU BT ms ms ATSC IS/ ms +15 ms EBU R ms +40 ms ITU: International Telecommunication Union EBU: European Broadcasting Union ATSC: Advanced Television Systems Committee ITU-R BT [1998] Relative timing of sound and vision for broadcasting ATSC IS-191[2003] Relative Timing of Sound and Vision for Broadcast Operations EBU R037[2007] 25

24 小结 : 典型音视频同步问题 数据流 1: 图像帧率是 30fps, 即每隔 33.3ms 产生一个完整的图像数据块 数据流 2: 音频采样频率是 44.1k, 一般每 20ms 的数据作为一个传输数据块 26 音视频同步需要的时间精度已有结论, 实际系统中如何描述?

25 主要内容 什么是多媒体同步 多媒体同步的定义与分类 音视频的同步容限 如何描述多媒体同步 基于 Web 的媒体时间关系描述 基于 Petri Net 的多媒体时间域信息的描述 典型多媒体设备接口信号的同步机制 典型多媒体系统的媒体同步方法 展望未来 27

26 What is SMIL SMIL 是同步多媒体集成语言 ( Synchronized Multimedia Integration Language) 的缩写, 念做 smile 参与制定该标准的公司包括 Compaq Gateway IBM Microsoft RealNetworks Oratrix 等等 SMIL 与我们网页上用的 HTML( 超文本传输语言 ) 的语法格式非常相似 后者主要针对普通的网络媒体文件进行操纵 ( 文字 图片 声音 动画 视频的机械堆砌 ), 而前者则操纵多媒体片断 ( 对多媒体片断的有机的 智能的组合 ) D.C.A. Bulterman, 'SMIL 2.0-Part 1: Overview, Concepts, and Structure,' IEEE MultiMedia, vol. 8, no. 4, pp. 2001, D.C.A. Bulterman, 'SMIL 2.0-Part 2: Examples and Comparisons,' IEEE MultiMedia, vol. 9, no. 1, 2002, pp

27 用 SMIL 语言连续播放 rm 片断 <smil> <head> <layout> <region id="a" left="0" top="0" /> <!-- 定义区域 a, 使其左上角紧挨播放窗口左上角 --> </layout> </head> <body> <seq> <!-- 定义播放序列 --> <video region="r" src="shushan1.rm" /> <video region="r" src="shushan2.rm" /> <video region="r" src="shushan3.rm" /> </seq> </body> </smil> 29

28 多媒体片断结构组织 <seq> <img src="image1.jpg"/> <img src="image2.jpg"/> </seq> <par> <img src="image1.jpg"/> <img src="image2.jpg"/> </par> 30

29 时间控制 图片显示时间为 5 秒 <img src="image1.jpg" dur="5s"/> 图片在演示开始 2 秒以后显示并持续 5 秒 <img src="image1.jpg" begin="2" dur="5s"/> 31

30 智能流 (surestream) <switch> <vedio src="high.rm" system-bitrate="250000"/> <vedio src="mid.rm" system-bitrate="80000"/> <vedio src="low.rm" system-bitrate="20000"/> </switch> 当用户的联网速度大于 250kbps 时, 播放器就从服务器下载 high.rm 播放 ; 如果用户的联网速度大于 80kbps 小于 250kbps 时, 播放器就从服务器下载 mid.rm 播放 ; 如果用户的联网速度大于 20kbps 小于 80kbps 时, 播放器就从服务器下载 low.rm 播放 32

31 主要内容 什么是多媒体同步 多媒体同步的定义与分类 音视频的同步容限 如何描述多媒体同步 基于 Web 的媒体时间关系描述 基于 Petri Net 的多媒体时间域信息的描述 典型多媒体设备接口信号的同步机制 典型多媒体系统的媒体同步方法 展望未来 33

32 多媒体数据时域特征表示 时间关系 before, starts, meets, overlaps, during, finishes, equals, 除 equals 外, 其余六种都有逆关系, 共十三种 时间规范 绝对 / 相对 并行 / 顺序 基于图形的表示法 时间线 流图 Petri 网 时间层次法 最著名的是 OCPN 方法 34

33 Petri 网 Petri 网是对离散并行系统的数学表示 1962 年由 C.A. Petri 发明, 适合于描述异步的 并发的计算机系统模型 有严格的数学表述方式和直观的图形表达方式 Petri nets were invented in August 1939 by Carl Adam Petri at the age of 13 for the purpose of describing chemical processes. 对比 : 状态图无法表示多个状态的同时变化 Send_Tx Recv_Rx Send_Rx Recv_Tx 35

34 Petri 网的基本要素 Petri net (known as place/transition net or P/T net) Places Transitions Arcs Token 位置相当于状态图中的状态, 圆圈表示变迁, 用直线表示弧线表示变迁发生的条件和产生的结果位置中的黑点表示已经处于该状态 Send_Tx Recv_Rx Send_Rx Recv_Tx 36

35 用 Petri 网表示同步关系 Petri 网可用来表示同步关系 t d P a before P b P a P b P a P d P b P a meet P b P a P b P a P b P a during P b t d P b P a P d P b P a P a P a overlap P b P a P b t d P d P b 37

36 About Petri Net Petri Net MPN (Marked PetriNet) Petri Net: C PN = {T,P,A} T = {t 1,t 2,,t n }, P = {P 1,P 2,,P m }, A:{T P}U{P T} I,I = {1,2, } Transitions Places Arcs Markings MPN (Marked PetriNet): C MPN = {T,P,A,M} M:P I',I'={0,1,2, } M 定义了由位置集向整数集的映射, 它表示集中的标记 (Token) 分布 38

37 About Petri Net Petri Net OCPN(Object Composite Petri Net) Petri Net: C PN = {T,P,A} T = {t 1,t 2,,t n }, P = {P 1,P 2,,P m }, A:{T P}U{P T} I,I = {1,2, } Transitions Places Arcs MPN (Marked PetriNet): C MPN = {T,P,A,M} M:P I',I'={0,1,2, } OCPN(Object Composite Petri-Net) C OCPN = { T, P, A, D, Re, M} D:P R 表示 OCPN 中的时间约束 R:P {r 1,r 2,r 3,,r k } 由位置集向资源集的映射 39 Markings Duration Resource

38 OCPN(Object Composite Petri Net) 40

39 小结 : 如何描述同步 时间关系 before, starts, meets, overlaps, during, finishes, equals, 除 equals 外, 其余六种都有逆关系, 共十三种 多媒体时间域信息的描述 SMIL: 基于 Web 的媒体时间关系描述 描述并发的状态变化 :Petri Net OCPN(Object Composite Petri Net) 41

40 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 展望未来 42

41 CD-DA 每扇区持续时间 1/75 秒 螺旋型的物理光道分成多个逻辑光道 一条逻辑光道由许多扇区 (sector) 组成, 一扇区由 98 帧 (frame) 组成 CD 的采样频率为 44.1 khz, 每次对左右声音通道各取一个 16 位的样本,1 秒钟的声音数据率就为 (16 2) = 字节 / 秒 由于 1 帧存放 24 字节的声音数据, 所以 1 秒钟所需要的帧数为 =7350 帧 / 秒 98 帧构成 1 个扇区, 所以 1 秒钟所需要的扇区数为 =75 扇区 / 秒 4 字节的扇区地址称为 HEADER 43 分 (MIN) 1 字节 0~74 秒 (SEC) 1 字节 0~59 分秒 (FRAC) 方式 (Mode) 1 字节 1 字节 0~74 01

42 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 展望未来 44

43 模拟电视扫描原理 逐行扫描 (noninterlaced scanning): 电子束从显示屏的左上角一行接一行地扫到右下角, 在显示屏上扫一遍就显示一幅完整的图像 场频 / 场速率 (field rate) f f 帧频 / 帧速率 (frame rate) f F 隔行扫描 (interlaced scanning) : 一帧图像由两部分组成 : 由奇数行组成的奇数场 ; 由偶数行组成的偶数场 每一场的扫描行数为 625/2=312.5 行, 其中 25 行作场回扫, 传送图像的行数每场只有 行, 因此每帧只有 575 行有图像显示 45

44 扫描定时与同步信号 场消隐 行消隐 在荧幕上产生一行图像的信号 每次扫描都是从左到右, 扫描完第一行时, 电子束要从第一行的末尾回到第二行的行首, 这段时间会产生一条回扫线, 影响图像质量, 所以要用水平消隐 ( 行消隐,Hblank, 持续 12μs) 使电子枪截止不发送电子 同理, 电子枪从右下角移动到左上角的那段时间就是垂直消隐 ( 场消隐,Vblank, 持续 1612μs) 46

45 一个行周期的黑白全电视信号 行同步脉冲 行消隐 在荧幕上产生一行图像的信号 47

46 水平消隐间隔上的色差信号 在彩色电视系统中, 色差信号通过色载波信号调制之后加到每一扫描行的水平消隐信号上, 再与图像亮度信号复合后就得到彩色全电视信号 48

47 图像信号和伴音信号的同步 图像信号和伴音信号分别调制在图像载频和伴音载频上 49

48 小结 : 模拟电视信号的行同步与场同步 行扫描信号周期 64μs 图像信号持续 52μs 行消隐,Hblank, 持续 12μs 一帧完整图像扫描行数为 625 行 575 行有图像显示 25 行作场回扫 : 场消隐,Vblank, 持续 1612μs 隔行扫描 : 每一场的扫描行数为 625/2=312.5 行 黑白电视 彩色电视 行消隐信号上调制了色度信号 图像和声音的同步 :FDM 50

49 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 展望未来 51

50 CCIR 601 / ITU-R BT. 601 数字视频信号是在模拟视频信号的基础上经过取样 量化和编码形成的, 不同的空间垂直分辨率, 会有不同的空间水平分辨率, 这给不同制式的数字视频信号的互通带来不便 故有必要在世界范围内建立统一的数字视频标准 1982 年 10 月, 国际无线电咨询委员会 (CCIR, Consultative Committee for International Radio) 通过了第一个关于演播室彩色电视信号数字编码的建议, 即 1993 年变更成的国际电信联盟无线电通信部门 ITU-R BT. 601 分量数字系统建议, 该标准规定了图像屏幕宽高比 (IAR,Image Aspect Ratio) 为 和 两种数字视频格式 该建议考虑到现行的多种彩色电视制式, 提出了一种世界范围内兼容的数字编码方式, 它是标准数字电视 (SDTV, Standard Digital TV) 的图像格式 52

51 ITU-R BT.601 数字化规范 采样频率 对于数字分量编码, CCIR601 建议亮度抽样频率为 525/60 和 625/50 三大制式行频公倍数 2.25MHz 的 6 倍, 即 13.5MHz 对现行电视制式而言, 亮度信号的最大带宽是 6MHz,13.5MHz 大于 2 倍信号带宽, 符合奈奎斯特定理 而色差信号的带宽比亮度信号窄得多, 同时考虑到抽样的样点结构应满足正交结构要求, 两个色差信号的抽样频率均选为 6.75MHz, 这样亮度信号与两个色差信号的抽样频率之比为 数据量 4:2:2 的格式采样,10Bit 量化 =270Mbps 4:2:2 的格式采样,8Bit 量化 =216Mbps 数据时分复用 经量化 编码后的视频数据字有 3 个样本值,CCIR601 规定进行多路复用后按 27Mwords/s 来传递, 其中字按以下顺序传递 :Cb Y Cr Y Cb Y Cr Y Cb Y Cr Y 53

52 ITU-R BT.656 BT.601 规划了对视频进行数字编码的方法 BT.656 则实际定义了实施 BT.601 所必需的物理接口和数据流, 以及位并行和位串行模式 位并行模式 只需要 27MHz 的时钟以及 8 或 10 条连线 ( 取决于像素的深度 ) 同步化信号都嵌入到数据流中, 因此无需额外添加硬件连线 位串行模式 只需要在单个通道上传输像素串行数据流, 不过它需要运用复杂的同步化 频谱整形和时钟恢复调理等技术手段 此外, 其位时钟速率高达接近 300MHz, 因此要在很多系统中实施基于采用串行位形式的 BT.656 是极富挑战性的任务 54

53 ITU-R BT.656 并行传输模式 ITU-R BT.656 包含三部分信号 : 视频信号 定时基准信号 辅助信号 辅助数据信号可在行消隐期间传送, 或在场消隐中的行的有效期间传送 27 MHz 有两个定时基准信号, 一个在每个视频数据块的开始 (Start of ActiveVideo,SAV), 另一个在每个视频数据块的结束 (End of Active Video,EAV); 每个定时基准信号由 4 个字的序列组成, 格式如下 : FF XY (16 进制 ) 头三个是固定前缀, 第 4 个字包含定义第二场标识 场消隐状态和行消隐状态的信息 55

54 ITU-R BT.656 数据格式 数字化后的数据包括 行消隐信号 有效的图像像素信号 场消隐信号 接收端需要从上述信号中提取出有效的图像像素信号 57

55 ITU-R BT.656 串行传输模式 串行比特流每个 10 比特字的 LSB( 最不重要比特 ) 应最先发射 发射之前, 通过补充编码进行频谱整形 字同步, 并促进时钟的恢复 未编码的串行比特流中低频成分很丰富, 不利于接收端的时钟提取, 故使用生成器多项式 G1(x) G2(x) 进行扰码 G1(x) = x 9 + x 用于生成扰码 NRZ 信号 G2(x) = x + 1 用于生成无极性 NRZI 序列 码流中当出现常 0 和常 1 DC-balanced / DC-Free? 58

56 小结 :ITU-R BT. 601 数字视频 BT.601 规划了对视频进行数字编码的方法 BT.656 则定义了实施 BT.601 所必需接口 并行传输模式 :27MHz 时钟信号线 8 或 10 根数据信号线 串行传输模式 : 扰码 / 解扰 ; 接收端做时钟恢复 这是一个典型的基带传输系统 接收端需要做比特同步 : 并行接口有时钟线, 串行接口要恢复时钟 接收端需要做帧同步 : 定时基准信号 SAV/EAV 此接口上如何传输音频? BT.601 仅是一个视频信号的数字编码规范 BT.656 未提供音频信号线消隐信号对应的 Clock 周期可用来传输视频以外的数据 61

57 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 展望未来 62

58 HDMI High Definition Multimedia Interface 2002 年 4 月, 日立 松下 飞利浦 Silicon Image 索尼 汤姆逊 东芝七家公司共同组建了 HDMI 高清多媒体接口组织, 开始着手制定一种符合高清时代标准的全新数字化视频 / 音频接口技术 经过半年多时间的准备工作,HDMI 组织在 2002 年 12 月 9 日正式发布了 HDMI 1.0 版标准 63

59 High Definition Multimedia Interface,HDMI 机械特性 64

60 High Definition Multimedia Interface,HDMI 功能特性 最小化传输差分信号 (TMDS:Transition Minimized Differential signal) 通过异或及异或非等逻辑算法将原始信号 8bit 数据转换成 10bit, 用来实现直流平衡 (DC-balanced), 转换后的数据以差分传动方式传送 这种算法使得被传输信号过渡过程的上冲和下冲减小, 传输的数据趋于直流平衡, 使信号对传输线的电磁干扰减少, 提高信号传输的速度和可靠性 65

61 HDMI 系统架构 音频 视频和其他辅助的数据通过三对 TMDS 数据通道来传输, 一对 TMDS 时钟, 通常是等于视频像素的比特率, 通过一对 TMDS 时钟通道来发送 DDC (Display Data Channel) I 2 C 总线 HDMI 源端设备与接收端设备交互 EDID 数据及 HDCP 密钥 EDID 用于了解接收端设备音视频的接收能力 ;HDCP Key 用于数据内容保护 CEC (Consumer Electronics Control) 66 one-wire 总线, 用户通过一个遥控器即可对连接的设备进行控制

62 High Definition Multimedia Interface,HDMI TMDS 通道 Pixel Clock 的 10 倍频 BT.656: 每个 Clock 传输 Y 或 Cr 或 Cb 一个样本值 HDMI: 默认像素深度 24bits 情形下一个 Pixel Clock 之内可完成一个像素值的传输 HDMI 不同版本的 maximum pixel clock rate 不同 MHz(HDMI 1.0) 340MHz(HDMI 1.3) 600MHz(HDMI 2.0)

63 HDMI 规程特性 69 HDMI 连接可处于三种操作模式之一 : 视频数据周期 数据岛周期 控制周期 视频数据周期发送视频像素 数据岛周期中, 音频和辅助数据使用一系列数据包来发送 两个非控制周期之间是控制周期, 传输引导数据

64 High Definition Multimedia Interface,HDMI 不同传输周期的编码方式 控制周期传输引导数据, 同时也被接收端用于字符同步 70

65 High Definition Multimedia Interface,HDMI 音频同步的实现方法 音频时钟再生模式示意图 音频样本会在数据岛周期利用 3 个 TMDS 通道传输, 采用 4bits 10bits 的编码 音频的采样时钟 f S 需要在接收端恢复 通过 N 和 CTS(Cycle Time Stamp) 的传输可以恢复 f S 满足下式 : 128 f S =t TMDSclock N/CTS 71

66 High Definition Multimedia Interface,HDMI 音频时钟信息通过 DDC 传递 DDC(Display Data Channel) 就是一个 I 2 C 总线 (SCL,SDA) HDMI 源端可通过 DDC 访问 HDMI 接收端的 EDID(Extended Display Identification Data) 信息, 从而获知接收端的接受能力和一些关于接收端的信息 HDMI 接收端还通过 DDC 通道探测信息帧 : 辅助视频信息帧 音频信息帧 Audio Infoframe 包含音频格式的基本信息如编码方式 采样频率等 72

67 High Definition Multimedia Interface,HDMI 视频和音频如何同步? HDMI 的流内同步 视频同步 :TMDS 在控制周期传 HSync 和 VSync 音频同步 : 通过 DDC 传输音频采样频率等基本信息 HDMI 音视频流间同步 HDMI 1.3(2006 年 ) 添加了 automatic audio syncing 支持 HDMI 2.0 (2013 年 ) 添加了 Dynamic auto lip-sync 支持 其基本原理应该是给音频 / 视频增加一个延时控制电路, 因 HDMI 为收费标准, 未查到具体规范内容 73

68 HDMI 芯片示例 AD 公司的 AD9889B 是一款 HDMI/DVI 驱动芯片 视频输入 CLK: MHz 音频输入 TMDS 输出 TxC: 800MHz 74

69 小结 : HDMI 数字视频接口 TMDS (Transition Minimized Differential Signal) 通道 视频数据周期 数据岛周期 : 音频流 控制周期 DDC(Display Data Channel) 通道 I 2 C 总线 (SCL,SDA): 音频流采样频率 CEC(Consumer Electronics Control) 通道 1-Wire 总线 TMDS 时钟是 Pixel 时钟的 10 倍! 75

70 小结 : 多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 比特同步 帧同步 ( 每帧持续 1/7350s) 模拟电视信号的行同步与场同步 每个扫描行持续 64μs,625 行持续 40ms 图像和伴音信号调制 2 个不同的载波 (FDM) ITU-R BT. 601 数字视频图像帧的同步 每行 720 像素 720/ 64μs=11.25MHz 13.5MHz 比特同步 ( 仅串行需要 ) 帧同步 (SAV/EAV) HDMI 数字多媒体接口的同步 BT. 601 类似的数据块结构 消隐信号持续时间 数据岛周期 TMDS Clock = 10 Pixel Clock 76

71 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 MMT: MPEG Media Transport 展望未来 77

72 MP3 文件结构 :Tag+Frame Tag: MP3 除了保存声音信息外, 还可以同时保存一些和曲目相关的文本信息, 比如歌名 演唱者 专辑名等等, 这些信息就称为 tag( 标签 ) 信息 Frame: 用于存放声音数据 78

73 MP3 帧格式 Frame sync (11bits 1 ) MPEG version MPEG layer Protection Bitrate index Sampling rate frequency Padding bit Private bit Channel mode Mode extension Copyright Original Emphasis 同步信息 版本 层 CRC 校验 比特率索引 采样频率索引 帧长调节 保留字 声道模式 扩充模式 版权 原版标志 强调方式 79

74 比特率索引表 128Kbps 是常见 MP3 的比特率 81

75 采样率索引表 每帧的持续时间 = 样本数 / 采样频率 Frame Size = ( (Samples Per Frame / 8 * Bitrate) / Sampling Rate) + Padding Size 82

76 MP3 的流间同步 (Lyrics) [ar: 杨幂 ] [al:] [00:00.17] 杨幂 - 爱的供养 [00:02.62] [00:13.77] 把你捧在手上虔诚地焚香 [00:22.12] 剪下一段烛光将经纶点亮 [00:30.16] 不求荡气回肠只求爱一场 [00:38.22] 爱到最后受了伤哭得好绝望 [00:44.87] [01:29.93] 把你放在心上合起了手掌 [01:39.18] 默默乞求上苍指引我方向 [01:47.20] 不求地久天长只求在身旁 [01:55.26] 累了醉倒温柔乡轻轻地梵唱 [02:02.63][00:45.63] 我用尽一生一世来将你供养 [02:10.46][00:53.53] 只期盼你停住流转的目光 [02:18.49][01:01.48] 请赐予我无限爱与被爱的力量 [02:26.26][01:09.20] 让我能安心在菩提下静静的观想 83

77 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 MMT: MPEG Media Transport 展望未来 84

78 MPEG-2 音视频复用 单路节目 多路节目 85

79 MPEG-2 数据流格式 Elementary Stream (ES) Packetised Elementary Stream (PES) Transport Streams (TS) 86

80 MPEG-2 TS 包 固定长度 188 字节,4 字节 header 和 184 字节 payload Header 包括 : 同步字节 传输差错标志 13bit 的 PID( 描述该包中 payload 的内容以及该包属于哪个 ES 流 ) 4 byte TS header 188 bytes 184 byte payload 13 bit packet identifier=pid 1bit transport error indicator 1 byte sync byte = 47 hex 87

81 TS 扩展包头 有时 TS 包的头长度必须大于 4 个 byte: 包头扩展到 payload 中, 称作 adaptation field 在 4bytes 的包头中由 Adaptation control bits 标志是否有 adaptation field 188 byte 4 Byte Header header Optional Adaptation field 184 byte payload Adaption Field length Discontinuity indicator. 5 flags Optional Fields Depending On flags.. PCR Bit 88

82 PCR(Program Clock Reference) PCR 是由对系统时钟脉冲触发的计数器状态抽样而来 PCR 共占 6Bytes, 其中 6bits 预留,42bits 有效位 有效位分为两部分 :33bits 的 PCR-Base 和 9bits 的 PCR-Ext PCR-Base 是由 27MHz 脉冲经 300 分频后的 90kHz 脉冲触发计数器, 再对计数器状态进行取样得到的 PCR-Ext 是由 27MHz 脉冲直接触发计数器, 再对计数器状态进行取样得到的 89

83 27MHz 时钟同步 PCR 使得码流中带有准确的内部时钟, 所有编码和解码过程都受这个内部时钟控制 解码器必须读出 PCR 值, 与自身系统时钟 (42bit 计数器 ) 比较 : 如果收到的 PCR 与解码器系统时钟一致, 则收发端时钟同步 ; 如果不一致, 则根据差别大小产生一个控制变量送到锁相环, 可以纠正接收端的振荡器 90

84 MPEG-2 PES 包 6byte 的 PES Header 前 3 个 byte 是起始码前缀 第 4 个 byte 标识 payload 是视频 音频还是数据 后两个 byte 是包长度, 说明后面还有多少字节 如果长度为 0, 表示 PES 包大于 64kbytes 可选 PES Header 传送 ES 流的净负荷数据 (payload) max.64 kbyte +6 6 Byte Header Max.64kbyte payload PES header Optional PES header 3 byte start code prefix Stream ID PES packet length 91

85 Optional PES header PTS(presentation time stamps) 预定义的播放时间 : 由 27MHz 脉冲经 300 分频后的 90kHz 脉冲触发计数器 DTS(decoding time stamps) 预定义的解码时间 : 由 27MHz 脉冲经 300 分频后的 90kHz 脉冲触发计数器 PES header Optional PES heaer max.64 kbyte +6 6 Byte Header Max.64kbyte payload PTS DTS ESCR ES rate DSM Trick mode Additional Copy Info Previous PES CRC PES extension Bit 92

86 MPEG2 同步小结 时钟同步 TS PCR(Program Clock Reference) 27MHz 解码同步 PES DTS(decoding time stamps) 90kHz 显示同步 PES PTS(presentation time stamps) 90kHz 93

87 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 MMT: MPEG Media Transport 展望未来 94

88 RTP(Real-time Transport Protocol) RTP 提供端对端网络传输功能, 适合通过组播和点播传送实时数据 RTP 没有涉及资源预订和质量保证等实时服务 RTP 报文格式中包括固定的 RTP 报文头, 可选用的作用标识 (CSRC) 和负载数据 V P X CC M PT 序列号 (Sequence Number) 时戳 (Timestamp) 同步源标识符 (SSRC Identifier) 其它同步源标识符 (CSRC Identifier) 静荷 (PayLoad) SSRC 帮助接收方利用发送方生成的唯一的数值来区分多个同时的数据流 SSRC 必须是一个严格的随机数 95

89 RTP Header 中的 Timestamp 时间戳单位 : 时间戳计算的单位有时不用秒之类的单位, 而是由采样周期所代替, 这样做可简化时间戳计算 如一个音频的采样频率为 8000Hz, 可设时间戳单位为 1/8000s 时间戳计算的单位也可以采用设备的脉冲周期 MPEG2 系统有 90kHz 的计数器, 可设时间戳单位为 1/90000 时间戳增量 : 相邻两个 RTP 包之间的时间差 假设时间戳单位为 1/ 90kHz, 若每秒发送 25 帧, 那么每一个帧的发送占多少个时间块呢? 当然是 90000/25 = 3600 根据定义 时间戳增量是发送第二个 RTP 包相距发送第一个 RTP 包时的时间间隔, 时间戳增量应该为 3600 注 : 时间戳也可以用其他方式来定义 96

90 RTP 基于 UDP 传输 97

91 以太网承载的 RTP 98

92 RTCP(Real Time Control Potocol) RTP 本身并不能为按顺序传送数据包提供可靠的传送机制, 也不提供流量控制或拥塞控制, 它依靠 RTCP 传输控制协议提供这些服务 RTP 本身仅提供了同步需要的信息, 但不具备同步的功能 RTP 的控制协议 RTCP 通过在会话用户之间周期性地递交控制报文来完成监听服务质量和交换会话用户信息等功能 RTCP 数据报有几种类型如 : 发送端报告 (SR) 接收端报告 (RR) 源描述项 (SDES) 结束标识 (BYE) 应用程序说明 (APP) 等等 100

93 RTCP SR(Sender Report) RTCP RR(Receiver Report) RTCP RR Header RTCP SR Header { NTP timestamp: 64 bits RTP timestamp: 32 bits 这里的 timestamp 与 RTP 报文中一致 101 } NTP(Network Time Protocol, 网络时间协议 )

94 RTCP 的 NTP 时间戳 NTP 的时间戳有 MSW 和 LSW 组成 ( 共 64bits) MSW 表示秒,LSW 表示 1/2 32 秒 ( 约 200ps) NTP 时间是绝对时间 102

95 根据 RTCP SR 可实现流的时间同步 在每个 RTCP SR 包中对应有一个 RTP 时间和一个 NTP 时间 不同 stream 的 RTP 时间尽管不同, 但可以通过 NTP 时间映射到同一个时间轴上, 从而实现同步 如图所示,RTP session 1 发送 H264 使用 90000Hz, 而 RTP session 2 发送 G.711 使用 8000HZ 103

96 H.264 可基于 RTP/RTCP 实现流内同步 H.264 Payload 格式定义了三种不同的基本的负载 (Payload) 结构 可能的结构类型分别有 : 单一 NAL 单元模式 : 一个 RTP 包仅由一个 NALU 组成 组合封包模式 : 即可能是由多个 NAL 单元组成一个 RTP 包 分别有 4 种组合方式 :STAP-A STAP-B MTAP16 MTAP24 对应类型值分别是 24, 25, 26 以及 27 分片封包模式 : 把一个 NALU 单元封装成多个 RTP 包 存在两种类型 FU-A 和 FU-B 类型值分别是 28 和 29 RTP Payload 的第一个字节包含 Payload 的 Type 24 STAP-A 单一时间的组合包 25 STAP-B 单一时间的组合包 26 MTAP16 多个时间的组合包 27 MTAP24 多个时间的组合包 28 FU-A 分片的单元 29 FU-B 分片的单元 RFC 3984 RTP Payload Format for H.264 Video 104 H.264 的 Network Friendly 特性 : H.264 视频流与其他流的复用可以方便地基于 RTP 实现

97 小结 : 基于 RTP/RTCP 实现流同步 RTP 提供必要的流识别与同步信息 时戳 (Timestamp) 同步源标识符 (SSRC Identifier) RTCP SR(Sender Report) 给接收方提供了同步的完整信息 NTP timestamp: 64 bits MSW 表示秒,LSW 表示 1/2 32 秒 ( 约 200ps) RTP timestamp: 32 bits 时间戳计算的单位一般是对应流的采样周期 105

98 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 MMT: MPEG Media Transport 展望未来 106

99 MMT: MPEG Media Transport Developed by the MPEG as a replacement of MPEG-2 TS MPEG 视频流在不同网络中广泛使用, 然而,188bytes 的 MPEG2-TS 格式并不适合在 IP 网络中传输 为适应在 IP 网络中传输视频,MPEG 组织开发了新的标准, 名为 MPEG Media Transport (MMT) 并在 2014 年 5 月发布了第一个正式版本 ISO/IEC High Efficiency Coding and Media Delivery in Heterogeneous Environments (MPEG-H) standard suite. ISO/IEC defines MMT Protocol and related technologies, for example, (AL-FEC) framework, buffer model, signaling messages and the data model. ISO/IEC defines AL-FEC (Application Layer Forward Error Correction) codes. ISO/IEC defines Composition Information, technologies for spatio-temporal layout of the multimedia components in a multiscreen, multi-device environment. New MPEG Transport Standard for Next Generation Hybrid Broadcasting System with IP IEEE TRANSACTIONS ON BROADCASTING, VOL. 60, NO. 2, JUNE

100 从 RTP 到 MMTP MMTP: MPEG Media Transport Protocol Why not RTP? Lack of Multiplexing: One media session per component and without RTP multiplexing, 2 ports per session Server Maintenance: RTP Payload Format for every new media codec; Support needs to be added to the media server. Coupling of Presentation and Delivery: RTP carries presentation and synchronization information at the transport level Limited support for Non-Real Time Media: Presentations consist of timed and non-timed media; Need other protocol or countless number of payload formats to support NRT. 108

101 MMT protocol Stack Encapsulation Delivery Signaling Composition Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

102 Encapsulation Logical structure of MMT Content Composition Information (CI) shall specify the spatial and temporal relationship among the Assets for consumption and presentation by using HTML5. Asset Delivery Characteristics (ADC) shall provide the required QoS information for transmission of Assets. A Media Processing Unit (MPU) is media data which may be independently and completely processed by an MMT entity and consumed by the media codec layer. Processing of an MPU by an MMT entity includes encapsulation, decapsulation and (de)packetization. Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

103 Encapsulation Mapping MPUs to the presentation timeline 111 Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

104 Encapsulation Encapsulation of MPU An MPU shall be encapsulated as a single ISOBMFF file. The sequence number and Asset ID of the MPU is provided in the mmpu box to uniquely indentify the MPU encapsulated in the file. Additionally, in case of timed media, a sidx box may be present to index movie fragments comprising MPU. As each MPU is self-contained, each file encapsulating MPU shall include the initialization data by using the ftyp, styp, and moov boxes. The moov box shall contain all codec configuration information for decoding and presentation of media data in MPU. Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

105 Delivery MMT packet header timestamp (32bits) This field specifies the time instance of MMT packet delivery. The NTP time is used in timestamp as specified as the short-format in clause 6 of IETF RFC5905, NTP version 4. This timestamp is measured at the first bit of MMT packet. QoS_classifier_flag (Q:1bit) flow_identifier_flag (F:1bit) FEC_type (FEC: 2bits) reserved (RES: 3bits) type_of_bitrate (TB: 3bits) delay_sensitivity (DS: 3bits) reliability_flag (R: 1bit) reserved (S: 1bits)- reserved. transmission_priority (TP: 3bits) flow_label (7bits) extension_flag (e: 1bit) private_user_data (16bits) 113 Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

106 Delivery MMTP packet: MMT payload header An MMTP packet is mainly composed of three parts: i) packet header ii) payload data iii) AL-FEC (Application Layer Forward Error Correction) information structure of MMT payload header number_data_unit (numdu: 4 bits) This field specifies the number of data unit within this MMT payload. This field shall be 0, if fragmentation_flag is set to 1. DU_offset (16bits) This field specifies location of each data unit from the byte indicated by data_offset. This field shall be used, when aggregation_flag is set to 1. Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

107 Delivery MMTP packet: AL-FEC (Application Layer Forward Error Correction) MMT provides the application level forward error correction (FEC) mechanism for reliable delivery in IP network environments that are prone to packet losses. FEC Repair Packet Format An FEC repair packet is a packet to deliver one or more repair symbols to recover its associated source symbol block and it is composed of MMT packet header, MMT payload header, an repair FEC payload ID and one or more repair symbols. FEC source packet format An FEC source packet is a packet to deliver an MMT protocol which is protected by FEC and is composed of an MMT payload followed by an FEC payload ID. Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

108 Signaling Message for Consumption Six messages are defined that relate to the consumption of the Package; Package Access (PA) message: It includes all tables required for Package access including MMT Package Table and Composition Information Table; MMT Composition Information (MCI) message: It includes MCI table encapsulating a complete CI or a subset of CI. It may also include MPT corresponding MCI table for fast Package consumption; MMT Package Table (MPT) message : It includes MMT Package Table providing a whole information or a part of information required for a single Package consumption; Clock Relation Information (CRI) message: it includes CRI Table providing the clock relation information used for the mapping between the NTP Clock and MPEG-2 System Time Clock; Device Capability Information (DCI) message: it includes DCI table providing the required device capability information for a Package consumption; Security Software Request (SSWR) message: it is used to request security software for consuming MMT Package or Asset by a MMT receiving entity. It can also include PA table or MPT. 116 Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

109 Signaling Messages for Delivery Six messages are defined that relate to the delivery of the Package: Measurement Configuration (MC) message: it provides information to configure a measurement; Application Layer Forward Error Correction (AL-FEC) message: it provides AL-FEC configuration information; Hypothetical Receiver Buffer Model (HRBM) message: it provides information to configure HRBM operation; Automatic Repeat-Request (ARQ) message: It provides information required for ARQ operation; Reception Quality Feedback (RQF) message: It defines a format of measurement report from a receiving entity; Network Aware Media Feedback (NAMF) message: It defines a format of NAM parameter report from a receiving entity. 117 Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

110 Composition Composition Information (CI) Basic Structure of CI Example of Asset/Area/View Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

111 Composition EXAMPLE OF MMT CI DOCUMENT Composition Information (CI) 语法示例 <!-- MMT-CI:view Type --> <xsd:complextype name="mmt-ci:viewtype"> <xsd:complexcontent> <xsd:extension base="html5:htmlelementtype"> <!-- The view element inherits HTMLElement interface which is specified in of[w3c HTML5]--> <xsd:sequence> <xsd:element name="divlocation" type="mmt-ci:divlocationtype" minoccurs="1" maxoccurs="unbounded"/> </xsd:sequence> <xsd:attribute name="begin" type="mmt-ci:begintype" default="0s"/> <xsd:attribute name="end" type="mmt-ci:endtype" default="indefinite"/> <xsd:attribute name="dur" type="mmt-ci:durtype"/> <xsd:attribute name="type" type="xsd:token" fixed="simple"/> <xsd:attribute name="href" type="xlink:hreftype"/> <xsd:attribute name="show" type="xsd:token" fixed="embed"/> <xsd:attribute name="actuate" type="xlink:actuatetype" default="onrequest"/> <xsd:attribute name="viewtype" type="mmt-ci:viewtype" default="default"/> </xsd:extension> </xsd:complexcontent> </xsd:complextype> Information technology High efficiency coding and media delivery in heterogeneous environments Part 1: MPEG media transport (MMT) Retrieved:

112 小结 :MMT MMT: MPEG Media Transport 替代 MPEG-2 TS Encapsulation Delivery NTP Timestamp AL-FEC Signaling Clock Relation Information Composition HTML5 120

113 小结 : 典型多媒体系统媒体的同步 MP3 如何在播放时进行时间控制? Samples Per Frame Sampling Rate DVD/HDTV 中不同媒体流如何实现同步? ES PES TS PCR/DTS/PTS RTP/RTCP 的流同步如何实现? SSRC Identifier NTP timestamp RTP timestamp MMT: MPEG Media Transport NTP timestamp Clock Relation Information 121

114 总结 : 过去的多媒体同步研究 timeline of multimedia and synchronization technologies 2014 MMTP MPEG Media Transport Proto Intra-Stream Synchronization Intra-Media Synchronization Multiview-Videos Spatial Audios Haptic or Body Sensory Streams Intra-Bundle Synchronization Intra-Session Synchronization Evolution of Temporal Multimedia Synchronization Principles: A Historical Viewpoint 122 ACM Transactions on Multimedia Computing, Communications and Applications, Vol. 9, No. 1s, Article 34, Publication date: October 2013.

115 主要内容 什么是多媒体同步 如何描述多媒体同步 典型多媒体设备接口信号的同步机制 CD-DA 音频的流内同步 模拟电视信号的行同步与场同步 ITU-R BT. 601 数字视频图像帧的同步 HDMI 数字多媒体接口的同步 典型多媒体系统的媒体同步方法 MP3 流同步 DVD/HDTV 的流同步 基于 RTP 的流媒体同步 展望未来 123

116 IDMS (Inter-destination multimedia synchronization) End-to-end (or playout) delay variability: need for IDMS Inter-destination multimedia synchronization: schemes, use cases and standardization Multimedia Systems (2012) 18:

117 Use Case Some of the above factors that can disturb the original timing of the incoming media streams, and can be tackled either individually or in an integrated manner, are the following: Network Delay Network Jitter End-System Jitter Clock Skew Clock Drift Rate Drift Network Skew Presentation Skew Encoding used Inter-destination multimedia synchronization: schemes, use cases and standardization Multimedia Systems (2012) 18:

118 IDMS control schemes Generally, three schemes are employed to perform the IDMS control: two centralized schemes (Master/Slave or M/S Scheme and Synchronization Maestro Scheme or SMS) and one distributed scheme (Distributed Control Scheme or DCS). Inter-destination multimedia synchronization: schemes, use cases and standardization Multimedia Systems (2012) 18: IDMS control schemes

119 IDMS Standard: RTCP-based IDMS Besides standardization in ETSI TISPAN, standardization of the RTCP-based IDMS protocol is currently being carried out within the IETF. IETF: Internet Engineering Task Force ETSI: European Telecommunications Standards Institute TISPAN: Telecommunications and Internet Converged Services and Protocols for Advanced Networking 129

120 小结 :IDMS IDMS: Inter-destination multimedia synchronization Standardization: ETSI TISPAN IETF RTCP-based IDMS Future research on media synchronization, among which IDMS, is ongoing. New streaming protocols are developed and put to use, such as HTTP Adaptive Streaming, new delivery methods such as segmented video delivery are under research, and many so-called second screen applications are being developed. 130

121 将音频数据同步隐藏到帧间编码 帧内编码主要应用于整个视频序列的第一帧 I 帧以及 P 帧中的部分宏块 如果使用帧内编码宏块进行音频信号的嵌入, 既会严重影响视频图像的质量, 而且嵌入量也相对较小, 不容易满足音视频同步编码的要求 在 H.264 帧间编码中, 除了 SKIP 模式, 还有 7 种不同的编码模式 :mode1 (Inter16 16) mode2 (Inter16 8) mode3 (Inter8 16) mode4 (Inter8 8) mode5 (Inter8 4) mode6 (Inter4 8) 以及 mode7 (Inter4 4) 作者利用帧间编码模式的多样性, 使得帧间编码模式和要嵌入的音频信号之间产生映射关系, 使得不同的帧间编码模式携带不同的音频信息 实验结果显示不会对视频产生太大影响 131 面向 H_264 的嵌入式音视频同步编码技术研究 吉林大学, 博士论文, 李晓妮,2012 年 6 月

122 自动读谱演奏? 132

123 分布式系统同步示例 TrueTime of Google Spanner 谷歌在其 Spanner 数据中心里配备了自己的原子钟和 GPS( 全球定位系统 ) 接收器 这些时间协调装置会连接到特定数量的主服务器, 然后再由主服务器向整个谷歌网络中运行的其他电脑传输时间读数 Spanner 数据库中, 谷歌摒弃了传统的 网络时间协议, 转而使用自己的 TrueTime API Spanner: Google s Globally-Distributed Database OSDI(Operating Systems Design and Implementation) Oct

124 多个媒体流内容的自动同步 Synchronization of Multiple Videos 不同来源视频的自动同步 球场上多个角度不同摄像头录制的视频 家庭中某事件多个 DV 的拍摄结果 难点分析 视角不同导致对视频 / 音频信号的对比无法进行 需要寻找一个特征 该文作者利用摄像时候的闪光灯信息实现了多个视频源的同步 Synchronization of Multiple Camera Videos Using Audio-Visual Features IEEE TRANSACTIONS ON MULTIMEDIA, VOL. 12, NO. 1, JANUARY Philips Research, Eindhoven, The Netherlands

125 Synchronization of Multiple Camera Videos N.J. Bryan, P. Smaragdis, and G.J. Mysore, Clustering and Synchronizing Multi- Camera Video via Landmark Cross-Correlation, Proc. IEEE Int l Conf. Acoustic, Speech, and Signal Processing (ICASSP), 2012, pp A. Bagri et al., A Scalable Framework for Joint Clustering and Synchronizing Multi- Camera Videos, European Signal Processing Conf. (EUSIPCO), K. Su et al., Making a Scene: Alignment of Complete Sets of Clips based on Pairwise Audio Match, Proc. 2nd ACM Int l Conf. Multimedia Retrieval (ICMR), 2012; doi: / P. Shrestha et al., Synchronization of Multiple Camera Videos Using Audio-Visual Features, IEEE Trans. Multimedia, vol. 12, no. 1, 2010, pp A. Llagostera Casanovas and A. Cavallaro, Audio-Visual Events for Multi-Camera Synchronization, Multimedia Tools and Applications, 2014, pp P. Sidiropoulos et al., Temporal Video Segmentation to Scenes Using High-Level Audiovisual Features, IEEE Trans. Circuits and Systems for Video Technology, vol. 21, no. 8, 2011, pp Dimoulas, C.A, Symeonidis, A.L., "Syncing Shared Multimedia through Audiovisual Bimodal Segmentation", MultiMedia, IEEE (Volume:22, Issue: 3 ) July-Sept

126 Synchronization of Two Independently Moving Cameras without Feature Correspondences Unlike previous methods, which require the existence of correspondences between features tracked in the two sequences, and/or that the cameras are static or jointly moving, the proposed approach does not impose any of these constraints. It works when the cameras move independently, even if different features are tracked in the two sequences. The assumptions underlying the proposed strategy are that the intrinsic parameters of the cameras are known and that two rigid objects, with independent motions on the scene, are visible in both sequences. The relative motion between these objects is used as clue for the synchronization. Synchronization of Two Independently Moving Cameras without Feature Correspondences ECCV 2014, European Conference on Computer Vision( 欧洲计算机视觉国际会议 136 ), 两年一次, 是计算机视觉三大会议 ( 另外两个是 ICCV 和 CVPR) 之一

127 多光谱图像配准 137

128 不同便携设备采集数据的同步 Traditional applications directly deal with raw data, regardless of whether there are discrepancies, thus lead to inaccurate analysis results. In this context, to improve the quality of the data and make the results more reliable, it is necessary to consider the time discrepancy among multiple wearable devices. Analysis of Temporal Features in Data Streams from Multiple Wearable Devices International Workshop on Human Behavior Understanding,

129 社交媒体内容的同步 Social Media Synchronization 例 :Tag Cloud 含义的统一 多协议 IM Tool 如 Miranda :AIM, Gadu-Gadu, ICQ, IRC, Jabber, MSN, Yahoo! 多个博客的同步发布 139

130 云存储 : 文件的同步 / 备份 140

131 云存储同步性能 In this paper, we identify, analyze, and address the synchronization (sync) inefficiency problem of modern mobile cloud storage services. Our measurement results demonstrate that existing commercial sync services fail to make full use of available bandwidth, and generate a large amount of unnecessary sync traffic in certain circumstances even though the incremental sync is implemented. QuickSync: Improving Synchronization Efficiency for Mobile Cloud Storage Services IEEE TRANSACTIONS ON MOBILE COMPUTING, VOL. 16, NO. 12, DECEMBER

132 说者 听者脑电的同步 Results show that brain oscillations are synchronized between listener and speaker during oral narratives. This interpersonal synchronization is mediated in part by a lowerlevel sensory mechanism of speech-to-brain synchronization, but also by the interactive process that takes place in the situation per se. 142 Brain-to-brain entrainment: EEG interbrain synchronization while speaking and listening Dec 2016

133 内容理解帮助 TextWeb VisualWeb Let sweave the VisualWeb A new paradigm will connect visual and other documents, connecting photos, videos, text, and all other information sources. Where was this photo taken? What was the event? Do I have other photos from the event? Who is the first person on the left in the photo, and who are the people sitting next to me? Do I have other photos of these people? I vaguely recall doing something interesting after the event what did I do? Do I have photos of that event? Was the beer good? Where can I buy it in US? Those are nice name tags. Where were they made? Let s Weave the VisualWeb, IEEE Multimedia, July September

134 内容理解帮助 TextWeb VisualWeb Let s Weave the VisualWeb Figure 3. The Krumbs app: (a) Moment capture is done using an emoji that associates with the moment the intent/reaction of the person. (b) Each moment captured has the photo and its associated links. (c) The gallery resulting from each association includes a search icon that takes you to the search environment for Krumbs (top green arrow) and a steering wheel for finding how many moments are associated with each link (lower green arrow). Let sweave the VisualWeb, IEEE Multimedia, July September

135 Distributed Theatre This system automatically framed camera views in real time and, for the two performance spaces, rendered images onto screens that were built into the sets. A third rendition was then created for the home viewer. All the video and audio signals traveled via a server in London, covering 300 miles to link the two stages, which were located approximately 300 yards apart. 145 Experiments with Distributed Theatre, IEEE Multimedia, July September 2015

136 从空间区域看用户群体行为 通过 WiFi 热点的流量将具有类似行为的用户进行聚类, 即刻画用户的群体行为 track the attention of the crowds during the 2006 FIFAWorld Cup final F. Calabrese et al., Eigenplaces: Segmenting Space through Digital Signatures, IEEE Pervasive Computing, vol. 9, no. 1, 2010, pp 通过分析社交媒体 ( 如 Twitter) 的 footprint( 如关键字标注 ) 对聚类后的人群所讨论的话题内容进行分析 CitySensing: Fusing City Data for Visual Storytelling, IEEE Multimedia, July September

137 通过 social media 的 footprint 挖掘时空关系 147 CitySensing: Fusing City Data for Visual Storytelling, IEEE Multimedia, July September 2015

138 分布式多媒体同步的新问题 点到点系统 时间 流内同步 (Intra-stream Synchronization) 是指在单一连接上的单一媒体流内各个媒体单元之间存在的时间关系 流间同步 (Inter-stream Synchronization) 是指在多个连接上的相关媒体流之间存在的时间关系 多点系统 : 用户间的同步 空间 一个发送者, 多个接收者之间的同步 多个发送者, 一个接收者同步不同来源的信息 多个发送者, 多个接收者情形 内容同步 : 在内容理解的基础上 语义 多源信息融合? 148 多点参与的系统约始于 2000, 内容同步约始于 2010

139 总结 : 多媒体同步 什么是多媒体同步 时间 空间 ; 同步容限 如何描述多媒体同步 SMIL 基于 Petri Net 的并发系统描述 典型多媒体设备接口信号的同步机制 行消隐 场消隐 消隐信号持续时间传送音频等信息 典型多媒体系统的媒体同步方法 各种时间戳的产生机制和时间计量方法 MPEG2-TS RTP( 网络友好的 H.264) MMT 展望未来 : 时间 / 空间 / 内容 / 设备 多维度的同步? 149

140 谢谢大家! 多媒体通信 第三章多媒体同步机制 150