Video Coding 視訊媒體 Unit 10 Video Coding 1
Contents Introductions Motion-compensated Coding MPEG-1/2 Coding Motion Estimation Algorithm Introduction to MPEG-X applications Unit 10 Video Coding 2
Introductions 利用人類視覺暫留原理, 將靜態畫面以很快的速度播放, 產生動態的效果 電視系統上, 類比視訊規格主要分為 NTSC 和 PAL 兩種常見系統 以及不太常見的 SECAM 系統 F7842A 多媒體導論與應用 - 第三版 3
Introductions NTSC 為 美國國家規格委員會 所制定, 目前採用此規格的有北美及台灣 菲律賓 日本等國家,NTSC 制每秒的播放速度是 29.97 個畫面 (29.97 fps - frames per second) PAL (Phase Alternation Line 之縮寫 ) 為歐盟各國所共同制定, 目前採用的國家及地區有歐洲 澳洲 東南亞 ( 菲律賓除外 ) 大陸等區域,PAL 制每秒的播放速度是 25 個畫面 SECAM (Sequentiel Colures A Memoire 之縮寫 ) 由法國所制定, 目前僅用在法國 蘇聯 非洲等國家,SECAM 制每秒的播放速度是 25 個畫面 F7842A 多媒體導論與應用 - 第三版 4
4.1.3 視訊的數位化 ( 量化 ) 畫面的儲存 視訊的原理在於利用肉眼的視覺暫留, 為求得 連續 的效果, 因此影像播放速度需要很快, 如類似 NTSC 規格, 可達到每秒鐘三十張影像 一分鐘的影片就要耗掉 1800 352 240 3 ( 共約 435 Mega) Bytes 的儲存空間 龐大的資料量在儲存及應用上將會造成很大的不便 F7842A 多媒體導論與應用 - 第三版 5
4.1.3 視訊的數位化 ( 量化 ) 影響視訊資料儲存空間的主要因素 單一影像畫格 (Frame) 的儲存空間 儲存影像的張數 視訊壓縮 減少單一影像的儲存空間 減少儲存的影像張數 因此, 不需要將每張影像都記錄下來, 只需從影像序列當中挑出一些關鍵畫格 (Key frame), 利用影像壓縮的方式加以儲存 ; 而介於關鍵畫格之間的其他畫格, 則只需儲存與關鍵畫格影像之間的差異資訊即可 F7842A 多媒體導論與應用 - 第三版 6
視訊壓縮 Inter-frame redundancy very insensitive to high spatial and temporal frequency Unit 10 Video Coding 7
Frame t-1 difference Frame t Unit 10 Video Coding 8
Motion Compensated Coding Intra-frame Coding (JPEG) Inter-frame Coding (motion estimation/compensation) Unit 10 Video Coding 9
4.2.1 MPEG 系列 MPEG-1(Motion Picture Expert Group) 於影像序列的儲存方面, 分別以 I 畫格 (Intra Frame) P 畫格 (Predicted frame) 以及 B 畫格 (Bi-directional frame) 來儲存每一個畫面 兩個 I Frame 之間稱為一個 GOP(Group of Picture) F7842A 多媒體導論與應用 - 第三版 10
MPEG-1/2 I-frames No temporal redundancy reduction Has the highest bit count For random access, FF, REW features P-frames Forward motion-compensated prediction B-frames Both forward and backward motion-compensated prediction Usually results in the lowest bit count Increase delay Unit 10 Video Coding 11
MPEG-1/2 I-frame JPEG DCT like Highest data rate Random access 16 巨方塊 8 Y Y Cr Cb Y Y Unit 10 Video Coding 12
Color Space Conversion and Subsampling of Chrominance Information Unit 10 Video Coding 13
Color Space Conversion and Subsampling of Chrominance Information Chrominance Sampling : Y : Cb, Cr 4:2:0 4:2:2 4:4:4 Unit 10 Video Coding 14
Intra-frame coding DCT-Based Encoder(JPEG) Unit 10 Video Coding 15
Intra-frame Coding DCT-Based Decoder Unit 10 Video Coding 16
Inter-frame coding framework Motion vector Unit 10 Video Coding 17
Inter-frame coding Motion Estimation and Compensation 目前之畫面 + _ 誤差影像 畫面編碼器畫面編碼器 傳輸線 動作向量 動作估計動作估計 動作補償預測器動作補償預測器 前一個編碼過之畫面前一個編碼過之畫面 Unit 10 Video Coding 18
Motion Estimation Search window Unit 10 Video Coding 19
Motion Vectors Block size 8x8 Search window size 15x15 Unit 10 Video Coding 20
Motion compensation Unit 10 Video Coding 21
Effect of motion prediction Original difference MSE=129.83 Predicted error MSE = 77.50 MSE is mean square error. Unit 10 Video Coding 22
Inter-frame coding Motion Compensation Unit 10 Video Coding 23
MPEG-1/2 Results Bit rate (Mbits/s) SIF-30 ~ CVGA CCIR 601 29.97 FPS ~VGA HDTV 29.97 FPS HDTV 60 FPS ~SVGA pels 352 720 1920 1280 Lines 240 480 1080 720 Original bit rates (Mbps) 30.4 121.5 745.7 663.6 1.1 Mbps Good Poor 4.0 Mbps Excellent Good 9.0 Mbps Excellent ++ Excellent 18.0 Mbps Excellent++ Good Good 28.0 Mbps Excellent Excellent Unit 10 Video Coding 24
MPEG-X MPEG-1 (ISO/IEC 11172, Nov 92) Compression standard for progressive frame-based video in SIF(360 240), targeted at 1.5 Mbits/s ~1.2 Mbits/s for video, ~250 Kbits/s for audio Applications : VCD, MP3 MPEG-2 (ISO/IEC 13818, Nov 94) Compression standard for interlaced frame-based video in CCIR-601(720 480) and high definition format(1920 1088), wide range of bit rates 4 to 80 Mbits/s Optimized around 4 Mbits/s Applications : DVD, HDTV Studio, and etc Unit 10 Video Coding 25
MPEG-X MPEG-4 (ISO/IEC 14496, Oct 98) Multimedia standard for object-based video for nature or synthetic source Coding for various bandwidth (5 Kbps ~270 Mbps) Applications : Internet, cable TV, 3G wireless communication, and etc MPEG-7 (ongoing) Multimedia content description interface Applications : Internet, video search engine, digital library Specify only bitstream syntax and decoding Unit 10 Video Coding 26
4.2.2 其他視訊檔案格式 AVI (Audio Video Interleave) 微軟公司所開發出來的一種視訊格式 採用 RIFF (Resource Interchange File Format) 格式, 這使得它的播放較為容易 可以將各媒體資料以資料流 (Data Stream) 的方式儲存 Interleave 意指音訊資料是與視訊資料一起交錯安排, 使得它們可以天衣無縫的一起播放 Windows 作業平台上最廣泛被運用的音訊 / 視訊格式 格式中只描述了音訊以及視訊資料流儲存在檔案之中的結構, 並未特別指定它編碼的方式, 因此它可以透過許多不同的編碼方式加以儲存 一般的 AVI 檔案可以未經壓縮或是透過任一種 codec ( 編碼與解碼工具 ) 來壓縮編碼 F7842A 多媒體導論與應用 - 第三版 27
4.2.2 其他視訊檔案格式 Quick Time QuickTime 是由 Apple 公司在 1991 年開發出來的視訊檔案格式 ( 副檔名為.mov) 必須要搭配使用 QuickTime 播放軟體才可觀看其內容 QuickTime 並沒有限定視訊資料必須使用何種壓縮格式, 它只定義了視訊的結構 QuickTime 多半還是使用 Apple 本身的視訊編碼技術, 具備有串流的效果 28 F78 42A 多媒體導論與應用 - 第三版
4.2.2 其他視訊檔案格式 串流格式媒體 透過通信網路, 由伺服器將影音檔案傳送並分解成許多小封包 (Packets), 產生連續不間斷的訊號流 訊號流到用戶端之後, 再利用媒體播放程式將這些封包一一重組與呈現 使用者不需將檔案完全下載完成就可開始播放 播放中一邊繼續接收未播放的片段 節省等候時間 29 F78 42A 多媒體導論與應用 - 第三版
4.4 電腦上的視訊播放 一般視訊資料可透過 Windows 系統內建的媒體播放程式 Windows Media Player 來播放 Microsoft Windows Media 格式 ( 副檔名為 avi asf asx rmi wav wma wax 等 ) Moving Pictures Experts Group - MPEG 壓縮系列 ( 副檔名為 mpg mpeg m1v mp2 mp3 mpa mpe 等 ) Musical Instrument Digital Interface - MIDI 格式 ( 副檔名為 mid rmi 等 ) 30 F78 42A 多媒體導論 與應用 - 第三版
4.4 電腦上的視訊播放 Windows Media Player 也可以藉由擴充 codec 的方式來播放 DivX 格式的 AVI 檔 或是 MPEG-4 格式的 WMV 檔 31 F78 42A 多媒體導論與應用 - 第三版
上機作業 視訊媒體製作 錄製兩段以上長 2 分鐘左右的影片 將影片剪輯加片頭片尾 ( 影像 ) 加轉場特效 加標題字 加背景音樂 加部分旁白 轉為 mpeg 檔輸出 Unit 10 Video Coding 32