High-Definition Video Deinterlacing Using FPGAs

Size: px

Start display at page:

Download "High-Definition Video Deinterlacing Using FPGAs"

停巍国
5 years ago
Views:

1 白皮书使用 FPGA 实现高清晰视频去隔行功能本白皮书介绍各种去隔行技术, 以及怎样使用 Altera 的视频和图像处理 IP 包来实现这些技术采用视频设计方法, 设计人员在实现不同的去隔行算法时, 能够综合考虑各种硬件方案引言开发去隔行算法是为了解决一个老问题 : 模拟电视的隔行视频必须进行转换才能在当今数字电视上显示隔行视频是每秒 50/60 连续场, 每一场只传送一半的扫描行, 这些行显示在视频的每一帧中对于以前采用阴极射线管 (CRT) 的显示技术, 隔行视频是一种基本压缩方法今天, 去隔行是重要的视频处理功能, 很多系统都需要它大部分视频内容采用了隔行格式, 而 LCD 或者等离子体等所有新出现的显示器几乎都需要逐行视频输入但是, 去隔行功能本质上非常复杂, 没有一种算法能够产生完美的逐行图像背景在隔行视频中, 一帧视频被分成两场, 一场含有偶数行扫描线, 一场含有奇数行扫描线然而, 为了能够在 LCD 或者等离子体显示器上显示任意的隔行视频, 必须进行去隔行处理所有新出现的显示器都是逐行的, 每一帧被压缩为一组像素 ( 例如, 1920 x 1080) 图 1 显示了一帧中的象素是怎样组成两个场的每一场都记录了在时间上分开的象素值图 1. 含有一帧视频的两个隔行场 Field 1 Field 2 如果假设每秒 30 帧 (fps), 即每秒 60 场, 那么, 第 0 场是在时间 t, 第 1 场是在时间 t + 1/60 由于在略有不同的时间间隔上对场进行记录, 因此, 无法将两个场连起来为运动视频产生逐行帧去隔行技术之所以复杂, 是因为需要估算并补偿可能出现的每秒 1/60 的运动图像基本去隔行技术基本上, 去隔行是处理隔行帧流, 将其转换为逐行帧流的过程两种基本的去隔行方法通常被称为单场插值法和场合并法采用单场插值去隔行法, 每一场自己可以变成视频帧, 因此, fps 隔行 NTSC 剪辑视频流变成了 fps 的逐行帧由于每一场只有整个帧一半的扫描线, 因此, 必须进行插值处理来构成丢失的扫描线 WP 年 10 月, 1.0 版 1

2 使用 FPGA 实现高清晰视频去隔行功能 Altera 公司也可以说, 单场插值去隔行技术是在空间上将扫描线加倍, 每一场的扫描线被加倍所产生的新行既可以是简单的复制前一行 ( 扫描线复制 ), 也可以是前后行的平均值 ( 扫描线插值 ), 如图 2 所示当图像亮度变化比较平稳时, 单场插值去隔行技术的结果比较好, 但是由于该技术降低了垂直分辨率, 因此, 图像变得更柔和图 2. 单场插值去隔行采用的两种方法 Scan line duplication Scan line interpolation 去隔行场合并技术涉及到将两个场进行合并, 这两个在时间上分开的场形成一个完整的帧, 如图 3 所示如果在两场分开的 1/60 秒内, 图像没有运动部分 ( 对于 NTSC 视频 ), 那么, 场合并的结果比较好有时候, 当一对隔行场来自最初的逐行帧时, 场合并算法结果会非常好但是, 如果有运动部分时, 会出现锯齿等假像图 3. 场合并去隔行技术将两个场组合起来, 会导致锯齿假像单场插值法和场合并法去隔行法都会影响图像质量, 特别是图像有运动部分时单场插值法柔和了图像, 场合并法会产生粗糙的图像, 或者锯齿假像图 4 对比了单场插值法生成的图像和场合并去隔行法生成的图像 2

可以同时采用前面介绍的两种方法, 首先计算视频前后帧之间是否有运动图像, 从而产生质量更好的去隔行结果

运动自适应去隔行法的关键是进行精确的运动探测, 这一般通过对比前后帧 m x n 像素矩阵来实现采用

3 Altera 公司使用 FPGA 实现高清晰视频去隔行功能图 4. 单场插值 ( 左侧 ) 和场合并 ( 右侧 ) 去隔行技术的不同高级去隔行技术很明显, 可以同时采用前面介绍的两种方法, 首先计算视频前后帧之间是否有运动图像, 从而产生质量更好的去隔行结果该方法对于静止区域采用场合并法, 而有运动的部分采用单场插值法, 因此, 被称为运动自适应去隔行法运动自适应去隔行法的关键是进行精确的运动探测, 这一般通过对比前后帧 m x n 像素矩阵来实现采用 Altera 的视频和图像处理知识产权 (IP) 包 (VIP) 提供的去隔行器来实现这一简单的运动自适应去隔行算法 : 1. 采集来自当前场的像素以及前面的三个像素, 如图 5 所示这些像素会产生两帧, 当前帧和前一帧 2. 将这些像素组合成两组 3 3 像素, 当前帧一组, 前一帧一组 3. 计算两帧之间像素值 ( 也称为运动值 ) 的差图 5. 采集像素用于计算运动部分 3

使用 FPGA 实现高清晰视频去隔行功能 Altera 公司所计算的运动值可以用于对比前面产生的运动值, 也可以直接用作前一运动值如果前一运动值较大, 那么, 调整当前运动值, 使其处于计算值和前一值之间由于采用了前面多个帧中的运动值, 因此, 多进行的计算也被称为运动补偿它呈指数变化 ; 处理一次运动后, 场合并再次稳定之前可能需要 3 到 10 帧的时间在每一种情况下,

4 使用 FPGA 实现高清晰视频去隔行功能 Altera 公司所计算的运动值可以用于对比前面产生的运动值, 也可以直接用作前一运动值如果前一运动值较大, 那么, 调整当前运动值, 使其处于计算值和前一值之间由于采用了前面多个帧中的运动值, 因此, 多进行的计算也被称为运动补偿它呈指数变化 ; 处理一次运动后, 场合并再次稳定之前可能需要 3 到 10 帧的时间在每一种情况下, 根据运动值, 选择场合并算法, 或者通过前后像素空间插值来计算新像素下面简单的方程计算了插值或者场合并算法生成新像素的加权平均值 ( 前一场输出像素 ): Upper Pixel Lower Pixel Output Pixel = M ( 1 M) Still Pixel 2 Altera 的去隔行器 Altera 的 VIP 包提供视频和图像处理 IP 内核库, 设计用于方便实现即插即用型接口处理包提供从颜色空间转换器到多相缩放器和移动自适应去隔行器等各种 IP 如图 6 所示, VIP 包提供的去隔行器 MegaCore 功能支持 4 种去隔行方法 : 带有扫描线复制功能的单场插值法带有扫描线插值功能的单场插值法场合并运动自适应图 6. Altera 的去隔行 MegaCore 功能 4

5 Altera 公司使用 FPGA 实现高清晰视频去隔行功能支持扫描线复制算法的去隔行器 MegaCore 功能实现的单场插值去隔行法在逻辑上最简单, 也最便宜简单的重复当前场每一行两次就可以产生输出帧如果采用的输出帧速率与输入帧速率相同, 由于只使用了当前场, 因此, 可以丢掉一半的输入场对于支持扫描线插值算法的去隔行器 MegaCore 功能实现的单场插值去隔行法, 其逻辑成本稍高于扫描线复制单场插值去隔行法, 但是质量明显要好很多前后扫描线的线性插值填充当前场丢失扫描线, 从而建立输出帧在 F1 场的顶部或者 F0 场的底部, 只有一条扫描线, 这条线被复制如果采用的输出帧速率与输入帧速率相同, 由于只使用了当前场, 因此, 可以丢掉一半的输入场场合并去隔行法采用前一场中的扫描线填充当前场中所有丢失扫描线, 从而建立输出帧该方法对图像的静态部分会产生较好的结果, 但是对运动图像会带来假象然而, 场合并算法需要外部存储器, 因此, 必须选用双缓冲或者三缓冲这要比单场插值算法占用更多的逻辑单元和外部 RAM 带宽当一对隔行场来自最初的逐行帧时, 场合并算法结果会非常好场合并去隔行方法简单的将帧合在一起, 结果与最初的一样去隔行器 MegaCore 功能提供简单的运动自适应算法这在逻辑占用和外部存储器带宽要求上最复杂也是最昂贵的算法该算法针对图像的运动部分进行单场插值去隔行处理, 对静态区域使用场合并去隔行法, 从而避免了单场插值和场合并算法的缺点在前面的章节中对该算法进行了解释此外, 去隔行器 MegaCore 功能还可以在外部 RAM 中提供双缓冲或者三缓冲运动自适应和场合并方法需要采用缓冲, 单场插值方法可以选择使用缓冲可以将去隔行器配置为为每一输入场产生一个输出帧, 或者为每一输入帧产生一个输出帧 ( 两场构成一对 ) 场格式转换节奏探测隔行视频要比只传送奇偶场复杂得多运动摄影图像是逐行的, 基于 24 fps, 而 NTSC 格式是每秒 60 场这意味着将运动摄影图像转换为隔行视频会产生更复杂的场格式转换节奏问题将运动摄影图像转换为隔行视频时, 每一逐行帧被转换成两场, 24 fps 被转换为每秒 48 场为能够将 48 场提高到所需要的 60 场, 采用了 3:2 下拉技术, 即, 场格式转换节奏, 它从一个影片帧中产生 3 场, 从另一影片帧中产生 2 场, 如图 7 所示 5

6 使用 FPGA 实现高清晰视频去隔行功能 Altera 公司图 7. 3:2 场格式转换从两帧视频中产生 5 场, 从 24 帧视频中产生 60 场有时候会提取出第十二场, 以加速影片, 将其插到某一时间片中虽然普通观众很难注意到这一点, 但它导致了 3:2:3:2:2 的场格式转换节奏 : 帧 1: 3 场帧 2: 2 场帧 3: 3 场帧 4: 2 场帧 5: 2 场重复虽然 24 fps 影片及其相关的 3:2 视频场格式转换节奏是最常用的格式, 而专业摄像和各种类型的视频处理使用不同类型的场格式转换节奏由于必须对比前后输入场, 探测场格式转换节奏, 因此, 对于去隔行器而言具有一定的难度大部分去隔行器能够探测常用的 3:2 场格式转换节奏, 采用合适的去隔行技术然而, 如果没有探测到内部场格式转换节奏, 可能会导致视频数据的丢失而且, 一部分帧有可能是 3:2 场格式转换节奏, 而其他部分是直接隔行的 ( 例如, 一段影片插入到隔行视频中 ) 为能够探测并正确的对这类源进行去隔行, 要求去隔行器支持每像素场格式转换节奏探测所有这些都增加了系统的复杂度, 包括逻辑和外部存储器访问等 6

7 Altera 公司使用 FPGA 实现高清晰视频去隔行功能运动补偿去隔行运动补偿去隔行是目前最先进的去隔行技术本文没有对其进行详细阐述, 它使用视频压缩常用的运动补偿技术该技术一次处理多个场, 以确定一块像素的运动部分, 然后移动像素, 补偿运动部分这类去隔行技术计算量非常大, 但输出质量是最好的硬件考虑去隔行器适合通过硬件实现, 一般采用 FPGA 实现复杂的高清晰 (HD) 去隔行器开发高效去隔行器的关键硬件资源是存储器需要片内存储器来存储不同场的 m n 像素块 ( 计算的运动值矩阵以及前一运动值矩阵 ), 同时还需要外部 ( 通常是 DDR) 存储器来存储多个输入视频场以及计算的帧表 1 列出了采用 Altera Cyclone III 和 Stratix III FPGA 实现 PAL 视频源运动自适应去隔行算法需要的资源该表对比了运动自适应方法需要的资源以及简单场合并方法所需要的资源请注意, 场合并技术即使用在分辨率较高的图像上, 需要的存储器也很少表 1. 在 FPGA 架构上实现去隔行功能需要的硬件资源器件系列组合 LUT/ALUT 此外, 去隔行器经常要访问外部存储器, 因此, 设计去隔行器时需要重点考虑存储器带宽缓冲一场 480i 视频源需要 Mbps: ( pixels/field) ( 16 bits/pixel) ( fields/sec) = Mbps 逐行帧的带宽加倍, HD 视频的带宽会更大计算带宽时, 需要计算去隔行器要访问的帧数, 然后加上总带宽将其与需要的 DDR 存储器接口带宽相比较, 它取决于吞吐量以及存储器接口位宽结论逻辑寄存器存储器 DSP 模块 ALUT Bits M9K (9x9) (18x18) f MAX (MHz) 去隔行 PAL (720x576), 8 位 Y CbCr 4:4:4 颜色, 使用了运动自适应算法 Cyclone III Stratix III 去隔行 HDTV 1080i 分辨率, 23 位 Y CbCr 4:4:4 颜色, 使用场合并算法 Cyclone III Stratix III 对于很多基础设施军事应用以及工业系统, FPGA 是实现高质量视频去隔行功能的理想平台系统需求决定了所采用的去隔行算法的复杂度, 而 Altera Cyclone III 和 Stratix III FPGA 以及 VIP IP 包可以提供完善的去隔行解决方案来帮助设计人员开始进行设计在开始视频系统设计之前, 请首先了解 FPGA 业界规模最大最复杂的组合视频解决方案 Altera VIP 包所开发的 IP 内核接口标准和系统级设计工具组合支持即插即用视频系统设计流程 Altera 提供全套的视频功能 IP 模块, 可以将其连接在一起, 用于设计和构建视频系统此外, VIP 包完成的设计是开放的, 设计人员很容易采用定制功能模块来替代 Altera IP 7

8 使用 FPGA 实现高清晰视频去隔行功能 Altera 公司详细信息 Altera 视频解决方案 : Altera 视频和图像处理 MegaCore 功能包 : 视频和图像处理包用户指南 : 致谢 Suhel Dhanani, DSP 营销高级经理, Altera 公司 101 Innovation Drive San Jose, CA 版权 2009 Altera 公司保留所有版权 Altera 可编程解决方案公司程式化 Altera 标识专用器件名称和所有其他专有商标或者服务标记, 除非特别声明, 均为 Altera 公司在美国和其他国家的商标和服务标记所有其他产品或者服务名称的所有权属于其各自持有人 Altera 产品受美国和其他国家多种专利未决应用模板著作权和版权的保护 Altera 保证当前规范下的半导体产品性能与 Altera 标准质保一致, 但是保留对产品和服务在没有事先通知时的升级变更权利除非与 Altera 公司的书面条款完全一致, 否则 Altera 不承担由此处所述信息产品或者服务导致的责任 Altera 建议客户在决定购买产品或者服务, 以及确信任何公开信息之前, 阅读 Altera 最新版的器件规范说明 8

Achieving One TeraFLOPS with 28-nm FPGAs

Achieving One TeraFLOPS with 28-nm FPGAs 28nm FPGA TeraFLOPS WP011421.0 DSP 101 Innovation Drive San Jose, CA 95134 www.altera.com 2010 Altera ALTERA ARRIA CYCLONE HARDCOPY MAX MEGACORE NIOS QUARTUS STRATIX Altera www.altera.com/common/legal.html