Microsoft Word - A doc

Size: px

Start display at page:

Download "Microsoft Word - A doc"

拦卿柏
5 years ago
Views:

1 基于 FPGA 的图像采集系统的色彩空间转换肖文娟, 赵冠楠, 梁凤梅太原理工大学信息工程学院, 太原 (03004) 摘要 : 基于 Xilinx 公司的 Spartan- 3e 系列 FPGA xc3s50e-5pq08 完成了图像采集系统的色彩空间转换, 将输入分辨率为 04*768 的 YCbCr(4::) 格式图像信号转换成 RGB(8:8:8) 格式图像信号整个设计采用 VHDL 语言描述, 经过逻辑优化, 该转换有着比同类转换精度高占用内存资源少等优点关键词 : 图像采集系统 ;FPGA;VHDL; 色彩空间转换引言随着微处理器专用逻辑器件以及 DSP 算法以 IP 核的形式嵌入到 FPGA 中, FPGA 可实现的功能越来越强, 使得 FPGA 在现代图像处理领域中发挥着越来越重要的作用 [] 本文中的图像采集系统就是基于 FPGA 的, 图像传感器采集到的图像经 A/D 转换后输出 YCbCr 格式的信号, 但是很多显示器只支持 RGB 格式的信号, 所以需要基于 FPGA 实现色彩空间的转换图像传感器 A/D YCbCr FPGA D/ A VGA 显示器 RGB MT9D DDR SDRAM 图系统硬件框图基于 FPGA 的图像采集系统简介图像采集系统的色彩空间转换是基于 Xilinx 公司的 Spartan-3e 系列 FPGA xc3s50e-5pq08 [], 此 FPGA 逻辑资源丰富, 其内有 5 万个系统门,5508 个逻辑单元 ( LC), 6 个可配置逻辑快 ( CLB),6Kbit 的块 RAM, 最多有 58 个可用的 I/O 该系统选用了美光的 CMOS 图像传感器 MT9D [3], 它高速的处理能力使得视频帧率非常高, 可以达到 30fps( ) 5fps( 最大分辨率 ) 其中 D/A 模块采用了 ADV75, 其输入信号要求是 RGB(8:8:8) 格式系统利用 DDR SDRAM 作为帧缓冲, 在处理图像数据的时候, 先将 first frame 图像数据存放在 DDR SDRAM 中, 然后接收 second frame, 同时去处理 first frame [4] 图像传感器采集到的原始图像数据, 经过 A/D 转换后输出每秒 5 帧分辨率为的 YCbCr(4::) 格式的图像数据在 FPGA 中完成 YCbCr(4::) 到 RGB(8:8:8) 色彩空间的转换输出的数字图像数据信号经 D/A 转换后生成 RGB 真彩模拟信号, 通过 VGA 接口使图像传感器采集到的高分辨率的图像数据在 VGA 显示器上实时显示 --

2 3 色彩空间色域 (Color Space), 又被称为色彩空间, 它代表一个色彩影像所能表现的色彩的具体情况我们经常用到的色彩空间主要有 RGB YCbCr CMYK YIQ 等其中 RGB 用于彩色监视器和一大类彩色视频摄像机 YCbCr 则是在世界数字组织视频标准研制过程中作为 ITU - R BT60 建议的一部分, 它有 4:4:4, 4::, 4::,4::0 几种采样格式, 其中 YCbCr (4::) 是 DVD 数字电视 HDTV 以及其它消费类视频设备的最常用格式 CMYK 多用于印刷业,YIQ 色彩系统通常被北美的电视系统所采用 ( 属于 NTSC 系统 ) 在图像的处理过程中,RGB 在产生任何一种颜色时其三色都需要同样的带宽, 处理效率不高 ; 而 YCbCr 则有着很高的压缩率和传输率所以在图像处理过程中, 很多时候也要用到 YCbCr 与 RGB 色彩空间的转换 [5] 4 YCbCr 与 RGB 色彩空间转换原理 CMOS 图像传感器 MT9D 输出 YCbCr(4::) 格式的数据信号,Y 的范围是 (6,35), Cb 和 Cr 的范围是 (6,40) YCbCr(4::) 存放的码流如表, 映射出的像素点如表所示表 YCbCr 存放的码流表 YCbCr 映射出的像素点 YCbCr 色空间到 RGB 色空间的转换公式为 [6] ( 伽玛校正后 ): R=.64( Y 6) +.596( Cr 8) G =.64( Y 6) 0.83( Cr 8) 0.39( Cb 8) () B=.64( Y 6) +.07( Cb 8) 本转换要对运算结果进行四舍五入, 为了提高运算精度, 在等式中加 0.5 同时为了防止相减后为负溢出, 公式变形如下 : R =.64Y +.596Cr G =.64Y 0.83Cr 0.39Cb () B =.64Y +.07Cb 用硬件描述语言在 FPGA 中实现小数乘法, 通常需要将小数转化为的整数倍幂次方, 取整进行乘法运算后将结果进行移位本转换运算精度取位, 这样公式便转化为 : R= [(384 Y Cr ) ] G = [(384 Y ) (665 Cr Cb )] (3) B= [(384 Y + 43 Cb ) 56586] 根据表达式 (3) 可以画出 YCbCr 到 RGB 色空间转换框图输入的 8bit Y Cb Cr 信号分量分别乘系数后转换成 3bit 信号, 再将各分量加减, 最后通过移位输出 8bitR G B --

3 信号图是 G 分量的转换过程,R B 分量转换过程类似图 YCbCr 到 RGB 色空间转换 (G 分量转换 ) 框图 5 YCbCr 到 RGB 色彩空间转换的 VHDL 语言实现本转换采用 VHDL 语言描述, 功能分离后按层次进行设计 [7] VHDL 文件层次结构如图 3 所示, 顶层文件为 yuvtorgb, 低层文件 cscc const_multi 实现了格式转换及乘系数运算下面给出部分程序, 以 G 分量的转换为例顶层文件 yuvtorgb ( 调用文件 cscc) 调用低层文件 cscc ( 调用文件 const_multi) 调用低层文件 const_multi 图 VHDL 文件层次结构 [6,7] 5. 各层次文件的部分程序 () 顶层文件 yuvtorgb port ( clock,reset : in std_logic; datain : in std_logic_vector( 3 downto 0); rout, gout, bout : out std_logic_vector( 7 downto 0) ); y <=datain( 3 downto 6); cb<=datain( 5 downto 8); cr<=datain( 7 downto 0); () 低层文件 cscc port ( clock,reset : in std_logic; y, cb, cr : in std_logic_vector( 7 downto 0); r, g, b : out std_logic_vector( 7 downto 0) ); (3) 低层文件 const_multi colorout<=std_logic_vector(to_unsigned(cst_mult*to_integer( UNSIGNED(co lor)), colorout'length)); 5. G 信号转换结构体部分 : 定义转换公式右边 Y Cb Cr 的系数以及内部运算信号 constant cst_g_y : integer := 384; -3-

constant cst_g_cb : integer := 803; constant cst_g_cr : integer := 665; signal g_y_kcm, g_cb_kcm, g_cr_kcm : std_logic_vector ( downto 0); signal g_cb_cr, g_full : std_logic_vector

else g_full <= ( others =>'0'); end if; 3 通过移位实现 8 位输出由于最后的运算结果是 3 位的, 其中低位是为了实现小数乘法, 中间的 8 位是有效的数据位当 g_full 高 4 位为 0000 时, 右移位得到 8 位的 G 输出信号 g <= g_full( 8 downto ) when g_full(

4 constant cst_g_cb : integer := 803; constant cst_g_cr : integer := 665; signal g_y_kcm, g_cb_kcm, g_cr_kcm : std_logic_vector ( downto 0); signal g_cb_cr, g_full : std_logic_vector ( downto 0); 进程部分 : 加减法运算的实现 clock'event and clock = '' then g_cst_y <= g_y_kcm ; g_cb_cr <= g_cb_kcm + g_cr_kcm ; if g_cst_y > g_cb_cr then g_full <= g_cst_y - g_cb_cr; else g_full <= ( others =>'0'); end if; 3 通过移位实现 8 位输出由于最后的运算结果是 3 位的, 其中低位是为了实现小数乘法, 中间的 8 位是有效的数据位当 g_full 高 4 位为 0000 时, 右移位得到 8 位的 G 输出信号 g <= g_full( 8 downto ) when g_full( downto 9)="0000" else ""; 6 ISE9.i 综合及仿真在 ISE9.i 开发环境下, 用 VHDL 语言, 进行综合及功能仿真 yuvtorgb 模块的 RTL 图如图 4 所示, 综合报告如图 5 所示, 其功能仿真波形如图 6 所示图 4 yuvtorgb 模块的 RTL 图图 5 ISE9.i 综合报告图 6 功能仿真结果 -4-

5 波形仿真时占用内存如下 : Estimate current memory usage:.986 Meg 从 ISE 的综合报告仿真波形中可以看出, 本转换有转换精度高占用内存资源少等优点同时也说明该转换是正确的, 实时性也很高 7 结论基于 FPGA 的图像采集系统本身设计需求, 采用 VHDL 语言, 功能分离后按层次设计, 完成了 YCbCr(4::) 到 RGB(8:8:8) 图像色彩空间的转换 FPGA 输出的信号再经 D/A 转换, 可直接将 RGB 真彩模拟信号输出到 VGA 接口, 从而使 MT9D 采集到的高分辨率图像数据能够在 VGA 显示器上实时显示该色彩空间的转换有着比同类变换精度高, 占用内存小的优点, 可以大大提高系统效率, 可广泛应用于现代视频图像处理领域参考文献 [] 黄焱等. FPGA 应用开发入门与典型实例.[M]. 北京 : 人民邮电出版社, [] XILINX. Spartan-3e FPGA Family: Complete Data Sheet. [ EB/OL ]. [3] Micron. MT9D SOC Digital Image Sensor: Data Sheet. [ EB/OL].Micron Technology, Inc.004. [4] 胡为.DDR SDRAM 在嵌入式系统中的应用.[J]. 单片机与嵌入式系统应用,006,(3). [5] 李成奇. 基于 FPGA 技术的视频采集系统设计及实现.[D]. 哈尔滨. 哈尔滨理工大学.008. [6] Benoit Payette Color Space Converter:RGB to YCbCr.[J].XILINX xapp-637(v.0) 00 [7] 潘松, 黄继业等.EDA 技术实用教程. [M]. 北京 : 科技出版社, Color Space Transform of Image Acquisition System Based on FPGA Xiao Wenjuan, Zhao Guannan, Liang Fengmei College of Information Technology, Taiyuan University of Technology, Taiyuan (03004) Abstract A color space transform is implementation with Xilinx company Spartan-3e family FPGA xc3s50e-5pq08, which is requested in an image acquisition system. It converts the image data whose format is YCbCr (4::)04*768 to RGB(8:8:8).The whole design is described in VHDL. By logic optimization, the transform has an advantage of high accuracy less memory resource utilization. Keywords: image acquisition system;fpga;vhdl;color space transform 作者简介 : 肖文娟 (984), 女, 硕士研究生, 主要研究方向为图像处理 -5-

a b c d e f g C2 C1 2

a b c d e f g C2 C1 2 IN1 IN2 0 2 to 1 Mux 1 IN1 IN2 0 2 to 1 Mux 1 Sel= 0 M0 High C2 C1 Sel= 1 M0 Low C2 C1 1 to 2 decoder M1 Low 1 to 2 decoder M1 High 3 BCD 1Hz clk 64Hz BCD 4 4 0 1 2 to 1 Mux sel 4