Microsoft PowerPoint - How_To_Accelerate_OpenCV_Applications_using_Vivado_HLS-CF-Andy-v2 [只读]

Size: px

Start display at page:

Download "Microsoft PowerPoint - How_To_Accelerate_OpenCV_Applications_using_Vivado_HLS-CF-Andy-v2 [只读]"

兑栖孙
5 years ago
Views:

1 如何使用 Vivado HLS 视频库加速 Zynq-7000 All Programmable SoC OpenCV 应用 2013 年 9 月 11 日

2 OpenCV 简介开源计算机视觉 (OpenCV) 被广泛用于开发计算机视觉应用包含 2500 多个优化的视频函数的函数库专门针对台式机处理器和 GPU 进行优化用户成千上万无需修改即可在 Zynq 器件的 ARM 处理器上运行但是利用 OpenCV 实现的高清处理经常受外部存储器的限制存储带宽会成为性能瓶颈存储访问会限制功耗效率 Zynq All-programmable SOC 是实现嵌入式计算机视觉应用的极好方法性能高功耗低第 2 页

3 实时计算机视觉应用计算机视觉应用实时分析功能高级驾驶员安全辅助车道或行人检测安防监视敌我识别用于工厂自动化的机器视觉高速物体检测非侵入式医疗成像技术肿瘤检测第 3页

4 实时视频分析处理基于像素的图像处理与特征提取基于帧的特征处理与决策 4Kx2K Pixel based Image processing and Feature extraction 1080p F1 F2 F3 720p 480p 每像素数百次运算 800 万次处理 x 每帧 100 次运算 = 数百亿次运算每特性数次运算每秒处理数 1000 个特征 = 数百万次运算第 4 页

5 实时视频分析的异构实现基于像素的图像处理与特征提取基于帧的特征处理与判定 4Kx2K Pixel based Image processing and Feature extraction 硬件域 (FPGA) 1080p 720p 480p F1 软件域 F2 (ARM) F3 每像素数百次运算 800 万次处理 x 每帧 100 次运算 = 数百亿次运算每特性数次运算每秒处理数 1000 个特征 = 数百万次运算第 5 页

6 赛灵思实时图像分析的实现 :Zynq All Programmable SoC 基于像素的图像处理与特征提取 Frame based Feature 基于帧的特征处理与判定 processing and decision making 4Kx2K Pixel based Image processing and Feature extraction 1080p F1 F2 F3 720p 480p 每像素数百次运算 800 万次处理 x 每帧 100 次运算 = 数百亿次运算每特性数次运算每秒处理数 1000 个特征 = 数百万次运算第 6 页

7 Vivado: 提高 OpenCV 应用的效率高清视频算法 ( 每秒约 1 帧 ) 的 C 语言仿真高清视频 ( 每小时 1 帧 ) 的 RTL 仿真实时 FPGA 实现方案高达 60fps 第 7 页

8 Zynq 视频参考设计架构 DDR3 DDR3 外部存储器处理系统 DDR 存储控制器 SD 卡硬化的外设双核 Cortex-A9 S_AXI_HP 64 位 S_AXI_GP 32b 位 AXI4 Stream IP 核 AXI 互联 AXI VDMA HDMI 视频输入 HLS 生成的流水线 Xylon 显示控制器 HDMI 使用 64 位高性能端口实现对外部存储器的视频访问使用 32 位通用端口实现控制寄存器访问使用 AXI4-Stream 实现的视频流第 8 页

9 以 IP 为中心的设计流程更快速的 IP 生成与集成基于 C 语言的 IP 创建用户首选的系统集成环境 C C++ 或 SystemC C 函数库 DSP 系统生成器 (System Generator) 浮点 mathh 定点视频 VHDL 或 Verilog 以及软件驱动 Vivado IP 集成器 IP 子系统赛灵思 IP 第三方 IP 用户 IP Vivado RTL 集成第 9 页

10 Page 10

11 在 FPGA 设计中使用 OpenCV 纯集成的 OpenCV 加速的 OpenCV 应 OpenCV 参考 OpenCV 应用应用用图像文件读取 (OpenCV) 实时视频输入图像文件读取 (OImage pencv) OpenCV2AXIvideo 实时视频输入 AXIvideo2Mat AXIvideo2Mat OpenCV 函数链 OpenCV 函数链 HLS 视频库函数链可综合的的模块 HLS 视频库函数链模块可综合的 Mat2AXIvideo Mat2AXIvideo 图像文件写入 (OpenCV) 实时视频输出 AXIvideo2OpenCV 实时视频输出图像文件写入 (OpenCV) 第 11 页

12 纯 OpenCV 应用图像文件读取 (OpenCV) DDR3 外部存储器处理系统 DDR3 DDR 存储控制器 OpenCV 函数链 SD 卡硬化的外设双核 Cortex-A9 图像文件写入 (OpenCV) AXI 互联 AXI VDMA HDMI 视频输入 HLS 生成的流水线 Xylon 显示控制器 HDMI 第 12 页

纯 OpenCV 应用图像文件读取 (OpenCV) DDR3 外部存储器 1 2 3

13 纯 OpenCV 应用图像文件读取 (OpenCV) DDR3 外部存储器 DDR3 处理系统 DDR 存储控制器 OpenCV 函数链 SD 卡硬化的外设双核 Cortex-A9 图像文件写入 (OpenCV) AXI 互联 AXI VDMA HDMI 视频输入 HLS 生成的流水线 Xylon 显示控制器 HDMI 第 13 页

14 纯 OpenCV 应用图像文件读取 (OpenCV) DDR3 外部存储器处理系统 DDR3 DDR 存储控制器 OpenCV 函数链 SD 卡硬化的外设双核 Cortex-A9 图像文件写入 (OpenCV) AXI 互联 AXI VDMA HDMI 视频输入 HLS 生成的流水线 Xylon 显示控制器 HDMI 第 14 页

15 集成的 OpenCV 应用实时视频输入 DDR3 外部存储器处理系统 DDR3 DDR 存储控制器 OpenCV 函数链 SD 卡硬化的外设双核 Cortex-A9 AXI 互联实时视频输出 HDMI 视频输入 AXI VDMA HLS 生成的流水线 Xylon 显示控制器 HDMI 第 15 页

16 OpenCV 参考 / 软件执行图像文件读取 (OImage pencv) DDR3 外部存储器 DDR3 OpenCV2AXIvideo 处理系统 DDR 存储控制器 AXIvideo2Mat HLS 视频库函数链 SD 卡硬化的外设双核 Cortex-A9 Mat2AXIvideo AXI 互联 AXIvideo2OpenCV 图像文件写入 (OpenCV) HDMI 视频输入 AXI VDMA HLS 生成的流水线 Xylon 显示控制器 HDMI 第 16 页

17 OpenCV 参考 / 系统测试图像文件读取 (OImage pencv) DDR3 外部存储器 1 2 DDR3 OpenCV2AXIvideo 处理系统 DDR 存储控制器 AXIvideo2Mat HLS 视频库函数链 SD 卡硬化的外设双核 Cortex-A9 Mat2AXIvideo AXI 互联 AXIvideo2OpenCV 图像文件写入 (OpenCV) HDMI 视频输入 AXI VDMA HLS 生成的流水线 Xylon 显示控制器 HDMI 第 17 页

18 加速的 OpenCV 应用 DDR3 外部存储器 1 2 DDR3 实时视频输入处理系统 DDR 存储控制器 AXIvideo2Mat HLS 视频库函数链 SD 卡硬化的外设双核 Cortex-A9 Mat2AXIvideo AXI 互联实时视频输出 HDMI 视频输入 AXI VDMA HLS 生成的流水线 Xylon 显示控制器 HDMI 第 18 页

19 OpenCV 设计流程 OpenCV 模块 A 1) 在台式机上开发 OpenCV 应用 2) 无需修改即可在 ARM 内核上运行 OpenCV 应用 OpenCV 模块 B 3) 使用 I/O 函数抽象 FPGA 部分 4) 用可综合代码代替 OpenCV 函数调用 OpenCV 模块 C 5) 运行 HLS 以生成 FPGA 加速器 6) 用 FPGA 加速器调用代替可综合代码调用 OpenCV 模块 D 第 19 页

20 OpenCV 应用的软硬划分 OpenCV 模块 A opencv2axivideo AXIvideo2HLS OpenCV 模块 B 同步 HLS 模块 B OpenCV 模块 C HLS 模块 C OpenCV 模块 D HLS2AXIvideo AXIvideo2opencv 综合 Page 20

21 OpenCV 设计中的权衡 OpenCV 图像处理是基于存储器帧缓存而构建的访问局部性较差 -> 小容量高速缓存性能不足架构比较复杂 ( 出于性能考虑 ) -> 功耗更高似乎足以满足很多应用的要求分辨率或帧速率低在更大的图像中对需要的特征或区域进行处理基于视频流的架构能提供高性能和低功耗链条化的图像处理函数能减少外部存储器访问针对视频优化的行缓存和窗口缓存比处理器高速缓存更简单缓存比处理器高速缓存更简单可使用 HLS 中的数据流优化来实现需要将代码转换为可综合的代码

22 HLS 视频库 OpenCV 函数不能直接通过 HLS 进行综合动态内存分配浮点假设图像在外部存储器中修改 HLS 视频库用于替换很多基本的 OpenCV 函数与 OpenCV 具有相似的接口和算法主要针对在 FPGA 架构中实现的图像处理函数包含专门面向 FPGA 的优化定点运算而非浮点运算片上的行缓存和窗口缓存不必精确到比特位第 22 页

23 赛灵思 HLS 视频库视频数据建模 Linebuffer Class Window Class AXI4-Stream IO 函数 AXIvideo2Mat Mat2AXIvideo OpenCV 接口函数 cvmat2axivideo AXIvideo2cvMat cvmat2hlsmat hlsmat2cvmat IplImage2AXIvideo AXIvideo2IplImage IplImage2hlsMat hlsmat2iplimage li CvMat2AXIvideo AXIvideo2CvMat CvMat2hlsMat hlsmat2cvmat 视频函数 AbsDiff Duplicate MaxS Remap AddS EqualizeHist Mean Resize AddWeighted Erode Merge Scale And FASTX Min Set Avg Filter2D MinMaxLoc Sobel AvgSdv GaussianBlur MinS Split Cmp Harris Mul SubRS CmpS HoughLines2 Not SubS CornerHarris Integral PaintMask Sum CvtColor InitUndistortRectifyMap Range Threshold Dilate Max Reduce Zero 如需了解函数的详情, 敬请阅读 HLS 用户指南 UG 902 第 23 页

24 视频库函数包含在 hls 命名空间内的 C++ 代码 #include hls_videoh h 与 OpenCV 等具有相似的接口和等效的行为, 例如 OpenCV 库 : cvscale(src, dst, scale, shift); HLS 视频库 : hls::scale<>(src, dst, scale, shift); 一些构造函数具有类似的或替代性的模板参数, 例如 OpenCV 库 : HLS 视频库 : cv::mat mat(rows, cols, CV_8UC3); hls::mat<rows, COLS, HLS_8UC3> mat(rows, cols); ROWS 和 COLS 指定处理的最大图像尺寸第 24 页

25 视频库的核心结构 OpenCV cv::point_<t>, CvPoint cv::size_<t>, CvSize cv::rect_<t>, CvRect HLS 视频库 hls::point_<t>, hls::point hls::size_<t>, hls::size hls::rect_<t>, hls::rect cv::scalar_<t>, CvScalar hls::scalar<n, T> cv::mat, IplImage, CvMat hls::mat<rows, COLS, T> cv::mat mat(rows, cols, CV_8UC3); IplImage* img = cvcreateimage(cvsize(cols,rows), IPL_DEPTH_8U, 3); hls::mat<rows, COLS, HLS_8UC3> mat (rows, cols); hls::mat<rows, COLS, HLS_8UC3> img, (rows, cols); hls::mat<rows, COLS, HLS_8UC3> img; hls::window<rows, COLS, T> hls::linebuffer<rows, COLS, T> Page 25

26 局限性必须用视频库函数代替 OpenCV 调用不支持通过指针访问帧缓存使用 VDMA 和 AXI Stream adpater 函数不支持随机访问读取超过一次的数据必须进行复制请见 hls::duplicate() 不支持 In-place 更新例如 cvrectangle (img, point1, point2) 读操作 OpenCV pix = cv_matat<t>(i,j) pix = cvget2d(cv_img,i,j) HLS 视频库 hls_img >> pix 写操作第 26 页 cv_matat<t>(i,j) = pix cvset2d(cv_img,i,j,pix) hls_img << pix

OpenCV 代码输入一个图像, 输出一个图像按函数链顺序处理 IplImage* src=cvloadimage("test_1080pbmp"); IplImage* dst=cvcreateimage(cvgetsize(src), src->depth, src->nchannels); 图像读取 (OpenCV) cvsobel(src, dst, 1, 0);

27 OpenCV 代码输入一个图像, 输出一个图像按函数链顺序处理 IplImage* src=cvloadimage("test_1080pbmp"); IplImage* dst=cvcreateimage(cvgetsize(src), src->depth, src->nchannels); 图像读取 (OpenCV) cvsobel(src, dst, 1, 0); cvsubs(dst, cvscalar(100,100,100), src); cvscale(src, dst, 2, 0); cverode(dst, src); cvdilate(src, dst); OpenCV 函数链 cvsaveimage("result result_1080pbmp 1080pbmp", dst); cvreleaseimage(&src); cvreleaseimage(&dst); 图像写入 (OpenCV) test_opencvcppt Page 27

28 集成的 OpenCV 应用系统提供指向帧缓存的指针可综合代码也可在 ARM 上运行 void img_process(znq_s32 *rgb_data_in, ZNQ_S32 *rgb_data_out, int height, int width, int stride, int flag_opencv) { // constructing OpenCV interface IplImage* src_dma = cvcreateimageheader(cvsize(width, height), IPL_DEPTH_8U, 4); IplImage* dst_dma = cvcreateimageheader(cvsize(width, height), IPL_DEPTH_8U, 4); src_dma->imagedata = (char*)rgb_data_in; dst_dma->imagedata = (char*)rgb_data_out; src_ dma->widthstep = 4 * stride; dst_dma->widthstep = 4 * stride; if (flag_opencv) { opencv_image_filter(src_dma, dst_dma); } else { sw_image_filter(src_dma, dst_dma); } 实时视频输入 OpenCV 函数链实时视频输出 cvreleaseimageheader(&src_dma); cvreleaseimageheader(&dst_dma); } img_filtersc Page 28

使用 Vivado HLS 视频库加速抽取顶层函数进行硬件加速 #include hls_videoh // header file of HLS video library #include hls_opencvh

AXI_STREAM; typedef hls::scalar<3, uchar> RGB_PIXEL; typedef hls::mat<1080,1920,hls_8uc3> RGB_IMAGE; void

src=cvloadimage("test_1080pbmp"); IplImage* dst=cvcreateimage(cvgetsize(src), src->depth, src->nchannels);

src->width); toph 图像读取 (OpenCV) OpenCV2AXIvideo AXIvideo2Mat HLS 视频库函数链 Mat2AXIvideo AXIvideo2OpenCV

29 使用 Vivado HLS 视频库加速抽取顶层函数进行硬件加速 #include hls_videoh // header file of HLS video library #include hls_opencvh // header file of OpenCV I/O // typedef video library core structures typedef hls::stream<ap_axiu<32,1,1,1> > AXI_STREAM; typedef hls::scalar<3, uchar> RGB_PIXEL; typedef hls::mat<1080,1920,hls_8uc3> RGB_IMAGE; void image_filter(axi_stream& src_axi, AXI_STREAM& dst_axi, int rows, int cols); #include toph IplImage* src=cvloadimage("test_1080pbmp"); IplImage* dst=cvcreateimage(cvgetsize(src), src->depth, src->nchannels); AXI_STREAM src_axi, dst_axi; IplImage2AXIvideo(src, src_axi); image_filter(src_axi, dst_axi, src->height, src->width); toph 图像读取 (OpenCV) OpenCV2AXIvideo AXIvideo2Mat HLS 视频库函数链 Mat2AXIvideo AXIvideo2OpenCV AXIvideo2IplImage(dst_axi, dst); cvsaveimage("result_1080pbmp", " dst); cvreleaseimage(&src); cvreleaseimage(&dst); Page 29 testcpp 图像写入 (OpenCV)

$cols) { //Create AXI streaming interfaces for the core #pragma HLS RESOURCE variable=input core=axis metadata="-bus_bundle INPUT_STREAM" #pragma HLS$ RESOURCE variable=output core=axis metadata="-bus_bundle OUTPUT_STREAM" #pragma HLS RESOURCE variable=rows core=axi_slave metadata="-bus bus_bundlebundle

RESOURCE variable=output core=axis metadata="-bus_bundle OUTPUT_STREAM" #pragma HLS RESOURCE variable=rows core=axi_slave metadata="-bus bus_bundlebundle

metadata="-bus_bundle CONTROL_BUS" #pragma HLS INTERFACE ap_stable port=rows #pragma HLS INTERFACE ap_stable port=cols RGB_IMAGE img_0(rows, cols),

hls::axivideo2mat(input, img_0); hls::sobel<1,0,3>(img_0, l<1 0 img_1); hls::subs(img_1, pix, img_2); hls::scale(img_2, img_3, 2, 0); hls::erode(img_3,

30 使用 Vivado HLS 视频库加速用于 FPGA 加速的硬件可综合模块由视频库函数与接口组成用 hls 命名空间中的相似函数代替 OpenCV 函数 void image_filter(axi_stream& input, AXI_STREAM& output, int rows, int cols) { //Create AXI streaming interfaces for the core #pragma HLS RESOURCE variable=input core=axis metadata="-bus_bundle INPUT_STREAM" #pragma HLS RESOURCE variable=output core=axis metadata="-bus_bundle OUTPUT_STREAM" #pragma HLS RESOURCE variable=rows core=axi_slave metadata="-bus bus_bundlebundle CONTROL_BUS" #pragma HLS RESOURCE variable=cols core=axi_slave metadata="-bus_bundle CONTROL_BUS" #pragma HLS RESOURCE variable=return core=axi_slave metadata="-bus_bundle CONTROL_BUS" #pragma HLS INTERFACE ap_stable port=rows #pragma HLS INTERFACE ap_stable port=cols RGB_IMAGE img_0(rows, cols), img_1(rows, cols), img_2(rows, cols); RGB_IMAGE img_3(rows, cols), img_4(rows, cols), img_5(rows, cols); RGB_PIXEL pix(50, 50, 50); #pragma HLS dataflow hls::axivideo2mat(input, img_0); hls::sobel<1,0,3>(img_0, l<1 0 img_1); hls::subs(img_1, pix, img_2); hls::scale(img_2, img_3, 2, 0); hls::erode(img_3, img_4); hls::dilate(img_4, img_5); hls::mat2axivideo(img_5, output); } topcpp 图像读取 (OpenCV) OpenCV2AXIvideo AXIvideo2Mat HLS 视频库函数链 Mat2AXIvideo AXIvideo2OpenCV 图像写入 (OpenCV) Page 30

31 使用 Linux 用户空间的 API 修改器件树, 使其包含寄存器映射 { compatible = "xlnx,generic-hls"; reg = <0x400d0000 0xffff>; interrupts = <0x0 0x37 0x4>; interrupt-parent = <0x1>; }; 实时视频输入执行 mmap() 函数后从用户空间调用 Ximage_filter xsfilter; int fd_uio = 0; AXIvideo2Mat if ((fd_uio = open("/dev/uio0", O_RDWR)) < 0) { printf("uio: Cannot open device node\n"); } xsfiltercontrol_bus_baseaddress = (u32)mmap(null, XSOBEL_FILTER_CONTROL_BUS_SIZE, PROT_READ PROT_WRITE, MAP_SHARED, fd_uio, 0); xsfilterisready = XIL_COMPONENT_IS_READY; HLS 视频库函数链 Mat2AXIvideo 实时视频输出 // init the configuration for image filter XImage_filter_SetRows(&xsfilter, sobel_configurationheight); XImage_filter_SetCols(&xsfilter, sobel_configurationwidth); XImage _ filter_ EnableAutoRestart(&xsfilter); XImage_filter_Start(&xsfilter); Page 31

32 HLS 视频处理指令将 input 指定为以 INPUT_STREAM 命名的 AXI4 Stream #pragma HLS RESOURCE variable=input core=axis metadata="-bus_bundle INPUT_STREAM" 将控制接口分配到 AXI4-Lite 接口 #pragma HLS RESOURCE variable=return core=axi_slave metadata="-bus_bundle CONTROL_BUS" 指定 rows 可通过 AXI4-Lite 接口进行访问 #pragma HLS RESOURCE variable=rows core=axi_slave metadata="-bus_bundle CONTROL_BUS" 声明在函数执行过程中 rows 不会改变 #pragma HLS INTERFACE ap_stable port=rows 启用数据流优化 #pragma HLS dataflow 第 32 页

33 更复杂的 OpenCV 实例 : 快速角点代码不是 streaming, 必须重写随机访问以及 dst in-place 运算 void opencv_image_filter(iplimage* img, IplImage* dst ) { IplImage* gray = cvcreateimage(cvsize(img->width,img->height), 8, 1 ); cvcvtcolor( img, gray, CV_BGR2GRAY ); std::vector<cv::keypoint> keypoints; cv::mat gray_mat(gray,0); cv::fast(gray_mat, keypoints, 20,true ); int rect=2; cvcopy(img,dst); for (int i=0; i<keypointssize(); i++) { cvrectangle(dst, cvpoint(keypoints[i]ptx,keypoints[i]pty), cvpoint(keypoints[i]ptx+rect,keypoints[i]pty+rect), cvscalar(255,0,0),1); } cvreleaseimage( &gray ); } opencv_topcpp Page 33

34 更复杂的 OpenCV 实例 : 快速角点代码是 Streaming 要注意函数不是 1:1 对应! void opencv _ image _ filter(iplimage* src, IplImage* dst) { IplImage* gray = cvcreateimage( cvgetsize(src), 8, 1 ); IplImage* mask = cvcreateimage( cvgetsize(src), 8, 1 ); IplImage* dmask = cvcreateimage( cvgetsize(src), 8, 1 ); std::vector<cv::keypoint> keypoints; cv::mat gray_mat(gray,0); cvcvtcolor(src, gray, CV_BGR2GRAY ); cv::fast(gray_mat, keypoints, 20, true); GenMask(mask, keypoints); cvdilate(mask,dmask); cvcopy(src,dst); PrintMask(dst,dmask,cvScalar(255,0,0)); hls::fastx hls::paintmask cvreleaseimage( &mask ); cvreleaseimage( &dmask ); cvreleaseimage( &gray ); } opencv_topcpp Page 34

35 更复杂的 OpenCV 实例 : 快速角点可综合的代码注意 #pragma HLS stream hls::mat<max_height,max_width,hls_8uc3> _src(rows,cols); hls::mat<max_height,max_width,hls_8uc3> MAX HLS _dst(rows,cols); hls::axivideo2mat(input, _src); hls::mat<max_height,max_width,hls_8uc3> src0(rows,cols); hls::mat<max_height,max_width,hls_8uc3> src1(rows,cols); #pragma HLS stream depth=20000 variable=src1data_stream t hls::mat<max_height,max_width,hls_8uc1> mask(rows,cols); hls::mat<max_height,max_width,hls_8uc1> dmask(rows,cols); hls::scalar<3,unsigned char> color(255,0,0); hls::duplicate(_src,src0,src1); src src0 src1) hls::mat<max_height,max_width,hls_8uc1> gray(rows,cols); hls::cvtcolor<hls_bgr2gray>(src0,gray); hls::fastx(gray,mask,20,true); hls::dilate(mask,dmask); hls::paintmask(src1,dmask,_dst,color); hls::mat2axivideo(_dst, output); topcpp Page 35

36 流与再收敛路径 hls::mat 从概念上讲代表一个完整图像, 但以像素流的形式执行 template<int ROWS, int COLS, int T> class Mat { public: HLS_SIZE_T rows, cols; hls::stream<hls_tname(t)> data_stream[hls_mat_cn(t)]; }; hls_video_coreh 快速角点包含一条再收敛路径 src1 像素流必须包含足够的缓冲空间, 用以匹配 FASTX 和 Dilate 的延迟 ( 大约 10 个视频行 * 1920 像素 ) CvtColor FASTX Dilate PaintMask src1 #pragma HLS stream depth=20000 variable=src1data_stream 第 36 页

37 性能分析 AXI 性能监视器可以从存储器带宽收集统计数据请查看 /mnt/axi_perfmonlog 视频 + 快速角点 1920*1080*60*32 = ~4 Gb/s per stream HP0: 读 401 Gb/s, 写 401 Gb/s, 总共 803 Gb/s HP2: 读 401 Gb/s, 写 401 Gb/s, 总共 803 Gb/s Page 37

38 功耗分析可从 ZC702 开发板上的数字调功器读取电压和电流用 2-3 瓦的系统总功耗即可实现定制的实时高清视频处理 FASTX 所增加的功耗不足 200mW 第 38 页 Active Idle Idle + Video Fast Corners + video DDR PL IO PL core PS IO PS core

39 HLS 与 Zynq 加速 OpenCV 应用 OpenCV 函数可实现计算机视觉算法的快速原型设计计算机视觉应用与生俱来的异构特性, 使其需要软硬件相结合的实现方案 Vivado HLS 视频库能加快 OpenCV 函数向 FPGA 可编程架构的映射 Zynq 采用高性能可编程逻辑和嵌入式 ARM 内核, 是一款功耗优化的集成式解决方案第 39 页

40 其他有关 OpenCV 的补充资料下载 XAPP1167 QuickTake 系列视频 : 使用 Vivado 提升 OpenCV 和 HLS Page 40

fvalue = (pdata[y][i] + pdata[y][i + 1]) / 2; pdata[y][nhalfw + i] -= fvalue; fvalue = (pdata[y][nhalfw - 1] + pdata[y][nhalfw - 2]) / 2; pdata[y][nwi

fvalue = (pdata[y][i] + pdata[y][i + 1]) / 2; pdata[y][nhalfw + i] -= fvalue; fvalue = (pdata[y][nhalfw - 1] + pdata[y][nhalfw - 2]) / 2; pdata[y][nwi #include #include #include // 二维离散小波变换 ( 单通道浮点图像 ) void DWT(IplImage *pimage, int nlayer) // 执行条件 if (pimage) if (pimage->nchannels == 1 && pimage->depth == IPL_DEPTH_32F