<4D F736F F D20BBF9D3DA F344C696E7578B5C C9E3CFF1CDB7CDBCCFF1B2C9BCAFCAB5CFD62E646F63>

Size: px

Start display at page:

Download "<4D F736F F D20BBF9D3DA F344C696E7578B5C C9E3CFF1CDB7CDBCCFF1B2C9BCAFCAB5CFD62E646F63>"

感禄
6 years ago
Views:

1 基于 Video4Linux 的 USB 摄像头图像采集实现 Write by daily3( 戴小鼠 ) 著作权 : 戴丽 ( 合肥工业大学 ) ( daily3@126.com) 做了一段时间的摄像头图像采集, 有了一些心得在论坛上开的 2410 摄像头问题专贴 ( 也得到了大家的关注在此, 我将这一阶段遇到的问题, 解决方法等做个总结, 希望对您有所帮助 Linux 本身自带了采用 ov511 芯片的摄像头, 而市场上应用最广泛的是采用中芯微公司生产的 zc301 芯片的摄像头, 下面我将针对这两大系列的摄像头分别做介绍 ( 注 : 所有的开发都是在华恒 HHARM-2410-EDU 上完成,ov511 摄像头采用的是网眼 webeye3000,zc301 摄像头采用的是 ANC 奥尼 S888) 一驱动加载 1.1 ov511 驱动 1. 静态加载 (1) 在 arm linux 的 kernel 目录下 make menuconfig (2) 首先 (*) 选择 Multimedia device-> 下的 Video for linux 加载 video4linux 模块, 为视频采集设备提供了编程接口 ; (3) 然后在 usb support-> 目录下 (*) 选择 support for usb 和 usb camera ov511 support 这使得在内核中加入了对采用 OV511 接口芯片的 USB 数字摄像头的驱动支持 (4) 保存配置退出 (5)make dep;make zimage 此时在 /tftpboot 下就生成了带有 ov511 驱动的内核 2. 动态加载 (1) 在 arm linux 的 kernel 目录下 make menuconfig (2) 首先 <*> 选择 Multimedia device-> 下的 Video for linux (3) 然后在 usb support-> 目录下 <*> 选择 support for usb 和 <M> 选择 usb camera - 1 -

2 ov511 support (4) 保存退出 (5)Make dep;make zimage;make modules 然后就在 /driver/usb 下生成 ov511.o, 同时生成的 zimage 自动放在 /tftpboot 下 (6) 然后用新内核启动板子后 insmod ov511.o 就可以成功加载动态方式与静态方式相比, 测试时要简单的多不需要下载整个内核, 只需通过 nfs, 加载驱动即可测试在测试成功后就可以编译进内核模块加载中出现的问题 : 1.insmod 和 modprobe 间的一个区别试后者不会在当前目录中查找模块, 它只在 /lib/modules 下的缺省目录下查找, 这是因为该程序只是一个系统实用例程, 不是一个交互工具可以通过在 /etc/modules.conf 中指定自己的目录, 来把它们加到缺省目录集中 2. 如果插入模块 ov511.o 时, 出现以下信息 : Ov511.o:unresolved symbol video******** 之类的, 说明还有其它模块 videodev.o 没有加 3. 出现错误 :ov511.o:couldn t find the kernel version this modules was compiled for 这是试图插入一个不是可装入模块的目标文件因为在内核配置阶段, 是把 ov511 模块静态加到内核中的, 虽然看起来和可装入模块的文件名 ov511.o 完全一样, 但是不能用 insmod 命令加入 4. 如果出现 Ov511.o:unresolved symbol video********, 那就 <M> 选中 video for linux, 用新生成的内核启动系统, 再 insmod videodev.o,insmod ov511.o 就可以啦 1.2 zc301 驱动摄像头的驱动是从下的针对 embeded 环境, 有专门的 patch, 我用的是 usb le06.patch (1) 把它放到 /HHARM9-EDU/kernel/driver/usb 下, 解压, 打补丁就会在此目录下看到 spca5xx 文件夹了可能会有一些错误, 我的错误是在 Makefile 和 config.in 文件中, 根据它的提示, 进行相应的修改即可 Patch 时会将修改方法写到 Makefile.rej 和 config.in.rej 文件中, 把这两个文件里的内容加到 Makefile 和 config.in 中就行了 (2) 编译内核, 进入 /HHARM9-EDU/kernel,make menuconfig 我采用和上面介绍的 ov511 驱动的方法一样, 动态加载 (M) 选中 SPCA5XX 这一项 - 2 -

3 ( 3 ) make dep ; make zimage ; make modules 就会在 /HHARM9-EDU/kernel/driver/usb/spca5xx 中生成 spca5xx.o,spcadecoder.o,spca_core.o 啦这就是我们要的驱动 (4) 用新内核启动,insmod 这三个.o 文件 ( 可以不用加载 spcadecoder.o), 摄像头就加载成功啦不过这种 LE 的驱动有许多问题, 比如运行到设置图像格式 (RGB565 或 RGB24) 时出错, 说不支持此参数原因在于 :( 摘自驱动程序主页 The spca5xx-le design is very different from the spca5xx full package(le 版的驱动和完全版的差很多 ) The memory in use are the most smaller as possible(le 版的驱动会尽量减少内存的使用 ) The spcadecoder is reduce and only raw jpeg webcam are used.( 驱动模块只支持输出原始 jpeg 格式 ) 还有一种方法, 从下载最新的驱动 spca5xx tar.gz 这个可独立编译, 无需放到 linux 内核里面, 编译生成一个 spca5xx.o 即可, 不要三个.o 做驱动了因为这个驱动是针对 2.6 的, 编译时会出现很多错误, 修改 CFLAGS 即可华恒的群里已经有编译好的驱动提供大家下载模块加载中出现的问题 : 1. 运行./servfox 时出现 Error Opening V4L interface. 我测试一下, 是没有加载驱动虽然内核中 (M) 选中了驱动, 但是启动后要手工加进去 insmod 一下啦 2.insmod spcadecoder.o 时, 出现错误 :spcadecoder.o:couldn t find the kernel version this modules was compiled for 如果你 insmod spca5xx.o 成功的话就不需要再 insmod 其他模块了 3.insmod video.o 时却说 can't find the kernel version the modules was compiled for 这是因为 video for linux 一般是直接编译到内核中去的. 不需要加载的二 Video4linux 编程 2.1 Video4linux 简介 Video4Linux 是为市场现在常见的电视捕获卡和并口及 USB 口的摄像头提供统一的编程接口同时也提供无线电通信和文字电视广播解码和垂直消隐的数据接口本文主要针对 USB 摄像头设备文件 /dev/video0, 进行视频图像采集方面的 - 3 -

4 程序设计 2.2 Video4linux 编程指南 1. 视频编程的流程 (1) 打开视频设备 : (2) 读取设备信息 (3) 更改设备当前设置 ( 可以不做 ) (4) 进行视频采集, 两种方法 : a. 内存映射 b. 直接从设备读取 (5) 对采集的视频进行处理 (6) 关闭视频设备定义的数据结构及使用函数 struct _v4l_struct int fd; struct video_capability capability; struct video_buffer buffer; struct video_window window; struct video_channel channel[8]; struct video_picture picture; struct video_mmap mmap; struct video_mbuf mbuf; unsigned char *map; ; typedef struct _v4l_struct v4l_device; extern int v4l_open(char *, v4l_device *); extern int v4l_close(v4l_device *); extern int v4l_get_capability(v4l_device *); extern int v4l_set_norm(v4l_device *, int); extern int v4l_get_picture(v4l_device *); extern int v4l_grab_init(v4l_device *, int, int); extern int v4l_grab_frame(v4l_device *, int); extern int v4l_grab_sync(v4l_device *); extern int v4l_mmap_init(v4l_device *); - 4 -

5 extern int v4l_get_mbuf(v4l_device *); extern int v4l_get_picture(v4l_device *); extern int v4l_grab_picture(v4l_device *, unsigned int); extern int v4l_set_buffer(v4l_device *); extern int v4l_get_buffer(v4l_device *); extern int v4l_switch_channel(v4l_device *, int); 3.Video4linux 支持的数据结构及其用途 (1)video_capability 包含设备的基本信息 ( 设备名称支持的最大最小分辨率信号源信息等 ) name[32] 设备名称 maxwidth maxheight minwidth minheight Channels 信号源个数 type 是否能 capture, 彩色还是黑白, 是否能裁剪等等值如 VID_TYPE_CAPTURE 等 (2)video_picture 设备采集的图象的各种属性 Brightness 0~65535 hue colour contrast whiteness depth palette VIDEO_PALETTE_RGB24 VIDEO_PALETTE_RGB565 VIDEO_PALETTE_JPEG VIDEO_PALETTE_RGB32 (3)video_channel 关于各个信号源的属性 Channel 信号源的编号 name tuners Type VIDEO_TYPE_TV IDEO_TYPE_CAMERA Norm 制式 PAL NSTC SECAM AUTO (4)video_window 包含关于 capture area 的信息 x x windows 中的坐标. y y windows 中的坐标. width The width of the image capture. height The height of the image capture. chromakey A host order RGB32 value for the chroma key

6 flags clips clipcount (5)video_mbuf Additional capture flags. A list of clipping rectangles. (Set only) The number of clipping rectangles. (Set only) 利用 mmap 进行映射的帧的信息 size 每帧大小 Frames 最多支持的帧数 Offsets 每帧相对基址的偏移 (6)video_mmap 用于 mmap 4. 关键步骤介绍注接多个摄像头方法如下: 买一个 usb hub 接到开发板的 usb host 上 cat /proc/devices 可以知道 video capture device 的 major 是 81, 再 ls l /dev 看到 video0 的次设备号是 0 两个摄像头当然要两个设备号, 所以 mknod /dev/video1 c 81 1, 如果接 4 个, 就 mknod /dev/video2 c 81 2,mknod /dev/video3 c 81 3 依次类推 (1) 打开视频 : int v4l_open(char *dev, v4l_device *vd) if (!dev) dev = /dev/video0 ; if ((vd ->fd = open(dev, O_RDWR)) < 0) perror("v4l_open:"); if (v4l_get_capability(vd)) if (v4l_get_picture(vd)) retu rn -1; (2) 读 video_capability 中信息 int v4l_get_capability(v4l_device *vd) if (ioctl(vd ->fd, VIDIOCGCAP, &(vd->capability)) < 0) perror("v4l_get_capability:"); 成功后可读取 vd->capability 各分量 - 6 -

7 (3) 读 video_picture 中信息 int v4l_get_picture(v4l_device *vd) if (ioctl(vd ->fd, VIDIOCGPICT, &(vd->picture)) < 0) perror("v4l_get_picture:"); 成功后可读取图像的属性 (4) 改变 video_picture 中分量的值 ( 可以不做的 ) 先为分量赋新值, 再调用 VIDIOCSPICT vd->picture.colour = 65535; if(ioctl(vd->fd, VIDIOCSPICT, &(vd->picture)) < 0) perror("vidiocspict"); (5) 初始化 channel ( 可以不做的 ) 必须先做得到 vd->capability 中的信息 int v4l_get_channels(v4l_device *vd) int i; for (i = 0; i < vd ->capability.channels; i++) vd ->channel[i].channel = i; if (ioctl(vd ->fd, VIDIOCGCHAN, &(vd->channel[i])) < 0) perror("v4l_get_channel:"); (6) 关闭设备 int v4l_close(v4l_device *vd) close(vd ->fd); - 7 -

8 重点 : 截取图象的两种方法一用 mmap( 内存映射 ) 方式截取视频 mmap( ) 系统调用使得进程之间通过映射同一个普通文件实现共享内存普通文件被映射到进程地址空间后, 进程可以向访问普通内存一样对文件进行访问, 不必再调用 read(),write() 等操作两个不同进程 A B 共享内存的意思是, 同一块物理内存被映射到进程 A B 各自的进程地址空间进程 A 可以即时看到进程 B 对共享内存中数据的更新, 反之亦然采用共享内存通信的一个显而易见的好处是效率高, 因为进程可以直接读写内存, 而不需要任何数据的拷贝 (1) 设置 picture 的属性 (2) 初始化 video_mbuf, 以得到所映射的 buffer 的信息 ioctl(vd->fd, VIDIOCGMBUF, &(vd->mbuf)) (3) 可以修改 video_mmap 和帧状态的当前设置 (4) 将 mmap 与 video_mbuf 绑定 void* mmap ( void * addr, size_t len, int prot, int flags, int fd, off_t offset ) len: 映射到调用进程地址空间的字节数, 它从被映射文件开头 offset 个字节开始算起 Prot: 指定共享内存的访问权限 PROT_READ( 可读 ), PROT_WRITE ( 可写 ), PROT_EXEC ( 可执行 ) Flags:MAP_SHARED MAP_PRIVATE 中必选一个,MAP_ FIXED 不推荐使用 Addr: 共内存享的起始地址, 一般设 0, 表示由系统分配 Mmap( ) 返回值是系统实际分配的起始地址 int v4l_mmap_init(v4l_device *vd) if (v4l_get_mbuf(vd) < 0) if ((vd ->map = mmap(0, vd->mbuf.size, PROT_READ PROT_WRITE, MAP_SHARED, vd->fd, 0)) < 0) perror("v4 l_mmap_init:mmap"); (5)Mmap 方式下真正做视频截取的 VIDIOCMCAPTURE - 8 -

9 ioctl(vd->fd, VIDIOCMCAPTURE, &(vd->mmap)) ; 若调用成功, 开始一帧的截取, 是非阻塞的, 是否截取完毕留给 VIDIOCSYNC 来判断 (6) 调用 VIDIOCSYNC 等待一帧截取结束 if(ioctl(vd->fd, VIDIOCSYNC, &frame) < 0) perror("v4l_sync:vidiocsync"); 若成功, 表明一帧截取已完成可以开始做下一次 VIDIOCMCAPTURE frame 是当前截取的帧的序号 ******** 关于双缓冲 ************ video_bmuf bmuf.frames = 2; 一帧被处理时可以采集另一帧 int frame; // 当前采集的是哪一帧 int framestat[2]; // 帧的状态没开始采集等待采集结束帧的地址由 vd->map + vd->mbuf.offsets[vd->frame] 得到采集工作结束后调用 munmap 取消绑定 munmap(vd->map, vd->mbuf.size) 在实际应用时还可以采用缓冲队列等方式二视频截取的第二种方法 : 直接读设备关于缓冲大小, 图象等的属性须由使用者事先设置调用 read(); int read ( 要访问的文件描述符 ; 指向要读写的信息的指针 ; 应该读写的字符数 ); 返回值为实际读写的字符数 int len ; unsigned char *vd->map= (unsigned char *) malloc(vd capability.maxwidth*vd capability.maxheight ); len = read(vd fd,vd vd->map, vd capability.maxwidth*vd capability.maxheight*3 ); - 9 -

10 2.3 编程实例 (mouse_capture) 不管是 ov511 还是 zc301 的摄像头, 它们采集的方式都是相同的, 只不过采集到的数据有所差异,ov511 的就是 rgb 的位流, 而 zc301 是 jpeg 编码的位流 mouse_capture 是根据 servfox 改编的一个专门从 zc301 摄像头获取一张 jpeg 图片, 用来测试摄像头是否加载成功的小程序这样就可以不用 cat /dev/video0>1.jpg 来测试摄像头是否正常 cat 命令一运行, 就源源不断地采集 jpeg 流但是采到的图片只能显示第一个 jpeg 头和 jpeg 尾之间的数据 mouse_capture 仅仅获得一张完整的 jpeg 可以从 ( 处下载参考现将主要函数的功能介绍如下 : static int GetVideoPict (struct vdin *vd);// 获取图片属性信息 static int SetVideoPict (struct vdin *vd);// 设置图片属性 static int isspcachip (const char *BridgeName);// 测试芯片类型 static int GetStreamId (const char *BridgeName); // 测试输出数据的格式 static int GetDepth (int format);// 获取颜色深度 void exit_fatal(char *messages);// 错误显示 int init_videoin(struct vdin *vd,char *device,int width,int height,int format,int grabmethod);// 初始化设备 int convertframe(unsigned char *dst,unsigned char *src, int width,int height, int formatin, int size);// 把共享缓冲区中的数据放到一个变量中, 通知系统已获得一帧 int v4lgrab (struct vdin *vd,char *filename );// 从摄像头采集图片 int close_v4l (struct vdin *vd);// 关闭摄像头 int get_jpegsize (unsigned char *buf, int insize);// 获取 jpeg 图片大小三实例程序 3.1 LCD 实时显示从 ov511 上采集的图像参考 HHARM9-EDU/applications/usbcam2lcd 从摄像头获取 bmp 位流直接显示在 framebuffer 中此程序图像的采集采用 read 的方式, 注意由于 lcd 液晶屏显示的是 16bits 的 RGB 图片, 所以,ov511 输出的图片格式也应该是 16bits 的 RGB 图片数据, 宏 VIDEO_PALETTE_RGB565 定义的就是 16bits 的 RGB 数据图片而 linux 自带的 ov511 驱动中图像采集是 32 位的, 这样采集到的图片显示在 lcd 上是雪花点因此需要修改驱动在 kernet/driver/usb/ 目录下有 ov511 芯片的驱动 ov511.c, 驱

11 动里的 ov51x_set_default_params 函数是设置芯片默认的输出图片的格式, 该函数中的 for (i = 0; i < OV511_NUMFRAMES; i++) ov511->frame[i].width = ov511->maxwidth; ov511->frame[i].height = ov511->maxheight; ov511->frame[i].bytes_read = 0; if (force_palette) ov511->frame[i].format = force_palette; else ov511->frame[i].format = VIDEO_PALETTE_RGB24; ov511->frame[i].depth = ov511_get_depth(ov511->frame[i].format); 部分语句是主要设置 ov511 默认输出图片格式的, 其中 maxwidth 和 maxheight 设置了图片的最大的宽度和高度 Ifelse 语句设置了图片的格式, 作如下的修改 : for (i = 0; i < OV511_NUMFRAMES; i++) ov511->frame[i].width = ov511->maxwidth; ov511->frame[i].height = ov511->maxheight; ov511->frame[i].bytes_read = 0; ov511->frame[i].format = VIDEO_PALETTE_RGB565; ov511->frame[i].depth = ov511_get_depth(ov511->frame[i].format); 如果需要, 也可以改变图片的默认输出大小 3.2 LCD 实时显示从 zc301 上采集的图像编程思想 : 从摄像头采集到的图片存放在本地文件夹, 通过 minigui 加载 jpeg 来实现显示具体过程 : 1. 从网上下载 jpegsrc-6b 的 jpeg 库, 交叉编译 (1)./configure enable-static enable-shared prefix=.libs (2) 修改 Makefile, 将编译器改成交叉编译器例如 : 我改成 /opt/host/armv4l/bin/armv4l-unknown-linux-gcc (3)make 后即在.libs 目录中生成 for arm 的 libjpeg.a, libjpeg.la,libjpeg.so,libjpeg.so.62,libjpeg.so 将这些文件拷贝到系

12 统库文件目录, 我的是 /usr/lib 中 2. 因为看从 zc301 采集的图片的二进制位流,jpeg 头是 ff d8 ff db 而在 minigui 库文件 libminigui 的源文件 src/mybmp/jpeg.c 中,load_jpg 和 check_jpg 的时候测试的头位 EXIF 和 JFIF 两种格式的 jpeg 图片这两种对应的二进制分别是 ff d8 ff e1 和 ff d8 ff e0 所以我们 minigui 通过判断认为这是错误的 jpeg 格式而不加载, 故无法显示实际上通过测试, 在源码中去掉这两个判断就能正确加载 3. 交叉编译 minigui ( 1 ) 编译库 :./configure --host=arm-unknown-linux --enable-jpgsupport=yes --enable-pngsupport=no --enable-gifsupport=no --disable-lite --prefix=/hharm9-edu/applications/minigui-free/nfsroot --enable-smdk2410ial=yes make make install (2) 编译实例程序时, 要加上 jpeg 库的支持, 即在 Makefile 中加上 -ljpeg 此时将在 nfsroot 生成的库文件和可执行文件移到 ramdisk.image.gz 相应的目录下 ( 具体参考华恒的 2410 开发手册 ) 3.Minigui 程序的编写编程小技巧, 我采取的方法是一刻不停地从摄像头采集到图片存储在 /tmp/1.jpg 中, 在 minigui 中通过 loadbitmap 函数来加载图片而图片加载后不会自动更新, 不能自动根据 1.jpg 的改变自动变化因此, 我在程序中设定一个 timer 每隔 100ms 刷新屏幕, 基本上实现实时更新了而出现另外一个问题, 刷新时会以背景色来填充桌面, 导致屏幕闪烁严重故想到采用 MSG_ERASEBKGND 的方式, 用前一张图片做为刷新屏幕时的填充背景图片这样就保证了 lcd 上图像的连续性啦 Minigui 程序如下 : 其中一些自定义的函数跟 mouse_capture 中的一样, 只是变采集单幅到采集多幅具体您可以自己改一下 :) 也可以向我索取源码 #include <minigui/common.h> #include <minigui/minigui.h> #include <minigui/gdi.h> #include <minigui/window.h> #include <minigui/control.h> #include "spcav4l.h" #define IDTIMER 100 static BITMAP bmp;

13 static int LoadBmpWinProc(HWND hwnd, int message, WPARAM wparam, LPARAM lparam) HDC hdc; RECT rc=0,0,240,320; switch (message) case MSG_CREATE: SetTimer(hWnd,IDTIMER,100); case MSG_ERASEBKGND: RECT rctemp; if( LoadBitmap(HDC_SCREEN,&bmp,"/tmp/1.jpg")) printf("load wrong!\n"); GetClientRect(hWnd, &rctemp); hdc = BeginPaint (hwnd); FillBoxWithBitmap (hdc, rctemp.left, rctemp.top, rctemp.right-rctemp.left, rctemp.bottom-rctemp.top, &bmp); EndPaint(hWnd, hdc); case MSG_TIMER: InvalidateRect(hWnd,&rc,TRUE); case MSG_CLOSE: UnloadBitmap (&bmp); DestroyMainWindow (hwnd); PostQuitMessage (hwnd); return DefaultMainWinProc(hWnd, message, wparam, lparam); int MiniGUIMain (int argc, const char* argv[]) MSG Msg; HWND hmainwnd; MAINWINCREATE CreateInfo; char videodevice[] = "/dev/video0"; char jpegfile[] = "/tmp/1.jpg"; int grabmethod = 0;

14 int format = VIDEO_PALETTE_JPEG; int width = 240; int height = 320; int i; #ifdef _LITE_VERSION SetDesktopRect(0, 0, 1024, 768); #endif CreateInfo.dwStyle = WS_VISIBLE WS_BORDER WS_CAPTION; CreateInfo.dwExStyle = WS_EX_NONE; CreateInfo.spCaption = "Load and display a bitmap"; CreateInfo.hMenu = 0; CreateInfo.hCursor = GetSystemCursor(0); CreateInfo.hIcon = 0; CreateInfo.MainWindowProc = LoadBmpWinProc; CreateInfo.lx = 0; CreateInfo.ty = 0; CreateInfo.rx = 240; CreateInfo.by = 320; CreateInfo.iBkColor = PIXEL_lightwhite; CreateInfo.dwAddData = 0; CreateInfo.hHosting = HWND_DESKTOP; hmainwnd = CreateMainWindow (&CreateInfo); if (hmainwnd == HWND_INVALID) ShowWindow (hmainwnd, SW_SHOWNORMAL); memset(&videoin, 0, sizeof (struct vdin)); if(init_videoin(&videoin, videodevice, width, height, format,grabmethod) == 0) printf("init is ok!\n"); else printf("init is wrong!\n"); while (GetMessage(&Msg, hmainwnd)) TranslateMessage(&Msg); v4lgrab(&videoin, jpegfile); DispatchMessage(&Msg); close_v4l (&videoin); MainWindowThreadCleanup (hmainwnd); #ifndef _LITE_VERSION #include <minigui/dti.c> #endif

15 先写到这里吧, 呵呵, 希望能对您有所帮助如果您在阅读的过程中发现问题, 欢迎和我交流晚参考文献 1.HHARM2410 摄像头调试记录华恒科技 2. 基于 video4linux 的视频设备编程 Lingzhi_Shi Apr video4linux programming Alan Cox 4. video streaming 探讨陈俊宏 5. Video4Linux Kernel API Reference 6. -

华恒家庭网关方案

华恒家庭网关方案 LINUX V1.5 1 2 1 2 LINUX WINDOWS PC VC LINUX WINDOWS LINUX 90% GUI LINUX C 3 REDHAT 9 LINUX PC TFTP/NFS http://www.hhcn.com/chinese/embedlinux-res.html minicom NFS mount C HHARM9-EDU 1 LINUX HHARM9-EDU