AI 视觉智能售货柜 RJDVA SDK 使说明书 RJDVA SDK 说明 1. RJDVA SDK 于锐捷动态视觉柜 AI 云平台接, 提供相机数据解码关键帧提取算法视频硬编码及数据打包与发送 AI 云平台功能 2. RJDVA SDK 持安卓设备 armeabi-v7a,arm64-v8

Size: px

Start display at page:

Download "AI 视觉智能售货柜 RJDVA SDK 使说明书 RJDVA SDK 说明 1. RJDVA SDK 于锐捷动态视觉柜 AI 云平台接, 提供相机数据解码关键帧提取算法视频硬编码及数据打包与发送 AI 云平台功能 2. RJDVA SDK 持安卓设备 armeabi-v7a,arm64-v8"

军阮
2 years ago
Views:

1 AI 视觉智能售货柜 RJDVA SDK 使说明书 RJDVA SDK 说明. RJDVA SDK 于锐捷动态视觉柜 AI 云平台接, 提供相机数据解码关键帧提取算法视频硬编码及数据打包与发送 AI 云平台功能. RJDVA SDK 持安卓设备 armeabi-va,arm-v8a 两种 CPU 类型, 前在联发科 MT8A 与瑞芯微 RK88 两款 CPU 通过测试 RJDVA SDK 作时序图录结构 Headers autobounding.h // ROI 区域自动标定基类 basedatatype.h // 基础数据类型类 bgsegment.h // 背景差分流处理类 bgsubcnt.h // CNT 方法定义基类 cameraautocalib.h // 相机自动标定 ROI 区域类

2 cameracfgreader.h // 读取相机配置文件类 cameraframeprocess.h // 图像预处理类 DataPacketSender datapacketsender.h // 数据包发送类 GrpcClient GrpcClient.h // Grpc 客户端类 datapacking.h // 数据打包工具类 datastation.h // 数据中转处理类 decoderprocess.h // 图像解码处理类 encoderprocess.h // 图像编码处理类 hencoder.h // H 编码类 keyframefilter.h // 关键帧处理类 LogUtils.h // 日志类 mjpgdecoder.h // MJpeg 解码类 mogcalculator.h // 背景差分计算类 rjdva_c.h // RJDVA C 语言接口 rjdva.h // RJDVA 基类 shadefile.h // 隐藏配置文件 threadmanager.h // 线程管理基类 Tool.h // 工具类 utility.h // 辅助工具类 videodecoder.h // 视频解码基类 videoencoder.h // 视频编码基类使流程及接说明. RJDVA 初始化在初始化的过程中会将传的 strinfojson 参数写到件中, 因此需要定的权限, 在调法之前可以先确保读写权限, 以便后续操作调 Init 函数执初始化流程, 函数原型如下 : 执行算法初始化, 软件启动时调用 strdeviceid - 设备 ID strserveripport - 锐捷 AI 云平台 IP 与 Port 组成的字符串, 如 " :9999" 8 9 strworkspacepath 工作环境路径 strinfojson - 包含相关信息的 json 格式的字符串内容初始化成功返回 true, 失败返回 false bool rjdva_init(const char* strdeviceid, const char* strserverippor, const char* strworkspacepath, const char* strinfojson); strinfojson 说明如下 :

3 字段名称类别 Host_Smart 接域名 String appid sercet 对接接基础字段 ( 有使平台提供 ) 对接接基础字段 ( 有使平台提供 ) String String company 公司名称信息 String keepalive 域名端 String keepalive: 该字段于将订单信息发送给平台, 实现对订单的全流程监控, 如需这个业务可以传空值 ( 如 :keepalive:"") 或者不传这个字段亦可 strinfojson 参数示例 : {"Host_Smart":" " ","sercet":"fdeecdfc80c9cbdd","compan y":"ruijie","keepalive":" 调开回调函数, 通知 RJDVA 当前处于购物流程, 并传订单编号函数原型如下 : 开门回调函数, 收到门锁打开信号时调用此函数 strorderid - 订单编号 void rjdva_opendoorcallback(const char* strorderid);. 调传相机数据 (MJpeg 数据流, 需解码 ) 的接, 传相机数据供处理函数原型如下 : 开门成功后, 获取相机原始数据写入 vdataframe - 由相机原始数据等信息组成的结构体调用成功返回 true, 失败返回 false bool rjdva_pushvdataframe(vdataframe vdataframe);. 调传重数据 ( 所有重传感器之和, 已去 ) 的接, 传相机数据供处理函数原型如下 : 开门成功后, 获取重力去皮后的数据并写入 gdataframe - 由重力数据等信息组成的结构体调用成功返回 true, 失败返回 false bool rjdva_pushgdataframe(gdataframe gdataframe);

4 . 调关回调函数, 通知 RJDVA 购物流程已结束 () 调关回调需要在调开回调之后, 不然关回调法成功执 ; () 关回调需传个参数 nstatecode, 作于将上层捕获到硬件异常信息传递给 SDK, 借此使得之后阶段处理的时候能够有更好的效果, 如果没有此功能传递参数为 0 即可 ; 函数原型如下 : 关门回调函数, 收到门锁关闭信号时调用此函数 nstatecode - 设备状态码, 用于反馈上层捕获到的异常 ; 若上层不进行异常捕获, 设置为 0 即可 bool rjdva_closedoorcallback( const int nstatecode );. 调发送数据包接, 将数据包发送锐捷 AI 云平台数据包在购物结束后存储在 Init 函数传的作环境路径的 DataStation 录下, 由于可能络异常导致数据发送中断, 建议维护数据包列表, 数据包发送成功后则删除数据包列表中相应项, 否则重新发送数据包函数原型如下 : 8 发送算法数据包至锐捷 AI 云平台 strorderid - 订单编号 strtoken - token 信息 strzippath - ZIP 包保存路径调用成功返回 true, 失败返回 false bool rjdva_senddatapacket(const char* strorderid, const char* strtoken, char* strzippath); strzippath 参数说明如下 : 事先声明参数 strzippath, 且这个参数应为空 ( 如 char strzippath;), 将参数传并且法执完成之后, 参数 strzippath 会获得赋值, 以此获取到数据包保存的路径 ;. 相关数据结构定义如下 : *********************************************************************** ********************** //! \ingroup STRUCTS //! \struct GDATAFRAME //! 重力帧相关信息 *********************************************************************** ********************** typedef struct _gdataframe { float fvalue; // 当前重力值 ( 去皮, 所有重力传感器总和 ) int nframeid; // 帧号 long long lltimestamp; // 当前帧的时间戳 ms

5 8 9 0 }GDataFrame; *********************************************************************** ********************** //! \ingroup STRUCTS //! \struct VDATAFRAME //! 视觉帧相关数据 *********************************************************************** ********************** typedef struct _vdataframe { unsigned char* pdata; // 当前帧数据指针地址 unsigned int ndatasize; // 当前帧数据大小 int nframeid; // 帧号 long long lltimestamp; // 当前帧的时间戳 ms char strcamerapos[]; // 相机位置信息, 如 TR,DR, 分别代表右上与右下相机 }VDataFrame; 接调说明及示例 RJDVA SDK 前持 C/C++ JAVA 以及 Python 调 C/C++ 接调示例如下 : #include "rjdva_c.h" #ifdef cplusplus extern "C" int main(int argc, char** argv) { #endif rjdva_closedoorcallback(0); return 0; #ifdef cplusplus } #endif JAVA JAVA 调 so 库可以采 JNI 封装的式, 步骤如下 :. JNI 封装 so 库, 留出接供上层调. JAVA 上层调 JNI 封装好的法. 在项 app 录下创建 CMakeLists.txt 另外可以参考相关的调说明 JNI 接示例 (native-lib.cpp)

6 JNIEXPORT void JNICALL Java_eu_sisik_sample_MainActivity_rjdva_CloseDoorCallback( JNIEnv *env, jobject /* this, jint nstatecode) { rjdva_closedoorcallback(nstatecode); } JAVA 调代码 rjdva_closedoorcallback(0) CMakeLists 件示例 add_library(rdjva_sdk-lib SHARED IMPORTED) set_target_properties( rdjva_sdk-lib PROPERTIES IMPORTED_LOCATION ${RJDVA_LIB_PATH}/${ANDROID_ABI}/libRJDVA.so) target_link_libraries( native-lib rdjva_sdk-lib) Python SDK 包中包含了个 so 库,python 可以使 ctypes 库来加载 so 库请根据开发环境选择适配的 so 库, 如 armv 对应的是位,armv8 对应的是位 from ctypes import * if name == ' main ': rjdva = cdll.loadlibrary("/path/to/librjdva.so") rjdva.rjdva_closedoorcallback(0) 版本更新记录与下载上线期版本号更新说明下载 00-- V0.. RJDVA 调接由 C++ 修改为 C RJDVA_ReleaseV0...rar V0. RK88 版本 RJDVA_ReleaseV0..r ar V.. 对 Init,SendDataPacket 和 CloseDoorCallback 接进修改, 新增传参数 RJDVA_ReleaseV.. _RK88.zip 常问题与解答 (FAQ) SDK 的作流程是怎么样的? 更详细的作流程可以参考档中的时序图, 简单的来说,SDK 作流程如下图 :

在初始化之后需要调开回调 rjdva_opendoorcallback 来告知 SDK 开始成订单件, 之后 pushdataframe 给 SDK 进写数据, 在完成之后需要调关回调 rjdva_closedoorcallback 来告知 SDK 订单完成成最后需要的数据包下次需要成新的订单数据则再调 rjdva_opendoorcallback, 以此循环

7 在初始化之后需要调开回调 rjdva_opendoorcallback 来告知 SDK 开始成订单件, 之后 pushdataframe 给 SDK 进写数据, 在完成之后需要调关回调 rjdva_closedoorcallback 来告知 SDK 订单完成成最后需要的数据包下次需要成新的订单数据则再调 rjdva_opendoorcallback, 以此循环控编码怎么传给 SDK? SDK 使说明有参 strdeviceid 双摄像头, 如何传相机流? 在结构体 _vdataframe 中填相机位置信息即可,TR 代表上的相机,DR 代表下的相机 ( 前暂时采单侧相机编号 ) 由于前采静态式配置参数, 所以需要按照指定的相机编号进数据传递, 以免影响数据成 VDataFrame 结构体传 jpeg 图像的指针和数据度, 如果 JNI 有和 C 指针对应的数据结构

8 双摄像头的数据采集,_vDataFrame 的 nframeid 是各计算, 还是两个累加计算的? 两个摄像头各从 0 开始计数对于传的相机原始数据有什么要求? 因为传 SDK 的数据有做步解码处理, 所以设计是从相机直接拿到 MJPG 格式的数据传 SDK 即可 ( 建议可以采 VL 去获取相机数据 ) 由于前采静态式配置参数, 所以传递给 SDK 的相机数据需要符合尺和格式要求, 以免影响数据成另外, 为了提算法准确度, 视频帧率建议 0FPS 前 SDK 持 0*0 和 0*80 两种尺的图像数据输, 如果有其他尺的需求可以沟通定制时序图中的 VL API 是怎么调, 没看到说明?

9 VL 是 video for linux 的缩写, 是 linux 内部调相机的个驱动, 按照 VL 的 API 进开发即可, 这个官 API 内容基本满我们的要求, 只要调 caputre 环节就可以了视频数据定要通过 VL 获取吗? 我们建议是使 VL, 前来说这个是最适合使的法, 它是 linux 内核的法, 效且普适, 通过 VL 法获取相机数据能够达到要求的帧数性能, 并且这个法是被验证过的如果有其他法能够保证性能也可以尝试, 最终能够将数据传给 SDK 即可 8 重数据, 有时候温差的情况下传感器会有飘动, 这个影响吗? 我们的算法对重偏差有定的容忍度, 我们允许的重偏差阈值是动态的, 和拿取多重商品有关重允许偏差值 = min( 拿取所有商品的重量和 *0.0 + 重允许的最偏差值, 重允许的最偏差值 ) 重允许的最偏差值, 重允许的最偏差值, 这两个值可以适当调整, 和称的测试精度有关, 如果称的精度较低, 可以增加 [0, 0], 但是如果某个重范围内的商品较多, 视觉识别不佳的情况下, 可能会牺牲掉部分识别率 9 为什么步骤都是正常但是成的视频件没有内容? 在 SDK 内部有静态数据的过滤机制, 如果开发使的相机捕获到的视频内容没有任何的变化, 便不会有数据被写到件中, 如果符合上述情况, 可以尝试在相机前完成些动作

C 1

C 1 C homepage: xpzhangme 2018 5 30 C 1 C min(x, y) double C // min c # include # include double min ( double x, double y); int main ( int argc, char * argv []) { double x, y; if( argc!=

AI 视觉智能售货柜 RJDVA SDK 使 说明书 RJDVA SDK 说明 1. RJDVA SDK 于锐捷动态视觉柜 AI 云平台接, 提供相机数据解码 关键帧提取算法 视频硬编码及数据打包与发送 AI 云平台功能 2. RJDVA SDK 持安卓设备 armeabi-v7a,arm64-v8

AI 视觉智能售货柜 RJDVA SDK 使说明书 RJDVA SDK 说明 1. RJDVA SDK 于锐捷动态视觉柜 AI 云平台接, 提供相机数据解码关键帧提取算法视频硬编码及数据打包与发送 AI 云平台功能 2. RJDVA SDK 持安卓设备 armeabi-v7a,arm64-v8