文档

Size: px

Start display at page:

Download "文档"

棣黠姚
4 years ago
Views:

1 Tengine 用户使用手册

2 变更记录日期版本说明作者初版 Cheng Meng 修改拼写路明 1 / 14

3 目录 1 目的... 错误! 未定义书签 2 支持范围硬件支持 OS 支持产品构成类型说明 Tengine 创建和销毁 init_tengine_library release_tengine_library get_tengine_version request_tengine_version 模型的加载和移除 load_model remove_model 图的操作 create_runtime_graph destroy_runtime_graph prerun_graph run_graph postrun_graph 张量的操作 get_graph_tensor get_graph_input_tensor get_graph_output_tensor put_graph_tensor set_tensor_shape get_tensor_shape set_tensor_buffer get_tensor_buffer 使用示例 CLASSIFICATIOIN 示例程序 / 14

4 1 前言 1.1 目的本文档主要介绍由 OPEN AI LAB 开发的嵌入式深度学习推理框架 Tengine 的功能特点和使用方法, 旨在帮助开发人员更快, 更有效的掌握 Tengine 的开发方法 Tengine 由开放智能实验室 (OPEN AI Lab) 开发的一个精简的高性能的用于嵌入式设备的模块化推理引擎本手册旨在帮助用户来了解如何使用 Tengine 构建 AI 推理应用程序 1.2 术语 EAIDK:Embedded AI Development Kit 嵌入式人工智能开发套件 AID:AI Distro AID 是 OPEN AI LAB 开发的一个面向嵌入式平台前端智能, 跨 SoC 的 AI 核心软件平台 BladeCV:BladeCV 是 OPEN AI LAB 开发的, 在嵌入式平台上替代 OpenCV 的计算机视觉开发包, 包含计算机视觉算法图像获取和图形界面三部分 MIPI:Mobile Industry Processor Interface, 移动产业处理器接口 edp:embedded DisplayPort, 嵌入式数码音视讯传输接口 CTIA: Cellular Telecommunications and Internet Association. 美国无线通信和互联网协会该协会制定的 AHJ(American Headset Jack) 定义了二合一音频插孔的标准 2 支持范围 2.1 硬件支持本版本包含对 ARM64 CPU 的支持 3 / 14

5 2.2 OS 支持支持 Android 上的应用开发 3 产品构成本版本软件包主要包含以下内容 : 一个 C 语言的头文件 (tengine_c_api.h) 一个动态库 (libtengine.so): 由 C/C++ 语言和汇编代码实现的库还包含其他 : 一个基于 Tengine 写图像分类应用的样例工程解析 Caffe 模型和 Tensorflow 模型需要的 protobuf 库类型说明 typedef void * user_context_t; typedef void * workspace_t; typedef void * graph_t; typedef void * tensor_t; typedef void * node_t; 4.2 下面列出了开发一个应用程序时, 用到的主要接口更多的接口定义和说明, 请查看头文件 tengine_c_api.h 中的注释 4 / 14

6 init_tengine_library: 初始化 tengine release_tengine_library: 释放 tengine get_tengine_version: 获取 Tengine 版本号 request_tengine_version: 请求 Tengine 版本号 load_model: 通过文件加载模型 remove_model: 移除模型 create_runtime_graph: 创建运行图 destroy_runtime_graph: 销毁运行图 prerun_graph: 准备运行图需要的资源 run_graph: 运行图, 执行推理可以反复多次调用 postrun_graph: 释放运行图需要的资源 get_graph_tensor: 获取图的张量 get_graph_input_tensor: 获取图的输入张量 get_graph_output_tensor: 获取图的输出张量 put_graph_tensor: 释放张量句柄 set_tensor_shape: 设置张量的形状 get_tensor_shape: 获取张量的形状 set_tensor_buffer: 设置张量的缓存区 get_tensor_buffer: 获取张量的缓存区 Tengine 创建和销毁 init_tengine_library 参数 init_tengine_library 使用 Tengine 库前, 首先需要执行 init_tengine_library(), 对 Tengine 库进行初始化操作无返回值 int 0 : 表示成功 -1 : 表示失败 5 / 14

7 int init_tengine_library(void); release_tengine_library 参数返回值 release_tengine_library 执行 release_tengine_library(), 对 Tengine 库进行资源释放操作无无 void release_tengine_library(void); get_tengine_version 参数 get_tengine_version 获取 Tengine 库的版本信息无返回值 const char * 字符串指针 const char * get_tengine_version(void); request_tengine_version request_tengine_version 初始化 Tengine 后, 通过该接口获取对版本的兼容情况参数 const char * version 版本号返回值 int 1 : 表示支持 0 : 表示不支持 int request_tengine_version(const char * version); 6 / 14

8 4.2.2 模型的加载和移除 load_model load_model 加载已保存成文件的模型到系统中参数 const char * model_name 指定的模型名称, 用于创建运行图时指定模型用 const char * model_format 模型文件格式例如 : caffe", "tensorflow", const char * fname "onnx","tengine" 文件名称根据模型格式的不同, 需要填入的文件名也不一样返回值 int 0 : 表示成功 -1 : 表示失败 int load_model(const char * model_name, const char * model_format, const char * fname,...); remove_model remove_model 移除模型参数 const char * model_name 模型名称例如 : squeezenet mobilenet 等返回值 int 0 : 表示成功 -1 : 表示失败 int remove_model(const char * model_name); 图的操作 create_runtime_graph create_runtime_graph 创建运行图 7 / 14

9 参数 const char * graph_name 运行图名称例如 : graph 等 const char * model_name 模型名称在 load_model() 时指定的名称 workspace_t ws 工作空间句柄 ; 可以传入 NULL, 使用默认工作空间返回值 graph_t 运行图的句柄失败时返回 NULL graph_t create_runtime_graph(const char * graph_name, const char * model_name, workspace_t ws); destroy_runtime_graph destroy_runtime_graph 销毁运行图参数 graph_t graph 运行图的句柄返回值 int 0 : 表示成功 -1 : 表示失败 int destroy_runtime_graph(graph_t graph); prerun_graph prerun_graph 图的预运行为图的运行准备资源参数 graph_t graph 运行图的句柄返回值 int 0 : 表示成功 -1 : 表示失败 int prerun_graph(graph_t graph); run_graph run_graph 运行图 8 / 14

10 参数 graph_t graph 运行图的句柄 int block 0: 需要调用 wait_graph 来等待图运行结束 1: 阻塞运行返回值 int 0 : 表示成功 -1 : 表示失败 int run_graph(graph_t graph, int block); postrun_graph postrun_graph 释放运行图的资源参数 graph_t graph 运行图的句柄返回值 int 0 : 表示成功 -1 : 表示失败 int postrun_graph(graph_t graph); 张量的操作 get_graph_tensor get_graph_tensor 通过张量名称获取成张量句柄参数 graph_t graph 运行图的句柄 const char * tensor_name 张量名称返回值 tensor_t 张量句柄, 失败时返回 NULL 需要调用 put_graph_tensor 来释放句柄 tensor_t get_graph_tensor(graph_t graph, const char * tensor_name); 9 / 14

11 get_graph_input_tensor get_graph_input_tensor 获取图的输入节点的张量句柄参数 graph_t graph 运行图的句柄 int input_node_idx 输入节点索引值 int tensor_idx 张量索引值返回值 tensor_t 张量句柄, 失败时返回 NULL 需要调用 put_graph_tensor 来释放句柄 tensor_t get_graph_input_tensor(graph_t graph, int input_node_idx, int tensor_idx); get_graph_output_tensor get_graph_output_tensor 获取图的输出节点的张量句柄参数 graph_t graph 运行图的句柄 int output_node_idx 输出节点索引值 int tensor_idx 张量索引值返回值 tensor_t 张量句柄, 失败时返回 NULL 需要调用 put_graph_tensor 来释放句柄 tensor_t get_graph_output_tensor(graph_t graph, int output_node_idx, int tensor_idx); put_graph_tensor put_graph_tensor 释放张量句柄参数 tensor_t tensor 张量句柄返回值无 void put_graph_tensor(tensor_t tensor); 10 / 14

12 set_tensor_shape set_tensor_shape 设置张量形状参数 tensor_t tensor 张量句柄 int dims[] 表示维度的 int 数组 int dim_number 维度的个数返回值无 int set_tensor_shape(tensor_t tensor, int dims[], int dim_number); get_tensor_shape get_tensor_shape 获取张量形状参数 tensor_t tensor 张量句柄 int dims[] 表示维度的 int 数组 int dim_number 维度的个数返回值 int 大于等于 1 表示维度的个数,-1 表示获取失败 int get_tensor_shape(tensor_t tensor, int dims[], int dim_number); set_tensor_buffer set_tensor_buffer 设置张量数据缓存区参数 tensor_t tensor 张量句柄 void * buffer 数据缓存区指针该内存仍然由调用者负责释放 int buffer_size 缓存区大小返回值无 11 / 14

13 int set_tensor_buffer(tensor_t target_tensor, void * buffer, int buffer_size); get_tensor_buffer get_tensor_buffer 获取张量数据缓存区参数 tensor_t tensor 张量句柄返回值 void * 数据缓存区指针 NULL 表示数据缓存区还未申请 void * get_tensor_buffer(tensor_t tensor); 5 使用示例 5.1 classificatioin 示例程序 1. 初始化 Tengine 库, 并判断当前的 Tengine 库是否兼容 0.7 的 Tengine 版本 // init tengine init_tengine_library(); if (request_tengine_version("0.7") < 0) return false; 2. 从文件加载模型 Tengine 支持 caffe/onnx/tensorflow/tengine 格式模型的直接加载 caffe 格式的模型只支持新 caffe.proto 定义的格式如果是旧格式, 请用 caffe 包里面的 upgrade_net_proto_binary/ upgrade_net_proto_binary 升级模型 Tensorflow/ONNX 模型只支持单个 Binary PB 文件 /* model format should be "caffe", "tensorflow", "onnx", "tengine" */ // load model if (model_fnum == 2) { if (load_model(model_name.c_str(), model_format, proto_file, model_file) < 0) 12 / 14

14 return false; } else // model_fnum == 1 { if (load_model(model_name.c_str(), model_format, model_file) < 0) return false; } std::cout << "Load model done.\n"; 3. 创建一个运行图 // create graph graph_t graph = create_runtime_graph("graph", model_name.c_str(), NULL); if (!graph) { std::cerr << "Create graph0 failed.\n"; return false; } 4. 获取图的输入张量, 并设置张量的形状此步骤可以省略, 如果从模型中可以获取输入张量的形状 // input int img_size = img_h * img_w * 3; int dims[] = {1, 3, img_h, img_w}; float *input_data = (float *)malloc(sizeof(float) * img_size); tensor_t input_tensor = get_graph_input_tensor(graph, 0, 0); set_tensor_shape(input_tensor, dims, 4); 5. 预运行 // prerun prerun_graph(graph); 6. 设置输入数据和张量缓存数据区, 运行图 /* run */ get_input_data(image_file, input_data, img_h, img_w, mean, scale); set_tensor_buffer(input_tensor, input_data, img_size * 4); run_graph(graph, 1); 7. 获取输出数据, 并打印结果 // print output tensor_t output_tensor = get_graph_output_tensor(graph, 0, 0); float *data = (float *)get_tensor_buffer(output_tensor); 13 / 14

15 PrintTopLabels(label_file, data); 8. 释放资源 put_graph_tensor(output_tensor); put_graph_tensor(input_tensor); free(input_data); postrun_graph(graph); destroy_runtime_graph(graph); remove_model(model_name); 14 / 14

CC213

CC213 : (Ken-Yi Lee), E-mail: feis.tw@gmail.com 49 [P.51] C/C++ [P.52] [P.53] [P.55] (int) [P.57] (float/double) [P.58] printf scanf [P.59] [P.61] ( / ) [P.62] (char) [P.65] : +-*/% [P.67] : = [P.68] : ,