PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

辑韦
5 years ago
Views:

1 GPU 加速的 Anakin 推理工具庄熠魏轶彬 1 /GTC China 2018

2 1 初衷 : 让人工智能触手可及以图搜图语音检索无人驾驶人脸识别

3 1 推理引擎的趋势和现状 ARM FPGA TensorFlow TensorRT 300,000 x GPU ASIC x86 Caffe PaddlePaddle CoreML SNPE 1 由于算法约束和理念不同, 训练引擎通常不如推理引擎快 ; 2 已有引擎闭源且平台单一 AlexNet AlaphaGo 计算量增长芯片异构化现有解决方案行业现状

4 2 我们的优势开源跨平台高性能

5 External model 3 Paddle / Caffe / Others 设计原理及核心特征 Parser Graph fill read input 1 多框架支持 2 图融合技术及内存复用 conv2d conv2d 3 地址预映射 4 后端汇编级优化 softmax output Executer Paddle - fluid Caffe Others TensorFlow ONNX LLVM Frontend abstract graph IR Optimizer interpreter Scheduler Resource IR Backend hardware functor dispatch Kernel GPU / x86 / ARM

6 External model read 3 设计原理及核心特征 Paddle / Caffe / Others Graph fill Parser input 1 多框架支持 2 图融合技术及内存复用 conv2d conv2d 3 地址预映射 4 后端汇编级优化 softmax output Executer LLVM Paddle - fluid Caffe Others TensorFlow ONNX Frontend abstract graph IR Optimizer interpreter Scheduler Resource IR Backend hardware functor dispatch Kernel GPU / x86 / ARM

7 External model 3 Paddle / Caffe / Others 设计原理及核心特征 Parser Graph fill read 1 多框架支持 2 图融合技术及内存复用 conv2d input conv2d 3 地址预映射 4 后端汇编级优化 softmax output Executer 显著减少片外访存事务运行态内存使用至少降低 35% LLVM Frontend abstract graph IR Optimizer interpreter Scheduler Resource IR Backend hardware functor dispatch Kernel GPU / x86 / ARM

name: conv_3 P a r a m e t e r group ( int ): 1 axis ( int ): 1 bias_term ( bool ): false

8 Input Input 3 设计原理及核心特征 Convolution ReLU ConvReluPool ConvReluPool 1 多框架支持 2 图融合技术及内存复用 3 地址预映射 4 后端汇编级优化 Pooling Convolution ReLU ConvReLU Pooling 显著减少片外访存事务运行态内存使用至少降低 35% Convolution ReLU name: conv_3 P a r a m e t e r group ( int ): 1 axis ( int ): 1 bias_term ( bool ): false strides ( list ): [2, 2] fliter_num ( int ): 32 T e n s o r s h a p e weight_1 ( tensor ): [32, 3, 3, 3]

9 External model 3 Paddle / Caffe / Others 设计原理及核心特征 Parser Graph fill read 1 多框架支持 2 图融合技术及内存复用 conv2d input conv2d 3 地址预映射 4 后端汇编级优化 softmax Executer output 进一步融合 I/O 型操作, 突破数据依赖瓶颈 LLVM Frontend abstract graph IR Optimizer interpreter Scheduler Resource IR Backend hardware functor dispatch Kernel GPU / x86 / ARM

10 Split 3 设计原理及核心特征 1 多框架支持 2 图融合技术及内存复用 3 地址预映射 4 后端汇编级优化 ConvRelu Split ConvRelu Split ConvRelu Ops Ops Ops DeConvRelu 进一步融合 I/O 型操作, 突破数据依赖瓶颈 Concat ConvRelu DeConvRelu Concat

11 External model read 3 设计原理及核心特征 Paddle / Caffe / Others Graph fill Parser input 1 多框架支持 2 图融合技术及内存复用 conv2d conv2d 3 地址预映射 4 后端汇编级优化 softmax output Executer x86 ARM NV-GPU AMD-GPU Cambricon Bitmain LLVM Frontend abstract graph IR Optimizer interpreter Scheduler Resource IR Backend hardware functor dispatch Kernel GPU / x86 / ARM

12 4 不同层面皆易用用作人工智能计算库用作独立推理引擎用作服务 // 声明计算类型, 例如 conv, gemm anakin::saber::conv<target, Precision, Layout> conv; // 构造上下文, 如指定 device stream anakin::saber::context<target> ctx(...); // 构造计算所需参数 anakin::saber::convparam<tensordf4> param(...); // 执行计算 conv(input, output, param, ctx);

13 4 不同层面皆易用用作人工智能计算库用作独立推理引擎用作服务 std::string model_path = Your Anakin model address ; // 首先, 创建多线程 worker Anakin::framework::Worker<NV, AK_FLOAT, Precision::FP32> workers; // 注册 input tensor workers.register_inputs({ input_0 }); // 注册需要获取的 output tensor workers.register_outputs({ softmax_out });

14 4 不同层面皆易用用作人工智能计算库用作独立推理引擎用作服务 // 发射多线程 workers.launch(); // 伪代码, 准备数据 input_tensor = prepare_data(); // 同步接口 auto tensor_out = workers.sync_prediction(input_tensor); // 异步接口 workers.async_prediction(input_tensor);

15 4 不同层面皆易用用作人工智能计算库用作独立推理引擎用作服务 // 配置并启动服务器 brpc::serveroptions options; options.idle_timeout_sec = idle_timeout_s; options.num_threads = num_threads; options.max_concurrency = max_concurrency; auto ret = server.start(port, &options); server.rununtilaskedtoquit();

16 5 搜索业务中的 Anakin 应用案例分享魏轶彬

17 搜索系统简介 17 /GTC China 2018

18 搜索系统简介入口多样化表达口语化索引对象多模态化 18 /GTC China 2018

19 搜索中的机器学习 19 /GTC China 2018

20 搜索排序中的机器学习 20 /GTC China 2018

21 LTE 所解决的特征抽取问题 21 /GTC China 2018

22 LTR 与 LTE 对比 Learning To Rank Learning To Extract 定位 Rank 骨架 Rank 特征常用模型 SVM/GBRANK/RANK-NET/ NN 训练数据 LTEΤLTR = 10 5 模型大小 LTEΤLTR = 10 3 预测性能 LTEΤLTR = /GTC China 2018

23 语义匹配的两个基本问题如何表达 query 和 document 如何在表达的基础上进行匹配 23 /GTC China 2018

24 传统特征 24 /GTC China 2018

25 高层匹配框架 25 /GTC China 2018

26 底层匹配框架 26 /GTC China 2018

27 底层匹配框架可视化 27 /GTC China 2018

28 百度搜索中语义匹配模型的发展历程 28 /GTC China 2018

29 语义匹配模型在搜索中应用的难点复杂的模型计算 vs 严苛的性能要求 29 /GTC China 2018

30 语义匹配模型在线预测性能 30 /GTC China 2018

31 GPU 在线计算架构任务提交自由化 GPU 调用批次化调度方式通用化 31 /GTC China 2018

32 总结机器学习在搜索中应用愈加广泛 Learning To Rank & Learning To Extract 高层匹配框架 & 底层匹配框架深度学习模型在线预测性能优化历程 32 /GTC China 2018

33 谢谢 Thank you 33 /GTC China 2018

(Microsoft Word - 11\244T\246\342\277\337\260l\302\334.doc)

$(Microsoft Word - 11\244T\246\342\277\337\260l\302\334.doc)$ 赤川次郎作品集 11 三色貓追蹤序曲那是一隻凶猛的野狗加上饑餓, 正在虎視眈眈地注視孩子嘴裏啃著的香腸, 準備突然猛撲上去孩子還不滿三歲, 不曉得若想躲開那隻身體比自己大的惡犬一擊, 最好是把香腸扔掉, 但他反而緊握在手開