概要 Outline 辩是非 Discuss 1. 机器人视觉区别 2. 机器人视觉关联明事理 Understand 3. 机器人视觉概念 4. 机器人视觉理论析案例 Analyze 5. 机器人视觉系统 6. 机器人视觉仿真思未来 Reflect 7. 机器人视觉难点 8. 机器人视觉前景

Size: px

Start display at page:

Download "概要 Outline 辩是非 Discuss 1. 机器人视觉区别 2. 机器人视觉关联明事理 Understand 3. 机器人视觉概念 4. 机器人视觉理论析案例 Analyze 5. 机器人视觉系统 6. 机器人视觉仿真思未来 Reflect 7. 机器人视觉难点 8. 机器人视觉前景"

足例李
5 years ago
Views:

1 机器人感知 Robotic Perception 视觉部分 Vision Section 优秀的判断力来自经验, 但经验来自于错误的判断 Fred Brooks

2 概要 Outline 辩是非 Discuss 1. 机器人视觉区别 2. 机器人视觉关联明事理 Understand 3. 机器人视觉概念 4. 机器人视觉理论析案例 Analyze 5. 机器人视觉系统 6. 机器人视觉仿真思未来 Reflect 7. 机器人视觉难点 8. 机器人视觉前景

3 区别 Difference 机器人视觉, 计算机视觉, 生物视觉之间的共性?ill-defined problem 过程 : 映射变换重构处理反应参数 : 距离角度参考文献 :

4 区别 Difference 机器人视觉, 计算机视觉, 生物视觉之间的差异?ill-defined problem 过程 : 映射变换重构处理反应参数 : 位置姿态参考文献 :

5 关联 Relationship 关联图 ( 部分 ) 物理学信号处理机器学习技术类别输入输出信号处理电信号电信号电学光学图像处理图像图像图像处理计算机视觉计算机视觉图像信息 / 特征机器学习信息 / 特征信息机器视觉图像信息机器视觉机器人视觉机器人视觉图像物理行动参考文献 :

6 概念 Concept 机器人视觉 : 通过硬件设备获取环境信息, 使用相关算法进行处理, 提取有效信息, 控制机器人行动, 完成指定任务工业机器人服务机器人参考文献 :

7 概念 Concept 工业机器人视觉任务要求 : 引导定位物品检测分类测量数字标签 ( 二维码 ) 等参考文献 :

8 概念 Concept 服务机器人视觉任务要求 : SLAM 定位智能导航避障地图重建场景物体识别等参考文献 :

9 理论 Theory 示意图 ( 部分 ) 二维三维参考文献 :

10 理论 Theory 感知与控制参考文献 :

11 理论 Theory 能观性与能控性参考文献 :

12 理论 Theory 时间与空间 UNIX 很简单但需要有一定天赋的人才能理解这种简单 Dennis Ritchie 参考文献 :

理论 Theory 课程资源 Mathematical Methods for Robotics, Vision, and Graphics http://graphics.

ed.ac.uk/teaching/courses/ivr/ Vision Algorithms for Mobile Robotics http://rpg.ifi.uzh.

html Robotics: Perception https://www.coursera.

13 理论 Theory 课程资源 Mathematical Methods for Robotics, Vision, and Graphics Introduction to Robotics INTRODUCTION TO VISION AND ROBOTICS Vision Algorithms for Mobile Robotics Robotic Vision Robotics: Perception Robotics: Vision Intelligence and Machine Learning Computer vision 年ROS暑期学校参考文献

14 系统 System 硬件 + 软件 : 输入 + 输出光源镜头主控机械电气相机电机视觉处理软件运动控制软件感知系统控制系统参考文献 :NASA

15 系统 System 硬件 :RGB RGBD Motor... 输入 : 输出 : 参考文献 :ROS

16 系统 System 软件相机标定 : 人脸识别 : 物体跟踪 : 软件在能够复用前必须先能用 Ralph Johnson 参考文献 :ROS

17 仿真 Simulation Leap Motion geometry_msgs/twist geometry_msgs/vector3 linear float64 x float64 y float64 z geometry_msgs/vector3 angular float64 x float64 y float64 z 参考文献 :

18 仿真 Simulation Tool Teleop 优秀的代码是它自己最好的文档当你考虑要添加一个注释时, 问问自己, 如何能改进这段代码, 以让它不需要注释? Steve McConnell 代码大全 std::cout<<"tool, id: "<< tool.id() <<std::endl; std::cout<<"tool position: "<<tool.tipposition() <<", direction: "<<tool.direction()[0] << std::endl; float x_speed = tool.direction()[1]; float z_rspeed = tool.direction()[0]; geometry_msgs/twist geometry_msgs/vector3 linear float64 x float64 y float64 z geometry_msgs/vector3 angular float64 x float64 y float64 z // linear speed if (x_speed > 0.3){teleop_.linear.x = std::min(x_speed * 0.5, 0.3);} else if (x_speed < -0.3){teleop_.linear.x = std::max(x_speed * 0.5, -0.3);} else{teleop_.linear.x = 0;} //angular speed if (z_rspeed > 0.25 z_rspeed < -0.25){teleop_.angular.z = z_rspeed;} else{teleop_.angular.z = 0;} vel_pub.publish(teleop_); 参考文献 :

19 仿真 Simulation leapros.msg Header header geometry_msgs/vector3 direction geometry_msgs/vector3 normal geometry_msgs/point palmpos geometry_msgs/vector3 ypr geometry_msgs/point thumb_metacarpal geometry_msgs/point thumb_proximal geometry_msgs/point thumb_intermediate geometry_msgs/point thumb_distal geometry_msgs/point thumb_tip geometry_msgs/point index_metacarpal geometry_msgs/point index_proximal geometry_msgs/point index_intermediate geometry_msgs/point index_distal geometry_msgs/point index_tip geometry_msgs/point middle_metacarpal geometry_msgs/point middle_proximal geometry_msgs/point middle_intermediate geometry_msgs/point middle_distal geometry_msgs/point middle_tip geometry_msgs/point ring_metacarpal geometry_msgs/point ring_proximal geometry_msgs/point ring_intermediate geometry_msgs/point ring_distal geometry_msgs/point ring_tip geometry_msgs/point pinky_metacarpal geometry_msgs/point pinky_proximal geometry_msgs/point pinky_intermediate geometry_msgs/point pinky_distal geometry_msgs/point pinky_tip 参考文献 :

20 仿真 Simulation Line Following Robot 参考文献 :bing, ROS, Github, OpenCV

21 仿真 Simulation Line detection and control 参考文献 :bing, ROS, Github, OpenCV

22 仿真 Simulation adaptive? 参考文献 :bing, ROS, Github, OpenCV

23 仿真 Simulation scalability? 参考文献 :bing, ROS, Github, OpenCV

24 难点 Difficulty 需求多样性功能复杂性反应实时性干扰随机性环境非标准任务不确定参考文献 :bing, ROS, Github, OpenCV

25 展望 Future 技术 - 艺术共性 - 个性参考文献 :ROS in art installations/projects

26 致谢 Acknowledgement 特别感谢 : 易科机器人实验室 ROS 星火计划 (NXROBO&EXBOT) 机器人操作系统 (ROS) 教育基金会华东师范大学清华大学深圳研究生院深圳市元创兴科技有限公司参考文献 :bing, ROS, Github, OpenCV

<4D6963726F736F667420576F7264202D20C9CFBAA3BFC6BCBCB4F3D1A7D0C5CFA2D1A7D4BA32303136C4EAC7EFBCBEC8EBD1A7B2A9CABFD7CAB8F1BFBCCAD4CAB5CAA9CFB8D4F22D30343036C8B7B6A8B8E5>

<4D6963726F736F667420576F7264202D20C9CFBAA3BFC6BCBCB4F3D1A7D0C5CFA2D1A7D4BA32303136C4EAC7EFBCBEC8EBD1A7B2A9CABFD7CAB8F1BFBCCAD4CAB5CAA9CFB8D4F22D30343036C8B7B6A8B8E5> 上海科技大学信息科学与技术学院年度博士资格考试实施细则一总则本细则由上海科技大学信息科学与技术学院 ( 以下简称信息学院 ) 教学指导委员会讨论制定, 适用于信息学院 2014 级硕士研究生的年度博士资格考试信息学院 2014

概要 Outline 辩是非 Discuss 1. 机器人视觉区别 2. 机器人视觉关联 明事理 Understand 3. 机器人视觉概念 4. 机器人视觉理论 析案例 Analyze 5. 机器人视觉系统 6. 机器人视觉仿真 思未来 Reflect 7. 机器人视觉难点 8. 机器人视觉前景

概要 Outline 辩是非 Discuss 1. 机器人视觉区别 2. 机器人视觉关联明事理 Understand 3. 机器人视觉概念 4. 机器人视觉理论析案例 Analyze 5. 机器人视觉系统 6. 机器人视觉仿真思未来 Reflect 7. 机器人视觉难点 8. 机器人视觉前景