机器人感知 Robotic Perception 视觉部分 Vision Section 优秀的判断力来自经验, 但经验来自于错误的判断 Fred Brooks
概要 Outline 辩是非 Discuss 1. 机器人视觉区别 2. 机器人视觉关联 明事理 Understand 3. 机器人视觉概念 4. 机器人视觉理论 析案例 Analyze 5. 机器人视觉系统 6. 机器人视觉仿真 思未来 Reflect 7. 机器人视觉难点 8. 机器人视觉前景
区别 Difference 机器人视觉, 计算机视觉, 生物视觉之间的共性?ill-defined problem 过程 : 映射 变换 重构 处理 反应 参数 : 距离 角度 参考文献 :https://www.blippar.com/
区别 Difference 机器人视觉, 计算机视觉, 生物视觉之间的差异?ill-defined problem 过程 : 映射 变换 重构 处理 反应 参数 : 位置 姿态 参考文献 :https://www.blippar.com/
关联 Relationship 关联图 ( 部分 ) 物理学 信号处理 机器学习 技术类别输入输出 信号处理电信号电信号 电学 光学 图像处理图像图像 图像处理 计算机视觉 计算机视觉图像信息 / 特征 机器学习 信息 / 特征信息 机器视觉图像信息 机器视觉 机器人视觉 机器人视觉图像物理行动 参考文献 :https://blog.robotiq.com/
概念 Concept 机器人视觉 : 通过硬件设备获取环境信息, 使用相关算法进行处理, 提取有效信息, 控制机器人行动, 完成指定任务 工业机器人 服务机器人 参考文献 :http://coppeliarobotics.com/
概念 Concept 工业机器人视觉任务要求 : 引导定位 物品检测 分类测量 数字标签 ( 二维码 ) 等 参考文献 :https://cn.bing.com
概念 Concept 服务机器人视觉任务要求 : SLAM 定位 智能导航 避障 地图重建 场景物体识别等 参考文献 :https://cn.bing.com
理论 Theory 示意图 ( 部分 ) 二维 三维 参考文献 :https://cn.bing.com
理论 Theory 感知与控制 参考文献 :http://wiki.ros.org/robots/tiago/tutorials
理论 Theory 能观性与能控性 参考文献 :http://wiki.ros.org/robots/tiago/tutorials
理论 Theory 时间与空间 UNIX 很简单 但需要有一定天赋的人才能理解这种简单 Dennis Ritchie 参考文献 :https://cn.bing.com
理论 Theory 课程资源 Mathematical Methods for Robotics, Vision, and Graphics http://graphics.stanford.edu/courses/cs205a/ Introduction to Robotics https://www.cs.cmu.edu/afs/cs.cmu.edu/academic/class/16311/www/current/ INTRODUCTION TO VISION AND ROBOTICS https://www.inf.ed.ac.uk/teaching/courses/ivr/ Vision Algorithms for Mobile Robotics http://rpg.ifi.uzh.ch/teaching.html Robotic Vision https://people.csail.mit.edu/hchengwang/courses.html Robotics: Perception https://www.coursera.org/learn/robotics-perception Robotics: Vision Intelligence and Machine Learning https://www.edx.org/course/robotics-vision-intelligence-machine-pennx-robo2x Computer vision http://vision.princeton.edu/ 2018年ROS暑期学校 7.21-7.28 参考文献 https://cn.bing.com
系统 System 硬件 + 软件 : 输入 + 输出 光源 镜头 主控 机械 电气 相机 电机 视觉处理软件 运动控制软件 感知系统 控制系统 参考文献 :NASA
系统 System 硬件 :RGB RGBD Motor... 输入 :http://wiki.ros.org/sensors 输出 :http://wiki.ros.org/motor%20controller%20drivers 参考文献 :ROS
系统 System 软件 相机标定 :http://wiki.ros.org/camera_calibration 人脸识别 :http://wiki.ros.org/face_detector 物体跟踪 :http://wiki.ros.org/find_object_2d 软件在能够复用前必须先能用 Ralph Johnson 参考文献 :ROS
仿真 Simulation Leap Motion geometry_msgs/twist geometry_msgs/vector3 linear float64 x float64 y float64 z geometry_msgs/vector3 angular float64 x float64 y float64 z 参考文献 :http://irisclasson.com
仿真 Simulation Tool Teleop 优秀的代码是它自己最好的文档 当你考虑要添加一个注释时, 问问自己, 如何能改进这段代码, 以让它不需要注释? Steve McConnell 代码大全 std::cout<<"tool, id: "<< tool.id() <<std::endl; std::cout<<"tool position: "<<tool.tipposition() <<", direction: "<<tool.direction()[0] << std::endl; float x_speed = tool.direction()[1]; float z_rspeed = tool.direction()[0]; geometry_msgs/twist geometry_msgs/vector3 linear float64 x float64 y float64 z geometry_msgs/vector3 angular float64 x float64 y float64 z // linear speed if (x_speed > 0.3){teleop_.linear.x = std::min(x_speed * 0.5, 0.3);} else if (x_speed < -0.3){teleop_.linear.x = std::max(x_speed * 0.5, -0.3);} else{teleop_.linear.x = 0;} //angular speed if (z_rspeed > 0.25 z_rspeed < -0.25){teleop_.angular.z = z_rspeed;} else{teleop_.angular.z = 0;} vel_pub.publish(teleop_); 参考文献 :https://cn.bing.com
仿真 Simulation leapros.msg Header header geometry_msgs/vector3 direction geometry_msgs/vector3 normal geometry_msgs/point palmpos geometry_msgs/vector3 ypr geometry_msgs/point thumb_metacarpal geometry_msgs/point thumb_proximal geometry_msgs/point thumb_intermediate geometry_msgs/point thumb_distal geometry_msgs/point thumb_tip geometry_msgs/point index_metacarpal geometry_msgs/point index_proximal geometry_msgs/point index_intermediate geometry_msgs/point index_distal geometry_msgs/point index_tip geometry_msgs/point middle_metacarpal geometry_msgs/point middle_proximal geometry_msgs/point middle_intermediate geometry_msgs/point middle_distal geometry_msgs/point middle_tip geometry_msgs/point ring_metacarpal geometry_msgs/point ring_proximal geometry_msgs/point ring_intermediate geometry_msgs/point ring_distal geometry_msgs/point ring_tip geometry_msgs/point pinky_metacarpal geometry_msgs/point pinky_proximal geometry_msgs/point pinky_intermediate geometry_msgs/point pinky_distal geometry_msgs/point pinky_tip 参考文献 :https://cn.bing.com
仿真 Simulation Line Following Robot 参考文献 :bing, ROS, Github, OpenCV
仿真 Simulation Line detection and control 参考文献 :bing, ROS, Github, OpenCV
仿真 Simulation adaptive? 参考文献 :bing, ROS, Github, OpenCV
仿真 Simulation scalability? 参考文献 :bing, ROS, Github, OpenCV
难点 Difficulty 需求多样性 功能复杂性 反应实时性 干扰随机性 环境非标准 任务不确定 参考文献 :bing, ROS, Github, OpenCV
展望 Future 技术 - 艺术共性 - 个性 参考文献 :ROS in art installations/projects
致谢 Acknowledgement 特别感谢 : 易科机器人实验室 ROS 星火计划 (NXROBO&EXBOT) 机器人操作系统 (ROS) 教育基金会华东师范大学清华大学深圳研究生院深圳市元创兴科技有限公司 参考文献 :bing, ROS, Github, OpenCV