Year: Teacher: 罗定生 Author: 果果 [Lecture AI 01] Overview of AI Outline What is AI? Foundations and Interdisciplinary( 跨学科 ) Brief History New

Transcription

1 Year: Teacher: 罗定生 Author: 果果 [Lecture AI 01] Overview of AI Outline What is AI? Foundations and Interdisciplinary( 跨学科 ) Brief History New Progress Summary Key Issues to Lecture1 1. Human nervous system 2. What is AI? AI attempts to understand intelligence entities, strives to building intelligent agents that perceive and act in an environment, and makes machines smarter in human-level intelligence AI 尝试理解智能的实体, 努力建立一个智能的可以感知环境和在环境中行动的 agent, 并使得机器在人类理解的智能层次上更加聪明 3. AI 的几类观点 Think as human Act as human Think rationally Act rationally 4. Rational Rational: maximally achieving pre-defined goals( 最大程度低达到最初的目标 ) Rationality only concerns what decisions are made (not necessary the thought process behind them) ( 至于做出了什么决定有关, 而与之过程无关 ) Goals are expressed in terms of the utility of outcomes( 目标由结果的可用性定义 ) 页 1

2 Being rational means maximizing your expected utility( 理性的就代表取得最大期望的结果 ) 5. The Turing Test 6. 人工智能能否超越人类智能? [Lecture AI 02] Intelligent Agent and Robotics Outline Agent and Robot Environment The Structure of Agents Robotics Summary - Agent - Robot - The Nature of Environment - The Structure of Agents - Learning Agents - Robotics Key Issues to Lecture2 1. Agent 和 Robot 的概念 (1). Agent 的概念 : An agent is just something that acts - operate autonomously, 自主操作 - perceive their environment, 感知环境 - persist over a prolonged time period, 持续运行较长时间 - adapt to change 能适应变化 - create and pursue goals. 设定和追求目标 An agent is anything that can be viewed as perceiving its Environment through Sensors and acting upon that environment through Actuators. (2). Robot 的概念 : 页 2

3 - 机器人 (Robot) 是自动执行操作的机械装置 它既可以接受人类指挥, 又可以运行预先编制的程序, 也可以根据以人工智能技术制定的原则纲领行动 它通过协助或取代人们所从事的工作来服务于人类社会 2. Agent function 与 Agent program (1). agent function agent 对外界环境的感知, 可以看成一个感知的序列 数学地来讲, 一个 agent 的行为可以被描述为将感知的序列 P* 映射到一个行为 a A 的 action function f (2). Agent program Agent program 是在物理架构上实现函数 f (3). Agent function 和 agent program 的比较 Agent function 是一个抽象的数学描述 ;agent program 是一个具体的实现, 是依赖于物理系统的 3. Rational Agent (1). Rational 依赖于四个方面 : 定义成功标准的绩效衡量标准 ; Agent 对环境的先验知识 ; Agent 可以执行的行为 ; Agent 对环境的感知序列 Rational 不是成功, 不是无所不知, 不是明察秋毫, 而是探索 学习和自主 (2). Rational agent 的定义 : 对每个可能的感知序列,rational agent 应该选择预期能最大化绩效的行为, 并体现出其利用了感知序列和自己的内置知识 4. Task Environment (1). 任务环境描述 PEAS 性能指标 (performance measurement), 环境 (environment), 促动器 (actuators), 传感器 (sensors) (2). 例子 :( 自动驾驶汽车的 task environment) 性能指标 收, 乘客满意度, 油耗, 罚单, 保险费 环境 街道, 乘客,, 其他 辆 促动器 页 3

4 向盘, 刹 系统, 油, 显 器 / 扬声器 传感器 照相机, 雷达, 引擎传感器, 克, 速度仪表 (3). Task environment 的属性 : 全部可观察的 vs 部分可观察的单一智能体 vs 多智能体变化确定性 vs 随机变化性由片段组成的 vs 关联序列的 ( 即行为相互独立或者有相关性 ) 静态的 vs 动态的离散的 vs 连续的 已知的 vs 未知的 5. The job of AI (1). The job of AI: is to design an agent program that implements the agent function the mapping from percepts to actions. 设计一个 agent program 能够实现把感知 map 到行为的 agent function 6. Basic types of agents (1). Four basic types 简单反射型智能体 simple reflex agents 记录状态的反射智能体 ( 基于模型的反射智能体?)model-based reflex agents 基于目标的智能体 goal- based agents 基于功效的智能体 utility-based agents 页 4

5 7. Robot structure 机体构成 : 机械部分传感部分控制部分 系统构成 : 驱动系统机械结构系统传感系统机器人 - 环境交互系统人机交互系统控制系统 页 5

6 8. Humanoids( 仿人机器人 ) (1). 仿人机器人 (Humanoid Robot) 是指模仿人的形态而设计制造的机器人 作为结构复杂 高度集成的机器人家族成员, 由于其追求与人相似, 因此更适合在人的生活和工作环境中与人协同工作, 从而成为机器人研究领域突出的热点 (2). 主要研究内容 机体设计与制造 系统结构与传感器 双足运动与平衡控制 动力学建模及优化 学习与认知 定位与导航 人机 ( 机器人 ) 互动与协作 各类智能行为 应用系统 [Lecture AI 03] Robot Hardware Architecture Outline PKU-HR6.0 仿人机器人 四轴飞行器 Key Issues to Lecture3 1. How to design a physical robot? (1). 考虑机器人的组成机械部分 硬件部分 软件部分 (2). 机械部分 : 材料 ( 铝镁合金 ), 外形可以通过 3D 打印 硬纸模 ( 初步设计 ) 页 6

7 结构 : 行走方式 ( 多足 滚轮 ) (3). 硬件部分 : 如何知道需要哪些硬件? 首先了解机器人的抽象框架是从 sense 到 plan 到 action 的流程, 针对 sense 我们需要传感器, 针对 plan 我们需要控制器, 针对 act 我们需要执行机构 针对传感器 ( 听觉传感器 ) 我们应该如何选择麦克风? 市面上可选择的传感器的接口采用什么协议 ( 如, USB 协议 ), 或者自己动手制作 ( 麦克风电路,USB 声卡 ) ( 视觉传感器 )2D?3D?( 双目摄像头, 深度摄像头 ) ( 姿态传感器 ) 机器人需要时刻知道自身的状态 ( 整体的状态 + 局部的状态 ) 惯性测量单元 ( 加速度计, 陀螺仪 - 角速度传感器, 磁罗盘 - 方向 ) 针对控制器 根据功能划分为 : 主控和从控 根据芯片架构划分 :x86 或 ARM 考虑的问题 : 哪种架构的控制作为主控 从控? 是么时候用从控? 主控和从控之间的连接方式? 针对执行结构 舵机 : 采用什么总线协议与控制器连接? 其他 电源管理模块 : 考虑系统有哪几个电压需求? 电源模块的参数 ( 输入电压 输出电压 输入电流 连续工作电流 输出功率 ) 电源模块之间的连接 散热模块 - 风扇 : 为什么需要? 安装在什么地方? 考虑的其他因素 (3). 软件部分机器人开发的几种方式 : 机器人软件 电脑操作系统 + 机器人软件 电脑操作系统 + 机器人操作系统 + 机器人软件主流是 Ubuntu + ROS + Software 2. Main types of robot software architecture 机器人开发的几种方式 : 机器人软件 电脑操作系统 + 机器人软件 电脑操作系统 + 机器人操作系统 + 机器人软件主流是 Ubuntu + ROS + Software 页 7

8 3. Common types of aircraft and their characteristics 固定翼 ( 如飞机 ) 优点 : 续航时间最长 飞行效率最高 载荷最大缺点 : 必须要助跑, 降落的时候必须要滑行 直升机优点 : 垂直起降缺点 : 续航时间没有优势, 机械结构复杂, 维护成本高 多旋翼优点 : 垂直起降, 机械结构简单, 易维护缺点 : 载重和续航能力都更差 [Lecture AI 04] Sensing and Sensors Outline What is Sensing? Human Sensing and Organs Vision and Audition Force and Tactile Sensing Inertial Sensing, GPS and Odometry Sonar Sensing Range Sensing Bridging the Sensing Gap Multisensory Data Fusion Summary 页 8

9 Key Issues to Lecture4 1. Sensing and Perception (1) Sensing - 从环境中收集信息 - 通过不同的传感器 - 每种传感器都基于自身不同的传导原理 (transduction principle) 将能量从一种形式转化成另一种形式 2. About Human (1) 人的 Sensing 和器官 - 视觉 : 眼睛 ( 光学与光 ) - 听觉 : 耳朵 ( 声学和声音 ) - 气味 : 鼻子 ( 气相化学 ) - 味道 : 舌头 ( 液相化学 ) - 触觉 : 皮肤 ( 力学, 热学 ) 3. Sensing Gap (1) 直观的想法 : 使用相应的传感器来模拟人类的器官 (2) Gap: 感受到的信息 真实世界 ( 对传感器和人的器官都是一样的 ) (3) 因此, 需要对 sensed information 和 real case 的关系建模 (4) 另一方面, 传感器能获得比器官更多的信息, 4. Various Sensing and Sensors (1) Vision and Audition( 视觉和听觉 ) - 视觉 : 相机 & 计算机视觉 - 听觉 : 麦克风 & 计算机听觉 (2) Force and Tactile Sensing( 力和触觉传感器 ) - 触感用于 :manipulation( 操纵 ) Exploration response( 检测和与其他智能体进行交互 ) - 跟动物成千上万的细胞相比, 传感器的数量不够多 : 集成传感器的人工皮肤材料 局部处理感知到的信息并通过一跟共同的总线传递信息来减少线路使用量 - 力传感用于 : 估算力的大小和扭转力的大小, 可以用来插入或旋转物体时使用, 对机器人自身的控制也很重要 页 9

10 比如机器人的手指上需要很多这两种传感器 (3) Inertial Sensing,GPS and Odometry( 惯性测量单元 GPS 和里程计 ) - GPS( 基于卫星的定位 ) 全球导航系统, 在户外经常会需要遇到对于地球上任意一个位置, 提供当下时间和地理位置的三维坐标通过比较接收到的不同卫星发射的信号之间的延迟来计算位置起初应用于军事, 现已得到广泛应用 - Odometry 是基于机器人安装的传感器, 对自身的位置和运动状态的自我估计 使用里程计对装置的位置进行推算或者演绎推算, 在航海上经常被使用 - Gyroscope( 陀螺仪 ) 利用一些旋转下可观测的物理定律来测量装置方位的变化 基于机械原理的陀螺仪 基于光学的 基于 MEMS-based system( 微机电系统 ) 的 - Accelerometers( 加速度计 ) 正如陀螺仪可以用来测量 robot 的方向的变化, 加速度计可以用来测量装置受到的外力 加速度计用一系列不同的机制, 把外力转换为计算机可读的信号 机械加速度计 压电加速度计 - Magnet Compass( 磁罗盘 ) 用于导航方向和定位, 显示相对于地理的 基本方向 或者 点 - IMU( 惯性测量单元 ) 使用上面三个元件组成的测量系统, 用来计算装置的相对位移, 速度和加速度的 - Sonar Sensing 使用声音来定位和测距, 可以用于目标探测 - Range Sensing 利用光测距 5. Multi-sensor Data Fusion (1) 在很多情况下, 单个传感器不满足条件, 所以多传感器的结合也很重要 将多个传感器的数据融合起来, 得到对环境的具有鲁棒性的完整的感知 (2) 如何融合? - Bayes Rule( 贝叶斯规则 ) 页 10

11 - - Probabilistic Grids( 概率网格 ) - The Kalman Filter( 卡尔曼滤波器 ) - Sequential Monte Carlo Methods( 顺序蒙特卡罗法 ) 6. An Example (1) How to model? ( 建立感知的数据和外界环境之间的联系 ) 很多方法是高维的 严重非线性的 (2) 推荐 Gaussian Process(GP) Regression( 高斯过程回归法 ) 给定一个观测到的数据集 D = {x,y} n,n 个输入 - 输出对 对一个新的对 {x *,y *}, 满足 y = y * 的概率满足 n+1 个点的 n+1 维正态分布 其中对于这 n+1 维会有一个协方差矩阵 (3) 使用 GP 的例子 (PKU-Robot 6.0): 对意外的推力, 使用的二元组是 D = {z, f} n,z 表示传感器的输入,f 表示实现标记好的对应的实际的力度大 小 对在斜面上行走, 使用的二元组是 D = {{z, sita} ni } m, 其中 m 是相位变量可能的值, 对每个 i 的范围是从 1- m [Lecture AI 05] Kinematics and Dynamics Outline Introduction Kinematics Forward Kinematics( 正向动力学 ) Inverse Kinematics( 反向动力学 ) Dynamics Dynamic Equations and Models Algorithms for forward/inverse Dynamics 页 11

12 Summary Key Issues to Lecture5 1. Basic concepts about kinematics and dynamics( 动力学和运动学的基本概念 ) (1) 机器人的是通过 joints( 除非有特别说明 ) 连接的刚体系统 (2) 机器人运动学 : 描述机器人的姿势 加速度和速度以及其高阶导数, 不涉及导致运动的力的问题 (3) 机器人动力学 : 表达制动器和接触力的关系, 以及导致的加速度的变化和运动轨迹 2. How are rigid bodies usually connected( 刚体通常如何连接 ) serial chain( 串联链 ): 由各部分串联而成的刚体系统, 每个部分与另外两个构件连接, 除了头和尾只与另外一个连接 fully parallel mechanism( 并联 ): 两个构件之间可能有多个构件 tree structure: 树结构类似于串行链, 因为它没有闭合环, 但与串联链不同, 每个成员可能有多个成员连接到它, 形成多个分支 3. chain multiply rule( 链式乘法规则 ) 刚体的运动学变化主要可以分为平移和旋转, 平移描述位置的变化, 旋转描述方向的变化 在计算坐标变换时, 旋转更方便的表示形式是旋转矩阵 (Rotation Matrix) 三维空间的旋转矩阵可以表示成 3x3 的矩阵, 将欧拉角转换为旋转矩阵的计算方式如下, 假设欧拉角 yaw pitch roll 的角度为 alpha, beta, gamma, 则旋转矩阵可以计算如下 : 页 12

13 其中 :, 分别描述三个方向上的旋转 因此 : 如果 frame i 和 frame j 的相对位置和方向是已知的, 则 frame i 的任何一个向量都可以通过一个均匀变换矩阵转化成 frame j 的向量 i 到 j 的变换矩阵写作 jt i, 则 kt i = kt j jt i, 所以有 N 个构件组成的串联链的每个构件, 可以利用链式乘法规则计算 ( 由于矩阵乘法是不可逆的, 所以矩阵相乘的顺序很重要 ) 4. Basic types of joints( 关节的基本类型 ) (1) 旋转接头 1 DOF ( Variable - Υ) (2) 棱柱型接头 1 DOF (linear) (Variables - d) (3) 球型接头 3 DOF ( Variables - Υ1, Υ2, Υ3) 5. Forward and inverse kinematics as well as their solutions( 前 / 反向动力学 ) (1) Forward Kinematics 解决的问题是第一个串联链, 计算出 end-effector 的位置和方向, 计算的时候运用关节的基本信息和连接部位的参数总的来说就是, 通过角度计算姿势 ( 即位置 ) What you are given: 每个 link 的长度, 每个 joint 的角度 What you are expected: 每个关节的位置 ( 如 : 三维坐标 ) (2) Inverse Kinematics 给定 end-effector 的位置和方向和每个部件的基本信息, 求每个节点的相关参数和上面的问题是反向的, 很显然, 逆运动学问题需要求解非线性方程组, 而且有可能不存在相应的解 总的来说就是, 给定姿势, 求解如何达到这个位置 What you are given: 每个 link 的长度, 某些 joint 的 pose What you are expected: 为达到这个姿势, 每个关节的角度 只有在机械臂的运动空间的位置才可能存在解 在有些有解的情况下, 不能以 closed form 表示, 因此需要 numerical solution: 页 13

14 Closed form 就是通过一些严格的公式, 给出自变量可以求出其因变量, 而数值方法可能就是利用逼近 差值等等计算 例如 :x^2=5,closed form 就是 5, 而 numerical solution 可能是 Dynamics ( 动力学 ) (1) 机器人动力学关注的是作用在机器人机构上的力和它们产生的加速度之间的关系 (2) 通常情况下, 机器人机构被建模为刚体系统, 在这种情况下, 机器人动力学是将刚体动力学应用于机器人机器人动力学也有两个主要问题 : Forward Dynamics: 给出力求加速度 Inverse Dynamics: 给出加速度求力 (3) Motion: 运动矢量描述诸如速度, 加速度, 无穷小位移和运动自由度的量 Force: 力矢量描述力, 动量, 接触法线等 (4) 基础物理量及其关系 : 质量 重心 动量 角动量 如 : 受力 = 动量对时间的导数 (5) 动力学模型 : 机器人机构的基本刚体模型具有四个部件 : 连通图, 链接和关节几何参数, 链接惯量参数 关节点连接的一套模型 (6) 前 / 反向动力学的算法 [Lecture AI 08] Robot Motion Skills Outline Introduction Various Motion Skills How to be acquired / developed? 页 14

15 Motion Modelling Constraints should be tackled Gait Planning for Bipedal Walking Summary Key Issues to Lecture8 1. Motion skills is essential for agents to interact with the world( 运动技能是必不可少的 ) (1) Motion/action: 是智能体或机器人会影响环境或导致状态改变的一个行动或一串行动 (2) Robot motion skill: 是为了某些特定的目的, 采取有意义的移动或行为或者任务执行的能力 - Body structure dependent( 依赖于身体结构 ) - Usually needs to be acquired,or congenial needs to be enhanced( 需要被提高, 或者先天增强 ) - Usually an essential unit in task fulfilling( 通常是任务完成的基本单位 ) - Complicated one might be composed of simple/basic ones( 复杂运动可能由简单 / 基础的动作组成 ) (3) 对移动机器人来说,mobility 主要与机器人如何在空间移动有关, 且依赖于机器人的物理构成和移动方式 2. Various Motion Skills( 不同的运动技能 ) - Legs 轮子是适应特定的地形的, 但 leg 可以 : 自适应地在不同的地形上运动 可以有高速度 可以跨越障碍物 - Whegs - Wheels - 对人类来讲 : Climbing Standing up Walking / Omni-directional walking Running Taking stairs Grasping 页 15

16 Pick and place Interaction skills with human Manipulation More complex composed skills behavior? Playing tennis 3. Mobility emphasizes the move in space() 4. How to be acquired / developed?( 如何获取 / 开发 ) Motion Skill Formulization( 运动技能的形成 ) (1) Trajectory model for robot motion( 机器人运动轨迹模型 ) 架设机器人系统有 J 个关节, 给一个 action 或者 locomotion( 移动 ) 要求 a, 控制器的返回应该公式化为 : 其中 AngleSeq(j,a) = w j(t), t [0,T]; T 表示整个控制过程的时长,W j(t) 表示在 t 时刻第 j 个关节的角度值 (2) Bipedal walking skills Hand-tuning scheme( 手动调整 ) Dynamic model based methods( 基于动态模型的方法 ) Biological inspired methods( 生物启发法 ) Simulation based learning( 基于模拟的学习 ) Real robot based learning( 真正基于机器人学习 ) 5. Trajectory based Modelling( 基于轨迹建模 ) 6. Constraints should be tackled( 应解决的局限性 ) Static Stability vs Dynamic Stability (1) 约束是技能依赖的 (2) 基本要求 : 稳定 灵活 自然 (3) Static Stability vs Dynamic Stability 静态稳定即 : 重心一定要在两足之间, 动态稳定 : 重心可以在两组之外 (4) 2 phases:transfer: 腿可以在空中 ;support: 腿与地面接触 (5) Cycle time: 走出一步需要的时间 (6) Duty factor( 占空系数 ): 在一个周期中 leg 在 support 的时间长百分比 页 16

17 7. Gait Planning for Bipedal Walking( 双足行走的步态规划 ) IPM model (1) 理想情况下, 双足机器人通过再现步行模式实现行走 ; 在实际环境中, 双足机器人需要一个稳定器 (2) 二维倒立摆模型 (2D-IPM) 支撑脚切换状态是个三角形 ; 在行走一步的步行模式中, 支撑脚需要切换两次 ; 支撑脚切换的改进 : 支撑脚切换在瞬间完成导致质心速度不光滑, 质心加速度从最大跳跃到最小 ; 通过引入双足支撑阶段, 可以得到光华的速度和连续的加速度 (3) 三维倒立摆模型 (3D-IPM) 双足机器人近似为一个三维线性倒立摆 支撑点为球关节, 可以自由转动 ; 通过伸缩力可以改变腿的长度 [Lecture AI 09] Embodied View of Intelligence Outline Introduction I think,therefore I am( 思考决定行动 ) How the body shapes the way we think( 有一些无意识行为 ) Re-investigate: Thinking( 直观地, 思维与有意识的故意的想法有关, 是高层次的, 抽象的, 但存在无意识思维的概念 ) Consciousness( 什么是意识很难科学探究, 因为太具有主观性 ) 比起探究 thinking 和 consciousness 的定义, 更好地做法是承认我们解决的是一个有逐步变化现象的连续 体的问题 Two Ways of Approaching Intelligence( 接近智能的两种方法 ) Three Themes of Embodiment(embodiment 的三个主题 ) Conceptualization Replacement: 生物体与环境的交互代替了在认知中心进行表征过程的需要 Constitution: 身体和世界参与了认知过程, 而不仅仅是与认知为因果关系 Complete Agents( 完全 agent) 页 17

18 Agent design principles(agent 的设计原则 ) Summary Introduction of the new view Two ways of approaching intelligence Embodiment and its three themes Real world environment and the complete agents 8 principles to design a complete agent Key Issues to Lecture9 1. Basic ideas of the embodiment - the body shapes the way we think (1) cognition: 表示 agent 的一些不与传感器或运动单元直接相关的过程 一般认知问题, 是一些抽象的问题 : 问题的解决和推理 记忆 注意力 语言 Sensation -> perception -> cognition (2) Intelligence: 和 thinking 与 cognition 很类似, 但一般有着更广泛的含义 (3) 为了更好的理解和研究 intelligence, 用 embodiment - 一个类似于说 intelligence 需要一个身体 的观点 (4) Embodied Cognition 认为人的许多特征或其他类型的认知是由人体的除大脑以外的其他部分塑造的 认知的特征包括一个高层次的心理构造 ( 如概念和分类 ) 以及人们在不同的认知任务上的表现 ( 如推理和判断 ) 身体的各个方面包括运动系统, 感知系统, 身体与环境的相互作用 ( 位置 ) 以及建立在身体和大脑中的关于世界的假设 2. Two Ways of Approaching Intelligence - Classical Approach vs Modern Approach - The Classical Approach The focus is on the brain and central processing( 注重大脑和中央处理 ) - The Modern Approach The focus is on the interaction with the environment. ( 注重与环境的交互 ) Cognition is Emergent from the system-environment interaction. ( 认知来自于身体与环境的交互 ) Cognition is embodied, body is embedded in the environment ( 认知是有实体的, 身体是嵌入环境中的 ) Cognition, embodiment, environment make a dynamic unity! ( 认知 实体 环境是一个动态的结合 ) 页 18

19 3. Conceptualization( 概念化 ) The properties of an organism s body limit or constrain the concepts an organism can acquire. That is, the concepts on which an organism relies to understand its surrounding world depend on the kind of body that it has, so that were organisms to differ with respect to their bodies, they would differ as well in how they understand the world. 生物体的身体属性限制和约束了生物体能获得的概念 也就是说, 生物体理解他周围环境所使用的只是和理念, 都依赖于他的所拥有的身体 所以如果它们的身体有所不同, 则它们理解世界的方式也将有所不同 4. The concepts of Complete Agents - Real Worlds and Virtual Worlds 生物体的身体属性限制和约束了实体 agent 在真实世界中的想要完成的 function acquisition of information always takes time( 获取信息需要时间 ) the information is always very limited( 信息通常有限 ) always subject to disturbances and malfunctions( 总是受到干扰和故障 ) no longer with clearly defined, discrete states of the RW( 对真实世界的离散状态不再是明确定义 的 ) always have several things to do simultaneously( 通常需要同时完成几个任务 ) the real world has its own - Complete Agents it must fend for itself, deal with unforeseen situations, create its own objectives, and forage for energy among other things. ( 它必须自我保护, 处理不可预见的情况, 创造自己的目标, 并在其他事物 中获得能量 ) i.e., really faces the real world autonomously! On the other hand, in traditional view of artificial intelligence, agents were much more limited and did not have to deal with all of the difficulties of the real world. ( 在另一方面, 传统观点中,agent 都是有很大局限性, 不需要解决现实世界中的所有问题 ) - Most important properties From their embodied nature: They are subject to the laws of physics (energy dissipation, friction, gravity). ( 遵循物理规则 ) They generate sensory stimulation through motion and generally through interaction with the real world. ( 他们通过运动和与 real world 的交互产生 sensory) 页 19

20 They affect the environment through behavior. ( 通过行为影响环境 ) They are complex dynamical systems which, when they interact with the environment, have attractor states. They perform morphological computation( 进行形态学的计算 ) 5. Agent design principles (1) The Three-Constituents Principle( 三个构成要素的定义 ) Definition of the ecological niche( 所处的环境 ) Definition of the desired behaviors( 想要实现的行为 ) Structure design of the agent( 对 agent 的结构设计 ) 前两者合起来被称为 task environment (2) The Complete-Agent Principle 我们必须考虑其在实际环境中的行为 : 不同于将任务分成几个问题和子系统, 独立开发解决的 分而治之 的思想 强调在一个 complete agent 中所有事情是紧密相连的 (3) Cheap Design Principle( 设计尽可能简单 ) (4) Redundancy Principle( 冗余性原则 ) 一方面,agent 的子系统在不同的物理过程上有不同的作用 另一方面, 他们的作用需要有部分重叠 目的是, 为了设计更有鲁棒性的系统, 能适应环境的大变化 (5) Sensory-Motor Coordination Principle 只有当感觉和运动协调了, 才能有 structured sensory stimulation 通常有明确的目的, 是多种感官之间的协调, 体现身体和信息的关系, 人和动物的协调性特征体现了其认知和分类, 是成长过程中逐渐习得的能力 (6) Ecological Balance Principle This principle has two aspects.( 匹配 平衡和任务分配 ) (a)given a certain task environment, there has to be a match between the complexities of the agent s sensory, motor, and neural systems. (b)there is a certain balance or task distribution between morphology, materials, control, and environment. (7) Parallel, Loosely Coupled Processes( 并行地松散结合的过程 ) 页 20

21 (8) The Principle of Value System The intelligent agents are equipped with a value system which constitutes a basic set of assumptions about what is good for the agent. ( 智能体需要一个判断什么是对自己好的价值体系 ) The term loosely coupled is used in contrast to hierarchically coupled processes. It is very important because it deals with the fundamental issue of what is good for the agent, which then leads to the question of what the agent will or should do in a particular situation.( 很重要, 因为对于什么是好是坏的判断将影响 agent 在特定环境下应该做和会做什么 ) It is however extremely vague, and there is no consensus in the vast literature about how to approach it, neither in biology and psychology, nor in robotics and artificial intelligence. ( 但这是一个模糊的概念, 还没有达到共识 ) [Lecture AI 10] Brief Introduction to Learning Outline Introduction How Human Learn? Three Stages of Skill Acquisition Power-Law of Learning( 需要多样结合的复杂技能的加强, 遵循 power law 曲线, 大概是开始快后来慢慢趋向一个极限的感觉?) The Nature of Expertise Skill(proceduralization: 从 declarative knowledge 的应用转化为 pattern-driven 的 procedural knowledge 应用的过程 )(tactical learning: 达成特定目标的手段就是 tactic, 学习这种手段, 并根据目标使用 )(Strategic learning)(pattern learning and memory) Features of Human Learning( 漫长 难以简单复制 可能被遗忘 是积累的过程 ) How an Agent Learn? Machine Learning Discussions Summary Investigate human learning process Three Stages of Skill Acquisition How an Agent Learn? Machine Learning 页 21

22 Discussions: Agent < Machine Agent > Machine Key Issues to Lecture10 1. The basic idea on how human do w.r.t. skill acquisition Embodied development Learning: Brain changes with Skill Acquisition: 2. Three stages of human skill acquisition The first Stage:Cognitive Stage( 认知阶段 ) In this stage, participants develop a declarative encoding of the skill; that is, they commit to memory a set of facts relevant to the skill. ( 在这个阶段, 他们对技能进行声明性编码, 即把一系 列与技能有关的事实记住 ) The second Stage:Associative Stage( 关联阶段 ) First, errors in the initial understanding are gradually detected and eliminated. ( 首先, 在一开始的认识中的错觉逐渐被发现并修正 ) Second, the connections among the various elements required for successful performance are strengthened. ( 一些成功所必要的不同元素之间的联系被加强 ) The outcome of the associative stage is a successful procedure for performing the skill. (associate stage 的成果是技能的整个成功的执行流程 ) However, it is not always the case that the procedural representation of the knowledge replaces the declarative. Both forms of knowledge can coexist side by side ( 这个阶段获得的 procedural representation 不一定总是会取代原先 declarative 的知识, 两者可以 并存 ) While the procedural, not the declarative, knowledge governs the skilled performance ( 但 procedural 的是知识可以熟练支配的, 而 declarative 的不一定 ) The third Stage:Autonomous Stage( 自主阶段 ) The procedure becomes more and more automated and rapid. ( 程序变得越来越自动化和快速 ) 页 22

23 The concept of automaticity was how central cognition drops out of the performance of a task as we become more skilled at it. ( 自主的概念是随着我们的技能越来越熟练, 中央认知的参与就越来越少 ( 类似条件反射的感觉?)) Complex skills such as driving a car or playing chess gradually evolve in the direction of becoming more automated and requiring fewer processing resources. ( 一些复杂的技能, 比如驾车和下棋, 向着更加自动化和需要更少的处理资源的方向发展 ) 3. What are the main outputs of the research of de Groot (1965, 1966) et al in their attempting to determine what separated master chess players from weaker chess players A surprising discovery about expertise is that experts seem to display a special pattern learning and enhanced memory for information about the expertise skill. This enhanced memory was first discovered in the research. 专家的专业技能与模式学习和增强记忆有关 在这个研究中增强记忆被第一次发现 4. Basic concepts on Machine Learning (1) 机器学习是人工智能的核心研究方向 ; 主要是研究 如何使得机器具有学习的能力 ; 更确切地, 是研究 如何通过经验提升系统自身性能 为保证学习的质量, 需增加对系统性能改善程度的衡量或评价 (2) 机器学习的目的 : 是根据给定的已有经验 ( 训练样本 ) 求取对系统输入输出之间依赖关系的估计, 使它能够对新输入给出尽可能准确的输出 页 23

24 (3) 机器学习的过程 : 求解最小期望风险泛函的过程 (4) 机器学习方法论 : Learning from examples Inductive Learning( 归纳学习 ) 通过对训练数据的归纳推理, 得到一系列相应的对问题的概念描述, 而达到学习的目的 归纳学习算法如 : 决策树 (Decision tree ) 算法 (ID3,C4.5)(Quinlan); 描述空间算法 (Description space algorithm) (Mitchell); 诱导算法 (Induce algorithm) (Dietterich 和 Michalski) Learning from Observation( 基于观测的学习 ) 在这种学习方法中, 一个重要的形式是给被观测对象给出一个分类 然而, 传统的数值聚类方法不一定可行 这是由于传统的数值聚类方法仅仅考虑了对象的数值相似度 ( 一般表现为距离 ), 而没有考虑对象本身的内容 而概念聚类则是主要的解决方案 一个著名的概念聚类系统是由 Michalsky 和 Stepp 开发的 CLUSTER/2(/3) 系统 该系统的目的是产生一个有序或无序的概念结构图 (Concept structure graph) 另一类更高级的基于观测的学习形式是知识发现 (Knowledge Discovery) 数据挖掘(Data Mining) 也是一种基于观测的学习形式, 它属于知识发现的范畴 然而, 广义的数据挖掘技术范围很广, 包含了很多传统的数学和统计学的方法 广义数据挖掘领域的研究和机器学习领域的研究融合交叠 Rote Learning( 机械学习 ) 外界给学习系统提供新的信息和知识, 学习系统存储这些信息并且毫无改变地对它们进行直接利用 这样一种学习方式被称为机械学习 在构造一个机械学习系统时, 有如下三点需要考虑 :(i) 存取结构 : 仅当在系统所基于的存取结构的存取时间小于系统的重新计算时间的情况下, 机械学习才有意义 ;(ii) 稳定的外界环境 : 如果外界环境不断变化, 那么存储信息将很快变得无用, 机械学习也就失去了意义 ; (iii) 系统的计算与系统对新信息存储之间的折中问题 应用机械式学习的一个典型例子是 Samuel 的跳棋程序 CHECKERS 页 24

25 Learning from Demonstration( 示教学习 ) 与机械学习不同, 外界给学习系统提供的是一种高层次意义的信息, 学习系统必须将这种高层次信息转换成为系统能够执行和应用的有用信息 这种学习方法在学习过程中要反复对形成的知识进行评价, 使其不断完善 其学习过程一般由如下四个步骤组成 :(i) 征询示教者的指示或建议 ;(ii) 将所得到的信息转化为可执行的内部形式 ;(iii) 将经过转化后的知识并入知识库 ;(iv) 评价, 以便将存在的问题及时反映给示教者 Learning by deduction( 演绎学习 ) 其学习推理形式为演译推理 推理从公理出发, 经过逻辑变换推导出结论 这种推理是 保真 变换和 特化 (specialization) 的过程, 使得在推理过程中可以获取有用的知识 这种学习方法包含宏操作 (macro-operation) 学习 知识编辑和组块 (Chunking) 技术 演绎推理的逆过程是归纳推理 Explanation based learning( 基于解释的学习 ) 假定已知一个理论和基于该理论的一个实例 通过解释为什么这个实例能被该理论解决而得到另一个基于解释的概念描述 在这一过程中, 系统经学习获得启发式信息并建立一个解决相似问题的框架 这种基于解释的学习实际上是一个首先通过演绎解释, 继而通过归纳推广而得到对问题概念描述的过程 其目的是对训练样本得到一个广义的概念描述 从而达到学习的目的 Learning by analogy( 类比学习 ) 通过类比的方法分析两类不同问题间的一系列相似的概念描述, 这样可通过利用其中一类问题的求解经验知识, 完成对另一类问题的解决, 从而达到学习的目的 Burston 于 1986 年提出了一个基于类比学习的模型, 并基于这一模型开发了一个名为 CARL 的学习系统 多任务学习 (Multi-task learning) 迁移学习 (Transfer Learning) Connectionist Learning Learning based on Genetic Algorithm (4) ML: 研究 如何通过过往经验提升系统自身性能 什么是 过往经验 :learning samples - 如何界定 性能 : 来自系统所处理的当前任务 - 如何 提升 : 研究任务的表示模型 (learning machine) 及其学习算法 (learning algorithm) - 如何检验是否真正实现 性能提升? 通过学习对系统加以改变 针对 过往经验 的输入数据, 以 改变后的系统 进行检验 将 过往经验 分成两部分, 一部分用来学习以使得系统据此改变, 另一部分用以检验改变后系统的性能 ( 训练集与测试集 ) 针对当前任务的实际输入数据, 以 改变后的系统 进行检验 ( 推广性能 ) (5) ML 方法的分类 : 页 25

26 a) 从 过往经验的特点 i. Supervised Learning 监督学习 ii. iii. iv. Unsupervised Learning 非监督学习 Semi-Supervised Learning 半监督学习 Reinforcement Learning 增强学习 b) 从 ML 如何对学习样本加以利用的角度 i. Knowledge-Based Learning ii. Data-Driven Learning c) 从 当前任务 的特点 : i. Learning the classification 分类学习 ii. iii. iv. Learning the regression 回归学习 Learning the joint distribution 密度估计 Learning the control policy 学习控制策略 [Lecture AI 11] Reinforcement Learning Outline Introduction The Reinforcement Learning Problem Formulizing( 公式化 ) RL with MDP Q-Learning Temporal Difference Learning( 即时差分学习法 ) Summary 页 26

27 Key Issues to Lecture11 1. Understanding the RL (1) What is Reinforce Learning? Coarse understanding of Reinforcement Learning(RL 的粗略理解 ) Goal-directed learning from interaction( 目标导向性的 ) Learning what to do to achieve a given goal( 学习如何去达到一个给定的目标 ) How to map situations to actions( 如何将情境映射到行动 ) To achieve the goal could be regarded as to maximize a numerical reward signal( 获得最大的累积回报 ) Closed-loop( 闭合 ) Not having direct instructions The effect of the consequence of interactions (2) 与其他几类学习的区别 : Supervised Learning: 有事先标记好的训练集, 但 RL 则要求 agent 通过自己的经验学习 Unsupervised Learning: 其未标记的特点的和 RL 一样, 但两者目标不同, 非监督学习时为了发现隐藏结构, 而 RL 是为了 trying to maximize a reward signal (3) RL 的特点 : differs from traditional ML as mentioned above( 与之前提到的传统的 ML 不同 ) starting with a complete, interactive, goal-seeking agent( 基于一个完整的 可交互的有目标的 agent) through interaction ( 通过交互学习 ) action: state -> new state; reward with the environment: agent, state, model to achieve a goal: special state, highest reward take three aspects: sensation, action, goal delayed evaluation (values) and temporal control( 延迟回报 ) 增强学习的指导信息很少, 而且往往是在事后 ( 最后一个状态 ) 才给出的, 这就导致了一个问题, 就是获得正回报或者负回报以后, 如何将回报反馈给前面的状态 trade-off between exploration and exploitation( 探索和开发之间的权衡 ) closest to the kind of learning of human/animals( 接近人和动物的学习方式 ) 页 27

28 2. Comparison with other learning style( 见 1) 增强学习问题与其他的函数逼近问题不同 1 延迟回报(delayed scores/ values) 时间信用分配问题 (temporal credit assignment) 2 探索(exploration ) 探索与利用 (exploitation) 的权衡 3 部分可观察状态(partially observable states) 近似准确而非完全准确的假设 4 长期学习(life-long learning) 3. Agent-environment framework 4. Formulizing RL with MDP( 马尔可夫决策过程 ) State:S Action:A 在离散时间步 t,agent 的状态是 s t, 选择动作 a t, 环境响应 agent, 给出回报 r t = r(s t, a t), 产生一个后继状态 s t+1=δ(s t, a t) 在 MDP 中,r 和 δ 都只依赖于当前 state 和 action, 不依赖于以前的状态和动作 Agent 的任务 : 学习一个策略 π:s A, 以基于当前观察到的状态 st, 选择下一步动作 at; 即 π(st)=at 目标 : 使得 at 是最合理的选择, 即策略 π 最优 ( 最优基于此策略可获得的最大的延迟评估值, 比如通过累积回报来定义延迟评估值 ) 页 28

29 如何根据立即回报来定义累积回报? 有限水平回报 / 平均回报 / 折算累积回报 例子给的是一个格状的世界, 每一格到下一格的行动都有一个立即回报,V(s) 大概是求从起始状态到目标状态的最短路径可以获得最大的折算累积回报 ( 取的 gama 小于 1, 所以多走一步 reward 就会下降 ) 5. Value function, Q function, Q-Learning(Q 学习算法 ) 直接学习函数 π*: S A 很困难, 因为训练数据中通常无法提供 <s, a> 形式的训练样例 更容易的是学习一个定义在状态和动作上的数值评估函数, 然后以此评估函数的形式实现最优策略 方法一 : 选择 V * 作为评估函数, 学习 V * 方法二 : 选择 Q 函数作为评估函数, 学习 Q 函数方法一 :(Agent 可通过学习 V * 获得最优策略的条件是 : 它具有立即回报函数 r 和状态转换函数 δ 的完美知识 ) 方法二 :(Agent 只须考虑其当前的状态 s 下每个可用的动作 a, 并选择其中使 Q(s,a) 最大化的动作 即不须明确地考虑 以此动作得到的状态, 就可选择最优动作 ) 页 29

30 6. Temporal Difference Learning( 时间差分算法 ) 页 30

31 [Lecture AI 14] AlphaGo Outline 围棋的特点计算机下围棋概览策略网络 (Policy network) 估值网络 (Value network) 蒙特卡洛搜索树 (MCTS) AlphaGo 整体流程图 Key Issues to Lecture14 1. What is AlphaGo? AlphaGo 整体流程图 : 线下学习 ( 第一阶段 第二阶段 第三阶段 ) 在线对弈 2. Basic structures and ideas of AlphaGo (1) AlphaGo 系统的组成部分 策略网络 ( Policy Network)( 属于分类问题的机器学习问题 ) 给定当前局面, 预测 / 采样下一步的走棋 输入输出特征 Stone color/ones/turns since/liberties/capture size/self-atari size/liberties after move/ladder capture/ladder escape/sensibleness/zeros/player color 网络模型 (19*19 矩阵 下围棋要把握局部状态和全局状态 ) 卷积神经网络 一共 13 层 Input:size 19*19 48planes First layer: kernel size 5*5(Conv + ReLU)(192filters) 2 nd -12 th 层 :kernel size 3*3 (Conv + ReLU)(192filters) 13 th 层 :kernel size 1*1(1filter)(softmax) 页 31

32 训练数据 KGS 在线围棋数据库 (16w 棋局,3000 万盘面 )( 数据够吗?) 训练方法 Input > SL Policy network( 带监督的学习 ) > Probabilities of actions( 可能的走法 ) >golden action( 最好的走法 ) >SL Policy Network(BP 反向传播 ) 快速走棋 ( Fast rollout ) 目标和策略网络一样, 牺牲走棋质量但速度要快很多 为什么需要快速走棋?1 策略网络速度比较慢, 两者相差 1000 倍 ;2 快速走棋可以用来评估盘面 模型的选择 : 不是神经网络, 因为它的模型相对较慢 选择传统的局部特征匹配 + 线性回归 其它的参数跟前面的策略网络类似 估值网络 ( Value Network)( 属于回归问题的机器学习问题 ) 给定当前局面, 估计是白胜还是黑胜 输入输出特征 ( 和策略网络类似 ) 网络模型 ( 也是 CNN 卷积神经网络 ) Input:size 19*19 (48planes + 1 unit(current color)) 1 st ~13 th :size 5*5 ( 和策略网络一样 ) 14 th layer:fully-connected 256 ReLU unit 页 32

33 15 th layer:fully-connected 1 tanh unit 训练数据 ( 同策略网络 )( 但数据不足 解决方法 : 自对弈生成 3000 万局数据 ) 训练方法 ( 增强版的策略网络 ) 原先的策略网络存在的问题 ( 精度较低 ) 解决方法 ( 用强化学习训练一个增强版本的策略网络 ) 先用策略网络保证走棋的多样性, 然后随机走子, 取盘面, 然后用更精确的增强版策略网络走到底以得最 正确的胜负估计 蒙特卡罗搜索 ( 将上面三个部分连接起来 ) 3. What do you think about the event that AlphaGo beat human professional? 思考 AlphaGo 的弱点 : 1. 攻击其策略网络, 使其搜索空间变大 2. 估计其价值网络, 使其价值网络变得不稳定, 判断局面失效 4. Basic idea of the Monte Carlo Tree Search (1) 描述 - 以概率为基础 ( 大数定律 ) - 蒙特卡洛算法并不是一种算法的名称, 而是对一类随机算法的特性的概括 - 所有涉及随机取样和平均的算法都可以成为蒙特卡洛算法 (2) 核心思想采样越多, 越近似最优解 (3) 蒙特卡洛搜索树 : 将树搜索和蒙特卡洛搜索结合起来 (4) 优点 : 没有任何人工的 feature, 完全依靠规则本身, 通过不断想象自对弈来提高能力 MCTS 可以连续运行, 在对手思考对策的同时自己也可以思考对策 (5) 缺点 : 初始策略太简单 ( 改进版的 MCTS 利用策略网络和快速走子对初始策略进行了优化 ) (6) 过程 : Selection -> expansion -> simulation -> back - Propagation 页 33

34 [Lecture AI 15] Developmental Robotics Outline Introduction( 发育机器人学??) Basic concepts on DevRob Basic Methodology( 基本方法 ) Relationships with the Related Domains Three Main Features Central Questions and Status Human Children Cognitive Development( 人类儿童的认知发展 ) E.g.: Developing the Concept of Direction( 例子, 增强方向感 ) Summary Key Issues to Lecture15 1. The typical methodological approach and main characteristics of DevRob(DevRob 的主要方法和三个典型特征 ) (1) DevRob:Developmental Robotics (2) The typical methodological approach starting from theories of human and animal development( 从人和动物的发展开始 ) which elaborated in fields of developmental psychology, neuroscience, developmental and evolutionary biology, linguistics, etc.( 其中阐释了发展心理学 神经学 发展和进化生物学 语言学等领域 ) then to formalize and implement them in robots( 然后在机器人中正式化和实现他们 ) sometimes exploring extensions or variants of them( 又是探索他们的进一步拓展或变体 ) (3) Contemporary With theories of human and animal development, computational models are established( 关于人和动物的发展, 建立了相应的计算模型 ) The experimentation of those models in robots allows researchers to confront them with reality( 这些模型在机器人上的实验, 使得研究者能够在真正的人或动物上应用分析 ) 页 34

35 And as a consequence, developmental robotics also provides feedback and novel hypotheses on theories of human and animal development.( 结果, 发展机器人学反过来促进了人和动物发展理论的发展和新理论的提出 ) (4) Three main features a) It targets task-independent architectures and learning mechanisms,( 目标是任务独立的框架和学习机制 ) i.e. the machine/robot has to be able to learn new tasks that are unknown by the engineer b) It emphasizes open-ended development and lifelong learning, ( 它强调开放式发展和终身式学习 ) i.e. the capacity of an organism to acquire continuously novel skills. This should not be understood as a capacity for learning "anything" or even everything, but just that the set of skills that is acquired can be infinitely extended at least in some (not all) directions; ( 技能可以在某些方向不断延展 ) c) The complexity of acquired knowledge and skills shall increase (and the increase be controlled) progressively.( 获得的知识和技能需要逐步发展 - 发展是被控制的 ) 2. Relationships with the related domains( 与相关领域的关系 ) with Classical AI Not assume the capability of advanced symbolic reasoning( 符号推理 ) Focuses on embodied and situated sensorimotor and social skills rather than on abstract symbolic problems.( 注重实体机器人和社会技能, 不注重数学符号推理 ) with Traditional Machine Learning Targets task-independent self-determined learning rather than task-specific inference over "spoon fed human-edited sensory data" (Weng et al., 2001).( 不是目标驱动的而是自主的学习 ) with Cognitive Robotics Focuses on the processes that allow the formation of cognitive capabilities rather than these capabilities themselves( 注重认知形成的过程, 而不注重认知能力 ) with Computational Neuroscience ( 计算神经科学 ) Focuses on functional modeling of integrated architectures of development and learning. ( 专注于发展和学习集成的结构模型 ) with Evolutionary Robotics (ER). ( 进化机器人 ) ER uses populations of robots that evolve over time (ER 使用随时间演化的机器人 ) whereas DevRob is interested in how the organization of a single robot's control system develops through experience, over time.( 而 DevRob 注重研究机器人的操作系统的组织是如何随着经验和时间发展的 ) 页 35

36 理论 ) 3. Main stages of Piaget's theory of cognitive development(piaget 关于认知发展的阶段的 (1) Swiss psychologist J. Piaget's theory of cognitive development Many have been particularly influenced( 很多是被特别影响的 ) Much of the recent information-processing work has been concerned with some kind of correcting and restructuring( 信息处理的过程与纠正和重组有关 ) (2) Stage Age or Period Description Sensorimotor stage ( 感知运动阶段 ) Infancy (0 2 years) ( 婴儿期 ) Intelligence is present; motor activity but no symbols; knowledge is developing yet limited; knowledge is based on experiences/ interactions; mobility allows child to learn new things; some language skills are developed at the end of this stage. The goal is to develop object permanence; achieves basic understanding of causality, time, and space. Pre-operational stage Toddler and Early Childhood (2 7 ( 前运算阶段 ) years) ( 学步期和儿童早期 ) Symbols or language skills are present; memory and imagination are developed; nonreversible and nonlogical thinking; shows intuitive problem solving; begins to see relationships; grasps concept of conservation of numbers; egocentric thinking predominates. Concrete operational stage ( 具体运算阶段 ) Formal operational stage ( 形式运算阶段 ) Elementary and Early Adolescence (7 12 years)( 早初青春期 ) Adolescence and Adulthood (12 years and on) Logical and systematic form of intelligence; manipulation of symbols related to concrete objects; thinking is now characterized by reversibility and the ability to take the role of another; grasps concepts of the conservation of mass, length, weight, and volume; operational thinking predominates nonreversible and egocentric thinking Logical use of symbols related to abstract concepts; Acquires flexibility in thinking as well as the capacities for abstract thinking and mental hypothesis testing; can consider possible 页 36

37 alternatives in complex reasoning and problem solving. - 感知运动阶段 儿童依靠感知动作适应外部世界, 构筑动作格式, 开始认识客体永久性 (Object permanent), 末期出现 智慧结构 开始区分自己和物体, 逐渐的了解动作与效果之间的关系, 获得初步的时空观念 客观永久性 : 即使客体在视野中消失, 儿童仍知道其存在 第一子阶段 : 先天的无条件反射 ( 反射练习期 ) 第二子阶段 : 习惯动作期 第三子阶段 : 有目的动作形成时期 第四子阶段 : 手段与目的的分化并协调期 ( 一些动作格式被当作目的, 另一些动作格式则被当作手段使用 ) 第五子阶段 : 尝试错误期 ( 通过加入新的动作成分之后的尝试错误, 第一次有目的的通过调节来解决新问 题 ) 第六子阶段 : 除了在身体和外部动作外, 在头脑中开始 内部联合 - 前运算阶段 : 出现了符号 表象和直觉思维 前概念或象征思维阶段 直觉思维阶段 直观性和行动性 出现了初步的间接性和概括性 缺乏心动的计划性和对行动结果的预见性 思维的狭隘性 - 具体运算阶段 ( 获得了守恒性和群集结构的形成 )( 质量 长度 面积 数量守恒等等 ) - 形式运算阶段 ( 儿童思维此时已经摆脱具体事物的束缚, 把内容和形式分开来, 能根据种种的假设进行推理 ) [Lecture AI 16] Developing the Reaching Skill 页 37

38 Outline Introduction Recall Basic Methodology for DevRob How Human Infants Do Modelling Arm Proprioception Mapping Haptic-triggered Visual Attention Evaluations Research Conclusions Summary Reviews on Robot Reaching Skill Recall Basic Methodology for DevRob Investigating How Human Infants Do A Framework on Developing Reaching Skill Evaluations Research Conclusions and Implications Key Issues to Lecture16 1. What is the robot reaching skill(reaching skill 是什么 ) (1) The essence of robot reaching 如何为机器人的每个关节设置合适的值, 使得它能把自己的手放在笛卡尔空间特定的位置上 逆向运动学 空间搜索 人的启发式学习 ( 不仅受益于人如何做, 而且受益于丰富的候选学习算法 ) (2) Sensorimotor Skills Discovery of one s own body Dynamics such as hand-eye coordination/robot body structure Locomotion( 运动 ) Interaction with objects as well as tool use The discovery and learning of affordances 2. How a robot to develop its reaching skill( 机器人如何发展 reaching skill) (1) A three=stage framework to develop the reaching skill 页 38

39 Haptic( 触觉的 ) 3. What is Proprioception( 本体感受是什么 ) (1) The proprioceptive senses include the senses of position and movement of our limbs and trunk, the sense of effort, the sense of force, and the sense of heaviness, etc.( 本体感受包括我们的四肢和躯干的位置和移动, 用力 受力或者质量 ) (2) Arm proprioception: - the sense of joint: position - the sense of arm: position and orientation - the correlation between two senses: internal model(inverse Model: 三种选择 :SIM,VIM,HIM) - modeling the entire proprioception process(a concrete implementation is achieved via simply making a combination) (3) Mapping Visual attention Mapping the Sight of Object onto the Feel of arm 页 39

40 [Lecture AI 17] Development with Prior Experience Outline Introduction The Concept of Transfer Learning Development with Prior Experience MDP based Transfer Learning Experiments Summary How to develop skills with prior experience? Psychological view on Transfer of Learning Transfer Learning in Computer Science MDP based Transfer Learning Robots learning new skills with TL Key Issues to Lecture17 1. The function of prior experience( 先验的作用 ) (1) 先验的作用 :prior experience->learning->some skills improve & -> other skills also improve 在一些技能增强的同时, 另外一些技能同样得到提升 ( 下围棋下的好 -> 下象棋也不错 ) 人们经常把一些 prior knowledge 和过去的经历应用到新的情境中不管技能之间相似度如何, 技能的加强和新技能的习得都得益于 prior knowledge 2. Educational Psychological view of the Learning of Transfer( 迁移学习的教育心理学观点 ) The concept of Transfer of Learning (TOL) is started from the study of dependency of human conduct, learning or performance on prior experience. ( 迁移学习的概念始于对人们的行为 学习和表现对先验的依赖性的研究开始的 ) Transfer of learning is the effect that prior learning has on later learning.( 迁移学习即之前的学习对后来的学习的影响 ) 一些观点形式训练说 ( 心理官能得到训练 ) 页 40

41 相同要素说 ( 主张只有当学习情境和迁移情境存在共同成分时 ) 分类 : 正迁移 负迁移前向迁移 后向迁移一般性迁移 特殊性迁移横向迁移 纵向迁移 3. The concept of Transfer Learning from machine learning community or in Computer Science domain( 机器学习和计算机科学领域的迁移学习 ) (1) The ability of a system to recognize and apply knowledge and skills learned in previous tasks to novel tasks or new domains, which share some commonality. ( 一个系统将在之前的任务中学习到的技能, 在一些有着相关性的任务或者新领域, 识别或应用的技能 ) (2) Given a target task,( 给定一个任务 ) how to identify the commonality between such a target task and previous (source) tasks?( 如何判断其与之前任务之间的一致性 ) how to transfer knowledge from the previous tasks to the target one?( 如何将之前任务的知识迁移到新任务 ) (3) TL 的目标 : 如何正确使用 prior experience (4) Why TL? - 有些方面, 没有标记好的数据 - 有些领域, 校准工作非常昂贵 - 有些领域, 学习很耗时 (5) TL 的方法 : - Instance transfer( 实例 ) - Feature-representation transfer( 特征 ) - Model transfer( 模型 ) - Relational-knowledge transfer( 知识 ) (6) 领域 :1RL 的 TL2 分类和回归问题的 TL 页 41

42 4. Basic idea of MDP based Transfer Learning and Transfer RBM( 基于迁移学习的 MDP) 两种情境有两个不同的回报函数 Transfer RBMs 模型是一种高阶的 RBMs 模型, 可以鲁棒地构建事务之间的关系 学习过程 : 页 42

43 [Lecture AI 18] PKU-HRx Series and Some Topics Outline PKU-HRx Series Falling Motion Control Smooth Behaviour Transition Grasping Summary [Lecture AI 19] Human Memory and Intelligence Outline Introduction Encoding and Storage Retention and Retrieval Modelling Achieved Skills for a Robot New Skills Generalizing Summary Human Memory Three Types of Human Memory Encoding and Storage Retention and Retrieval Modelling Achieved Skills for a Robot New Skills Generalizing 页 43

44 Key Issues to Lecture19 1. Basic understanding on Human Memory (1) 从心理学的角度, 记忆是对信息的编码, 存储和检索的过程 - 编码允许来自外部世界的信息能以物理或者化学的刺激传达到五官, 然后必须被处理成能被编码的形式 - storage 表示信息必须保持一段时间 - 检索意指能回忆起被记忆的信息, 这些信息可以被定位并返回到意识中 (2) 在信息处理方面, 记忆的形成和检索主要有三个阶段 - 注册或编码 : 接受, 处理并将其与之前的记忆组合在一起 - 存储 : 为编码好的信息创造一份永久的记录 - 检索, 回忆 : 在一个过程或活动中, 根据一些细节调用一些存储的信息记忆的丧失被描述为健忘, 或者一个医学疾病 2. Basic types of Human Memory (1) Three types of human memory - Sensory Memory 感觉记忆在一个物体被认知之后维持不到一秒钟, 不受认知控制, 是一个自动的反应, 这种记忆并不能通过练习延长时间 - Short-term Memory 没有练习, 则短期记忆维持几秒至几分钟, 它的能力也是有限的 ; 记忆能力能够通过分块强化 通常依赖于视觉或听觉的形式每次复述, 信息按照一定的比特率转化为长时记忆 - Long-term Memory 可以存储很长时间, 在语义上对其编码, 通过特定情境能回忆起特定事件 (2) 工作记忆 : 保存我们执行任务时所需信息的系统 3. Basic ideas for robots managing various achieved skills (1) Two main functionalities for a robot - 拥有大量的技能 ( 经过几十年的研究, 开发了很多方法 ) - 管理这些技能 ( 获得了较少的注意, 只在机械性地回忆和表述知识上有一些尝试 ) (2) 对机器人获得的技能建模 (3) The progress for a robot managing its achieved skills 页 44

45 - Modelling(Decide how to encode) - Training(encoding and Storage) - Recall with seen labels(online Reconstructing) - Recall with unseen labels(online generalizing) [Lecture AI 20] Intelligent Human-Robot Interaction Outline Introduction Historic Notes Investigation on Human-Human Interaction Main Topics in HRI Examples Summary Introduction of HRI Close-related topics and historic notes Digging out Human-Human Interaction Main Topics in HRI Perspectives from Robot Part Views from Human Part Discussions Key Issues to Lecture20 1. What is human-robot interaction? 对有关机器人 人类以及它们之间的互相影响的研究 ; 一个致力于研究如何理解 设计和评估为人使用的或与人共同工作的机器人系统的领域 页 45

46 HRI 的目的 : 研究能够让机器人和人之间进行有效和自然的交流的算法 HRI 是一个高度的多学科交叉的研究领域, 涉及很广泛的领域 ( 包括人工智能, 工程, 机器人,( 计算 ) 语言学, 认知科学, 社会心理学, 人类因素和人类学 ) HRI 分为远程和近程的交互 2. How to think about the intelligent HRI? 修饰词 intelligent 旨在强调一些在 HHI 中会出现的, 体现人类智能的交互的特征, 比如 :smooth effective nature 和 harmly 这基于两个方面 : 机器人本身是智能的交互的方式是智能的 3. Basic idea of the information exchange chain 社会性是人类的最基本的属性 ; 要成为一个社会, 信息交换是很重要的 ; 有一些信息交换的链 To sense/perceive the world or encoded information, human five senses are involved ( 为了感知和理解世界或编码好的信息, 需要我们的五官 ) Encoding the perceived information( 对获得的信息编码 ) Decoding according to how they were encoded, with perceived encoded information being perceived via receptor s five senses, smooth communication has been established.( 根据它们的编码方式和通过 receptor 的五官接受到的信息将信息解码, 获得一段平滑的交互 ) The ways for information transfer could be regarded as some kind of LANGUAGE!( 信息传递的过程可以被认为是某种语言 ) 4. What is the meaning of the concept grounding? ground a symbol meaning in something other than just more meaningless symbols( 使得信号有实际意义而不是毫无意义 ) 页 46

47 the process of creating and maintaining the correspondence between symbols and sensor data that refer to the same physical objects( 创造和维持在依赖于同一个物理实体的信号和感知数据之间的联系的过程 ) 5. What is the uncanny valley? 恐怖谷理论是一个关于人类对机器人和非人类物体的感觉的假设 恐怖谷 一词由 Ernst Jentsch 于 1906 年的论文 恐怖谷心理学 中提出, 而他的观点在弗洛伊德 1919 年的论文 恐怖谷 中被阐述, 因而成为著名理论 在机器人领域,1969 年日本机器人专家森昌弘提出假设, 仿人机器人由于与人类在外表 动作上都相当相似, 所以人类亦会对机器人产生正面的情感 但当超过一个临界点时, 这种好感度会突然降低, 越像人越反感恐惧, 直至谷底, 称之为恐怖谷 随后, 当机器人的外表和动作和人类的相似度继续上升的时候, 人类对他们的情感反应亦会变回正面, 贴近人类与人类之间的移情作用 页 47