AI 时代生物特征识别的机遇与挑战 华中科技大学与深圳阜时科技人工智能与机器视觉技术联合实验室 研究员许家妙 2019 年 6 月
1 2 3 4 5 生物特征识别人脸识别指纹识别行为分析与语义理解未来工作
生物特征识别
1 生物特征识别 生物特征识别是根据生理特征 ( 人脸 指纹 虹膜等 ) 和行为特征 ( 姿态 动作 情感等 ) 实现身份认证的技术
1 生物特征识别 生物特征识别广泛地应用于各个行业
人脸识别应用与机遇 2 人脸识别挑战
2.1 人脸识别应用与机遇 人脸识别闸机 人脸识别手机解锁 人脸识别门禁与考勤 人证合一验证 闯红灯人脸识别 支付宝人脸识别付款 医院在线办卡 人脸识别抓逃犯
2.1 人脸识别应用与机遇 应用领域 - 智慧影院 ( 大数据影片打分 ) 人脸注册进入影院专注度分析离开影院 影片打分 专注度汇总 自动收费 收费评估
2.1 人脸识别应用与机遇 应用领域 - 无人超市 智能售货机 智能物流
2.1 人脸识别应用与机遇 应用领域 - 整容妆容模拟
2.1 人脸识别应用与机遇 行业发展
2.1 人脸识别应用与机遇 行业发展 FRVT 上人脸识别准确率 国内人脸识别领域学者占比
2.1 人脸识别应用与机遇 行业发展
2.1 人脸识别应用与机遇 行业发展
2.1 人脸识别应用与机遇 行业发展
2.2 人脸识别挑战 2D 人脸识别理论与算法 整体方法 : 整体方法预先假设数据分布, 无法处理无约束的人脸变化 局部人工特征方法 : 人工特征缺少特异性和紧凑性 浅层方法 : 浅层特征对于复杂的非线性人脸外观变化的鲁棒性不好 深度方法 : 学到的多层特征对应不同层级的抽取, 对复杂人脸也就有很好的鲁棒性 2D 人脸识别挑战跨视角人脸识别深度学习理解人脸反欺骗计算力限制多模态融合人工智能芯片垄断细粒度分类低分辨率人脸复杂场景
2.2 人脸识别挑战 挑战 - 跨视角人脸识别 跨姿态人脸识别跨年龄人脸识别化妆前后人脸识别 可见光 - 红外人脸识别不同分辨率人脸识别相片 - 素描人脸识别
2.2 人脸识别挑战 挑战 - 低分辨率人脸 身份证图像 身份证芯片图像 ( 低分辨率 )
2.2 人脸识别挑战 挑战 - 深度学习 ( 样本欺骗 ) 对抗样本欺骗 ( 视频 )
2.2 人脸识别挑战 挑战 - 人脸反欺骗 照片人脸识别 ( 视频 )
2.2 人脸识别挑战 挑战 - 复杂场景 ( 强弱光照 模糊 遮挡等 ) 屏下摄像头 ( 视频 )
2.2 人脸识别挑战 挑战 - 外在变化 性别 年龄 头发 ( 发型 发色等 ) 表情 ( 这些人存在吗?) 预测年龄 ( 视频 )
2.2 人脸识别挑战 挑战 - 计算力限制 手机端人脸识别 Pad 端人脸识别
2.2 人脸识别挑战 挑战 - 多模态融合问题 掌纹 +2D 人脸 +3D 人脸特征融合以提高识别精度 + + = 98% 80% 90% 95%
2.2 人脸识别挑战 挑战 - 细粒度分类 ( 非人体检测和智能体检测 ) ( 视频 )
2.2 人脸识别挑战 挑战 - 人工智能芯片
2.2 人脸识别挑战 挑战 - 活体检测 3D 活体检测可以有效地分辨出伪造图片 视频 面具等的攻击 猜猜哪些人脸是真实的?
2.2 人脸识别挑战 3D 人脸识别算法挑战 1 如何获得获得质量较高的 3D 人脸图像 ( 深度图像 点云图 像 网格图像 ) 2 如何解决人脸姿态 表情 遮挡等因素的影响 姿态表情遮挡
2.2 人脸识别挑战 3D 人脸识别硬件挑战 目前 3D 人脸采集技术包括双目技术 结构光技术和 TOF 技术存在的挑战包括光照 距离 精度 复杂度等
指纹识别应用与机遇 3 指纹识别挑战
3.1 指纹识别应用与机遇
3.1 指纹识别应用与机遇 指纹识别流程 指纹采集指纹特征提取指纹匹配 (1) 指纹采集 : 通常使用各种物理传感器采集指纹图像, 主要包括光学全反射 硅晶体电容 超声波扫描三种采集方式 (2) 指纹特征提取 : 提取指纹特征点的位置 类型 方向等信息作为特征向量 (3) 指纹匹配 : 基于指纹的特征模式进行识别与匹配 指纹识别流程 指纹特征点
3.1 指纹识别应用与机遇 应用领域 (1) 公安刑侦 : 在犯罪现场采集到的遗留指纹可以辅助公安人员确定犯罪嫌疑人身份 (2) 金融领域 : 指纹识别技术应用于电子商务及金融支付领域中, 能够显著提升便捷性和安全性 (3) 考勤和门禁系统 : 指纹识别相关设备已大规模应用于众多公司的考勤和门禁系统中随着相关技术的发展与完善, 指纹识别将广泛应用在智能终端 身份证 机动车 家居等更多的领域
3.1 指纹识别应用与机遇 行业发展 (1) 指纹识别产业包括芯片设计 芯片制造封装 模组制造以及整机厂商等环节, 产业链趋于完善 (2) 近年来, 越来越多的智能手机开始采用指纹识别技术 2013 年, 具备指纹识别功能的智能手机 iphone 5S 华为面世 ; 指纹识别产业链 2017 年上半年国内主要指纹模组厂出货量情况 (KK)
3.1 指纹识别应用与机遇 行业发展 (3) 随着全面屏手机解决方案的推广与普及, 指纹识别传感器开始转向背面后置或者内置在显示屏下方 (4) 在各类生物识别技术中, 指纹识别仍占据最高份额 2017 年, 全球指纹识别技术规模约 74.56 亿美元, 同比增长 7.71% 屏下指纹示意图 2010-2018 年指纹识别技术全球市场规模及增长
3.2 指纹识别挑战 挑战 (1) 质量评估 : 指纹识别很大程度上依赖于获取的指纹图像质量, 解决指纹质量评估问题十分关键 (2) 数据压缩 : 指纹库的存储数据量较大, 进行指纹辨认时需要对所有指纹进行匹配打分, 如何压缩数据实现快速匹配值得考虑 (3) 真伪鉴别 : 指纹信息易被假冒仿制, 指纹伪造成本低且难以辨别 (4) 隐私安全 : 目前大多数指纹识别系统没有做非可逆加密, 一旦指纹信息泄露会对用户造成损失甚至威胁公共安全 指纹模糊指纹库规模庞大指纹伪造指纹信息加密
3.2 指纹识别挑战 (5) 指纹采集硬件及芯片 : 目前的屏下指纹识别技术主要做在 OLED 面板, 难以做在液晶面板 (LCD) 屏下指纹 ( 视频 )
4 行为分析与语义理解应用与机遇 行为分析与语义理解挑战
4.1 行为分析与语义理解应用与机遇 行为分析与语义理解 姿 动 情 语 态 作 感 义 估 识 分 理 计 别 析 解
4.1 行为分析与语义理解应用与机遇 人脸识别 指纹识别 虹膜识别等衍生为现在的姿态估计 动作识别 情感分析 语义理解等 行为分析应用于自动驾驶 医疗 教育 机器人 公共安全 影视娱乐等领域 自动驾驶 智能视频监控 病人监护 机器人 虚拟现实 运动员辅助训练
4.1 行为分析与语义理解应用与机遇 应用领域 - 自动驾驶 1 手势交互 : 通过空中手势控制车内服务 ( 视频 )
4.1 行为分析与语义理解应用与机遇 2 驾驶员状态监测 : 实时监控车内情况, 识别驾驶员抽烟 使用手机 未系安全带等危险行为, 及时预警, 降 低事故发生率, 保障人身财产安全
4.1 行为分析与语义理解应用与机遇 3 疲劳检测: 通过分析驾驶员的行为 ( 头部动作 眼部动作等 ) 判断其是否疲劳 4 醉酒检测: 分析驾驶员上车前的状态 ( 步态 表情等 ) 判断其是否饮酒 5 驾驶预警: 通过对车辆前方状态进行分析判断是否会发生事故
4.1 行为分析与语义理解应用与机遇 应用领域 - 智慧医疗 1 疾病预防 : 通过检测是否消毒, 来预防细菌传染 ( 视频 )
4.1 行为分析与语义理解应用与机遇 2 智能监护 : 监护老人 婴幼儿日常生活, 并及时预警 ( 视频 )
4.1 行为分析与语义理解应用与机遇 应用领域 - 智慧教育 1 智慧课堂: 分析学生课堂上的行为 ( 学生面向讲台 低头抬头的时间占比等 ), 让老师家长及时了解学生的学习状态
4.1 行为分析与语义理解应用与机遇 2 智能辅助教学
4.1 行为分析与语义理解应用与机遇 3 智能手语 ( 视频 )
4.1 行为分析与语义理解应用与机遇 应用领域 - 机器人 服务机器人 救援机器人 灭火机器人 搬运机器人 分拣机器人
4.1 行为分析与语义理解应用与机遇 其他领域 : 1 3D 重建 风格迁移 动作捕捉和增强现实 ( 视频 )
4.1 行为分析与语义理解应用与机遇 2 人机交互控制台动作追踪
4.1 行为分析与语义理解应用与机遇 行业发展 智慧医疗迅猛发展, 到 2021 年 AI+ 医疗市场预计预计 66 亿美元 预计到 2026 年, 未来医疗领域 10 种智能应用所产生的潜在年收益
4.1 行为分析与语义理解应用与机遇 行业发展 据国际机器人联盟统计,2017 年, 全球工业机器人产量达到 38.1 万台, 同比增长 30%,2021 年产量预计将达到 63.0 万台 2017 年, 中国工业机器人达到 13.79 万台, 同比大幅增长 60%
4.2 行为分析与语义理解挑战 算法挑战 缺乏端到端的模型 人体姿态与动作的多样性 复杂场景 缺乏标注良好的大型数据集 个体差异性 ( 不同人表现同一动作的差异 ) 高精度 小型化传感器 硬件挑战 高运算 低功耗芯片
4.2 行为分析与语义理解挑战 示例 - 姿态估计 密集场景下姿态估计 不同视角下全身姿态估计 背面姿态估计 不同视角下部分姿态估计 手部运动时姿态估计 交互时姿态估计
4.2 行为分析与语义理解挑战 示例 - 动作识别 摸头坐下脱鞋进食踢腿 掷链球挺举引体向上太极颠球
未来工作
5 未来工作 标注良好的大型数据集 算法 深度学习模型的解释性 生物特征识别挑战 硬件 法律与法规 实际应用场景的复杂性传感器的设计与制造芯片的设计与制造移动设备的实时计算用户隐私保护行业标准统一
谢谢