MIPI D-PHY 与 MIPI CSI-2 应用于物联网 AI 边缘装置 主讲人 :Ashraf Taka, Mixel Ashraf Takla: 大家好, 我是 Mixel 创办人兼执行长 Ashraf Takla 谢谢大家抽空参与, 今天要介绍如何通过 MIPI CSI-2 与 D-PHY, 在物联网边缘装置实现 AI 应用 2021 MIPI Alliance 1 MIPI DevCon 2021
Ashraf Takla: 我会先简单介绍边缘计算的优点, 接着通过系统和装置方块图, 带大家了解 Perceive 的 Ergo 芯片 再来我会谈谈 Perceive 通过 Ergo 想解决的问题, 以及主要应用领域 我也会分享 Perceive 为什么决定采用 MIPI 接口, 以及为什么选用 FDSOI 流程进行设计 最后, 我会简单介绍与 Perceive 芯片和硅晶整合的 Mixel MIPI IP 解决方案 2021 MIPI Alliance 2 MIPI DevCon 2021
Ashraf Takla: 我们看一下边缘处理的优点, 在多数 AI 应用中, 响应速度是必备条件, 要能以极低延迟实时做出决定 在这方面, 边缘计算是很重要的工具, 能有效满足现今使用者的各种要求与高标准 在边缘端处理数据时, 使用的带宽较少, 所以能节省系统电力, 也能降低误判机率, 进而延长电池寿命 就安全性与隐私而言, 在传输原始数据进行远程处理时, 边缘处理能降低数据外泄的机率 本地的边缘装置当然要有完善保护 确保安全 在某些地点, 我们可能无法通过宽带或移动网络连接到云端, 必须靠本地计算 能够连接时, 成本可能是一个问题, 但能通过边缘处理加以解决 2021 MIPI Alliance 3 MIPI DevCon 2021
Ashraf Takla: 现在, 我们来看一下 Perceive Ergo 芯片 边缘装置要能支持 AI, 需要具有机器学习能力的处理器, 例如 Perceive 的 Ergo 推论处理器 这款处理器专门为物联网与边缘装置设计, 能源效率是市面上同类组件的 20 到 100 倍, 具有相当于 4 TOPS GPU 的浮点计算能力, 性能功耗比达 55 TOPS/W 这样的计算能力能以 20 mw 的低功耗处理大型神经网络, 并支持各种先进神经网络的边缘处理 2021 MIPI Alliance 4 MIPI DevCon 2021
Ashraf Takla: 这里可以看到 Ergo 与一般 AI 应用的系统如何整合,Ergo 会从不同传感器接收数据 左边可以看到音频通过 I2S 输入, 影像通过 MIPI CSI 和 CPI 输入, 其他信息则使用 I2C 及 I3C 投影片中间就是 Ergo 处理器, 配备新版的闪存, 能支持快速启动 右边是系统单芯片, 能接收感知 接受原始音频和影像数据, 主要用于多媒体隧道 (tunneling) 应用 2021 MIPI Alliance 5 MIPI DevCon 2021
Ashraf Takla: 现在来看一下 Ergo 的方块图 左上角可以看到 Ergo 内建的影像接口, 包含 MIPI 与 CPI 输入口各两个, 还有一个 MIPI 输出口 这个配置能支持两个同步图像处理流程, 一个是高性能 4K, 使用两个 MIPI 四通道 D-PHY, 另一个是标准高分辨率, 使用一个 MIPI 接着在左下角, 你会看到 Ergo 的音频接口, 支持麦克风输入与扬声器输出 中间偏下是 CPU 系统, 主要用来确认管理状况 数据流, 以及与处理器的通讯 部分音讯处理, 例如时间到空间的转换, 是由 CPU 子系统执行 DSP 引擎负责 FFT 等的前与后处理 Ergo 的图像处理单元在中间偏上, 能处理来自相机的原始影像, 方便神经网络结构取用, 功能包括缩放 裁切和色彩空间转换 Ergo 芯片能对图片与影像进行推理, 也能通过 MIPI 传送器将影像传输出去 信道传输的应用非常广泛, 例如保全系统, 让警示能有对应的音频及影像 Ergo 接着运用音频 影像或其他传感器输入做出高水平的推论 例如, 在保全应用上, 动作侦测加上玻璃破碎的声音, 就能触发更可靠的响应 现在来看看 Ergo 的核心, 也就是右上角的神经网络结构 Ergo 芯片支持多种神经网络, 因此能同步执行多种神经网络丛集, 支持多种输入数据类型, 例如同时处理处理音频及影像 这些神经网络丛集和 SRAM 占据芯片三分之二以上的面积, 是执行分割 辨识 推论等多种功能的区块 在迁入式软件与神经网络资源部分,Ergo 通过芯片内建的硬件加速进行解密, 不只能保护隐私与安全性, 指令周期也不受影响 2021 MIPI Alliance 6 MIPI DevCon 2021
Ashraf Takla:Perceive 关注的是边缘装置想解决的特定问题 感测主要分为视觉和听觉, 两种都能用来侦测环境中的对象, 并辨识用户 影像对象侦测用于家庭或企业保全系统, 能侦测可疑动作, 也会忽略假警报 音频侦测能侦测装置周围的关键声音, 藉此提升安全与情境感知能力 脸部辨识能作为独立的生物识别, 或作为多因素身份验证的其中一道机制, 用于解锁装置或对象 语音识别的应用包含唤醒关键词 装置专属指令, 以及自然语言接口, 能用于智能型手机 家用电器和智能型玩具 接下来, 我们会通过几个使用案例, 介绍 Perceive 组件的不同应用类型 2021 MIPI Alliance 7 MIPI DevCon 2021
Ashraf Takla: 不同终端应用皆采用相同的 Ergo 芯片性能或部分性能, 因此有不少相似之处, 但仍因性能运用方式不同而有所区别 首先, 先来看看智能家居应用, 例如摄影机和门铃 使用 Ergo 处理器的系统, 具备动态侦测 减少假警报 人脸及声音辨识 物体辨识 ( 例如动物 包裹 车辆 ) 等功能 可使用语音及本地端控制 侦测重要声音 ( 例如警示 人声 玻璃碎裂等 ) 除此之外, 还能提供使用者现场人 车 或动作的描述 2021 MIPI Alliance 8 MIPI DevCon 2021
Ashraf Takla: 穿戴式装置部分, 也能侦测使用者周遭重要声音, 并使用本地端语音控制, 以高阶唤醒词功能简化用户接口 此外, 也具有人脸 声音和情绪辨识功能, 侦测用户周遭物体, 并整合来自多个传感器的数据 2021 MIPI Alliance 9 MIPI DevCon 2021
Ashraf Takla: 接着, 让我们看看移动计算装置怎么运用 Ergo 芯片 除了上述有提到的性能外, 系统还可通过内建镜头或手机, 进行眼球追踪 解读使用者情绪和注意力 你可以在视频会议时模糊化或自定义背景, 音频及影像质量也会有所提升 2021 MIPI Alliance 10 MIPI DevCon 2021
Ashraf Takla: 在视频会议装置上,Ergo 的应用和移动计算装置类似, 还可支持手势或声音的无接触控制, 或是提供视线校正及与会者分析 2021 MIPI Alliance 11 MIPI DevCon 2021
Ashraf Takla: 现在, 让我们看看为什么 Ergo 采用 MIPI 接口 MIPI 满足低功耗 高带宽 低电磁干扰 (EMI) 的严格要求, 特别适合许多使用电池的边缘计算产品 MIPI CSI-2 和 D-PHY 两种规范广受传感器采用 D-PHY 是目前市场上采用时间最早 应用最广的 MIPI PHY 物理层 在这张区块图里可以看到, 一般 IoT 装置会使用 MIPI CSI 和 PHY;D-PHY 和 C-PHY 可支持摄影及显示应用程序 2021 MIPI Alliance 12 MIPI DevCon 2021
Ashraf Takla: 那 Perceive 为什么选择使用 FD-SOI 工艺, 而不是 FinFET 技术呢? 首先, 我们来看看 FD-SOI 晶体管的截面图 电子信道和硅基板有所区隔, 可外加顺向或逆向偏压, 控制晶体管的阈值电压 (threshold) 和泄漏电流, 再加上寄生电容降低, 使得 FD-SOI 可在较低功耗及成本的条件下, 实现提供高性能, 而不需采用成本较高的 FinFET 工艺 和传统块状硅晶圆 (Bulk Silicon) 相比, 因为低寄生电容 可程序化,FD-SOI 具备高性能 低功耗 小尺寸等特性 通过施加基体偏压, 能在动态控制及泄漏电流间达成平衡, 为特定工作负荷量或运作条件, 实现最低功耗 举例来说, 待机模式下使用逆向偏压, 可大幅降低漏电 FD-SOI 技术也可通过顺向偏压, 增进性能和速度 基于这些优势, 物联网装置大量采用 FD-SOI 构造 2021 MIPI Alliance 13 MIPI DevCon 2021
Ashraf Takla: 我们做了分析以量化上述优势, 通过施加顺向偏压来降低主动区 (Active Area) 的大小和功耗 结果发现, 在效能不减的情况下, 主动区域面积可减少高达 55%, 耗电量在各 PVT ( 工艺, 电压, 温度 ) 条件下, 可降低达五成 2021 MIPI Alliance 14 MIPI DevCon 2021
Ashraf Takla: 现在, 我们来看看 Mixel 的 MIPI PHY 如何和 Ergo 芯片整合 我们提供 Perceive MIPI 接收器及传输 IP, 皆通过另一个 FD-SOI 工艺硅验证 (Silicon Proven), 并导入 22FDX 工艺 在接收器部分, 我们提供面积优化 双信道及四信道两种配置, 采用 CSI-2 D-PHY 接口, 两种皆支持 MIPI D-PHY 2.1 版本, 并和 v1.2 及 v1.1 向后兼容, 且皆具有每传输通道 2.5 Gbps 的传输率, 并支持 80 Mbps 的低耗电模式 2021 MIPI Alliance 15 MIPI DevCon 2021
Ashraf Takla: 在发射端 (TX) 部分, 我们提供 Perceive 面积优化 四通道的 IP, 采用 CSI-2 D-PHY 规格, 支持 MIPI D-PHY 2.1 版本, 在高速传输模式下, 传输速度为每信道 2.5 Gbps, 并可支持漏斗功能 2021 MIPI Alliance 16 MIPI DevCon 2021
Ashraf Takla: 这边两张眼图 (Eye Diagram) 显示 TX IP 分别以每信道 1.5 Gbps 和 2.5Gbps 传输率运作 采用 Mixel 的多项 IP 后,Perceive 已取得首次硅验证成功, 目前进入生产阶段 2021 MIPI Alliance 17 MIPI DevCon 2021
Ashraf Takla: 这边带大家快速一览 Mixel 通过验证的 IP, 共有两种 FD-SOI 工艺节点, 来自两家晶圆厂 IP 集合了 D-PHY 发射器 接收器 通用通道 (Universal Lane), 以及 LVDS D-PHY LVDS Combo IP 所有 IP 都已取得首次硅验证成功 2021 MIPI Alliance 18 MIPI DevCon 2021
Ashraf Takla: 简单和各位介绍,Mixel 是 MIPI 接口的业界龙头, 于 2006 年成为 MIPI 联盟会员 在 MIPI 接口开发上经验丰富 :2008 年 MIPI D-PHY 通过硅验证 2011 年 MIPI M-PHY 通过验证 还有 2016 年取得验证的 MIPI C-PHY 我们提供全面 整合的解决方案, 包含 PHY 控制器和 FPGA 开发平台 在 MIPI PHY 技术上, 囊括最多样的工艺节点及晶圆厂, 在十一个节点和八家晶圆厂皆已取得硅验证 2021 MIPI Alliance 19 MIPI DevCon 2021
Ashraf Takla: 现在, 快速总结一下 边缘计算带来诸多优势, 包含低延迟的实时数据处理 MIPI 规格在设计上实现低功耗 高带宽, 满足移动及边缘装置需求 和 FinFET 工艺相比,FD-SOI 技术具备高效能 低功耗及低成本的特点 基于上述优势,MIPI 和 FD-SOI 是最适合导入边缘装置的技术组合 像 Perceive Ergo 芯片这样的处理器, 能驱动人工智能, 使物联网装置更聪明 更安全, 实现低延迟, 延长电池寿命 Mixel 和 Perceive SOC 工程师密切合作, 在经验证的 FD-SOI 硅智财上, 充分利用 MIPI 优势, 创造通往首次硅验证成功及量产的最短途径 2021 MIPI Alliance 20 MIPI DevCon 2021
Ashraf Takla: 非常感谢各位今天的参与 2021 MIPI Alliance 21 MIPI DevCon 2021
2021 MIPI Alliance 22 MIPI DevCon 2021