STM32 音频应用

Size: px

Start display at page:

Download "STM32 音频应用"

銎骆
5 years ago
Views:

1 STM32 音频应用

2 STM32 已经成为主流平台 2 消费电子医疗设备楼宇安防网络互联工业控制重点应用更多跨界应用 Sensor Hub 血糖仪可视对讲无线网络 POS 触摸感应血氧计云台控制高级航模打印机, 游戏手柄家庭音响玩具便携式 ECG 人工耳蜗数据采集处理通风暖气调节汽车音响空中鼠标 LED 控制表计, 测量变频, 逆变控制

3 STM32 USB 音频应用 USB 音箱音频编码 (WAV,MP3) 音频解码 (WAV,MP3,WMA,AAC) ipod Docking Android Docking 软件升级 (U_disk) STM32 其它音频应用 DSP 一些其它免费的编码和解码 Sound bar Smart Phone 音频开发板 ST 现有的音频应用 3

4 目标和任务 4 目标 : 主题 : USB OTG 库 (HCC 和 ST) 音频固件 --(Audio streaming, Audio Engine, Codecs, Addons, PDM) Apple 附件 --iap1 and iap2 --ihost and idevice Android 附件 --MTP,ADK,AOA Smartphone Accessory Board

5 目标和任务 5 目标 : 主题 : USB OTG 库 (HCC 和 ST) 音频固件 --(Audio streaming, Audio Engine, Codecs, Addons, PDM) Apple 附件 --iap1 and iap2 --ihost and idevice Android 附件 --MTP,ADK,AOA Smartphone Accessory Board

6 USB 概述 ( 回顾 ) 6 USB 拓扑图只有一个主机最多 7 层最多 5 层是 HUB 最多 127 端点

7 例子 -----USB 拓扑图 7 高速 Hub 高速 480Mbps USB 2.0 主机全速 / 低速 12M/1.5Mbps 全速 / 低速设备高速设备低速 Hub 全速 / 低速设备

8 USB 逻辑图 8 主机 buffer 应用 buffer (pipe) 设备接口 ( 一个或者多个 ): 端点 >> 端点数传输类型 >> 传输方向最长包

实时性同步传输 : 周期性, 实时性数据架构基于下面三个对象 : Configuration Interface Endpoint Configuration 0 Device Configuration N Interface 0 Interface N

9 USB Transfer 9 Host Power Data Device - 仅仅一个主机. - 初始化所有的通讯 - 能够跟一个或者多个设备在同一个总线上通讯. - 数据是基于帧进行发送和接收 (1ms/frame 或者 0.125ms/frame). - 每一帧包含多个数据包 - 数据的接收和发送都是由主机发起要求四种传输类型 : 控制传输 : 强制要求对所有设备批量传输 : 非周期性, 大量的数据, 保障数据的正确性中断传输 : 非周期性, 小数据量. 实时性同步传输 : 周期性, 实时性数据架构基于下面三个对象 : Configuration Interface Endpoint Configuration 0 Device Configuration N Interface 0 Interface N Interface 0 Interface N Endpoint 0 Endpoint 0 Endpoint 0 Endpoint 0 Endpoint 1 Endpoint 1 Endpoint 1 Endpoint 1 Endpoint N Endpoint N Endpoint N Endpoint N

10 ST USB OTG library 10 ST Support USB 2.0 全速 (12M) 高速 (up to 480M) HCC Library(not Free) iap1 MP3,WMA decoder Firmware update ST Library(Free) USB Device,USB Host and OTG Apple Accessories Android Accessories MP3(encoder and decoder),wma,aac(.adts adif.loas) Audio Streaming Firmware update

USB OTG Device Library STM32F2xx STM32F4xx STM32F105/7

11 USB Libraries 11 USB Device Library STM32F10xx (except F105/7) STM32L151/2 STM32F05xx STM32F3xx X Not Compatible! USB OTG Device Library STM32F2xx STM32F4xx STM32F105/7 STM32L4xx USB OTG Host Library STM32F2xx STM32F4xx STM32F105/7 SMT32L4xx

12 STM32 USB 类 12 USB 设备类 HID (Human Interface Device) 鼠标, 键盘, 低速率的数据传输或控制 Mass Storage Virtual ComPort USB 转 UART Audio Streaming Class 1.0, 16-bit, Stereo, In/Out (Headset/Microphone) Device Firmware Upgrade Specific examples: Dual Core(Full and High speed device) Isochronous raw USB Host Classes HID (Human Interface Device) 鼠标, 键盘, 低速率的数据传输或控制 Mass Storage CDC (Communication Device Class) Generic class for Serial/Ethernet/Composite Audio Streaming: Class 1.0, 16-bit, Stereo, In (Headset) Specific examples: Dual Core Composite Mass Storage + CDC OTG: Dual Role Device

13 OTG_FS & OTG_HS library 13 STM32_USB-Host-Device_Lib_V2.1.0 Host mode Mass Storage:FATFS, Read /Write HID: Only support mouse and keyboard Firmware update HID Device mode HID VCD Audio MSC HID OTG mode Mass Storage HID mouse (OTG_FS) + Mass Storage(OTG_HS)

14 目标和任务 14 目标 : 主题 : USB OTG 库 (HCC 和 ST) 音频固件 --(Audio streaming, Audio Engine, Codecs, Addons, PDM) Apple 附件 --iap1 and iap2 --ihost and idevice Android 附件 --MTP,ADK,AOA Smartphone Accessory Board

15 USB for Audio 15 虽然 USB 是一个高度标准化的接口, 但是它也是具有多功能和高度客户化的接口. USB 允许通过不同的方式传输各种类型的数据它有多种 USB 类去允许传输数字音频数据, 这些类都有它们各自的优缺点 : USB Audio Class 1.0 & 2.0 USB Mass Storage USB MTP USB CDC

16 USB Audio Class 1.0 & 2.0 (1/2) 16 同步传输 : 实时性得到保障, 但是并不保障数据的完整性占有高带宽 ( 最高可以达到 90% 的带宽 ) 允许扩展音频的一些控制 (source, sink, volume, clocks, effects: reverberation, modulation delay, encoding, decoding ) 有效的同步机制 : Synchronous: 设备从主机的 SOF 上面获取它的它的音频时钟 (Start Of Frame). ( 高可靠性 ) ( 低成本 ). Asynchronous: 设备的时钟是自己控制. 设备需要自己实现自我同步. ( 可靠性低 ( 低成本, 软件简单 ). Adaptive: 设备获取和改变它的时钟根据自己收到的数据 ( 非常高的可靠性 )( 软件简单, 硬件复杂 ).

17 USB Audio Class 1.0 vs. 2.0 (2/2) 17 不完全兼容! USB Audio Class 2.0 是基于 USB Audio Class 1.0 增加和适当的修改了一些功能支持高速模式 ( 但是对于音频是真的需要吗?) 使用了时钟单元可能是为了去同步设备可以通过中断端点去通知主机设备端的一些改变 (volume control, clock path update ) 支持 Category, 允许主机去自动检测或判断设备具有的主要功能 (ie. Desktop Speaker, Telephone, Headset ). 等等!

18 USB Mass Storage (MSC) 18 大批量数据传输 : 数据得到保障, 但是不保障实时性. 没有办法同步. 尽管它被广泛应用于汽车音响消费类电子, 但是 USB 没有任何专门协议对于音频 ( 它仅仅只是通过 USB 读取文件数据 ) 非常容易得到各种元数据 (file name, artist, album, genre ) 没有专门的控制协议 (ie. volume level, play/pause/stop ) 主机必须增加文件管理系统需要额外的软件去编码或者解码这些压缩文件

19 USB Media Transfer Protocol (MTP) 19 大批量数据传输 : 保障数据的完整性, 但是不保障数据的实时性. 没有方法去同步. 它是基于 PTP (Picture Transfer Protocol). 命令 - 数据 - 响应的通讯模式. 基于抽象的音频内容和大小的数据传输. 元数据和音频控制也是可以能的. 内容数字版权加密保护技术 (DRM) 广泛应用于便携式或者掌上音频设备.

20 Communication Device Class (CDC) 20 任一传输类型 : CDC 是收集了任何传输接口的传输类. 一个 CDC 设备可以用作音频类 MTP. 没有专门应用于音频的协议应用于电话和网络协议它是多接口的应用典范 CDC Device Communications Interface Data Interface Audio Interface HID Interface 并不没有广泛的应用

21 实例 (1/2) 21 iphone Docking (iphone/ipod/ipad) 对所有设备来说它的结构是固定的 HID 接口作为控制 (ie. Volume, next/previous, Play/Pause 音频 2.0 或者 1.0 作为音频数据传输通过 SOF 同步, 不支持 PIPE 反馈 Mass Storage Device Audio Class 1.0 & 2.0 HID 客户协议 (APP 应用协议 ) 另外 : 我们还可以增加 MSC, 在同一工程

22 实例 (2/2) 22 Android Docking 主机模式 (Android 作为 USB 主机 ) (> Android 3.1, API level 12) MTP Isochronous (JellyBean level 16). 设备模式 (Android 作为 USB 设备 ) Mass Storage: Android 设备的角色作为一个 SD 读卡器, 不需要任何的控制. MTP: Android 设备通过 MTP 接口呈现它内部的存储空间. MTP and Mass Storage are generally exclusive. Andriod Open Accessory Mode(AOA): 它是 Google 提供一种特别的通讯方式 ( 类似 IAP) 需要开发附件和设备端进入 AOA 模式 (Handshake) 2 个大数据传输端点去提供附件和 Android 设备之间的传输和控制需要把标准的音频传输重新打包音频的传输. 需要 JellyBean(level 16) 以上的版本, 才能同步和重新打包音频

23 USB Device Audio( 音频数据流 ) 23

24 应用架构 24 USB Device I2S ADC Codec (DAC) LCD Buttons

25 DMA STM32 应用方案 25 USB Device I2C Clock Synthesizer I2S Codec (DAC) LCD FSMC / SPI TIM IO Expander Buttons IOs ADC / SPI STM32

26 应用层次 26 Application USB Audio Class Driver USB Device Core Utilities USB OTG Driver Std Peripheral Drivers CMSIS Hardware USB components Standard components Application components

27 USB peripheral I2S Peripheral 典型的通过 USB 的音频应用 : 同步问题 27 Microcontroller Buffer (RAM) DAC PC 时钟域 (SOF) USB 外设时钟域 I2S 外设时钟域外部功放时钟因为同一个系统时钟的关系, 这三个时钟域是被同步了这些不同的时钟域 (jitter, phase, drift ) 将造成音频的不同步, 出现断音或者丢失部分音频.

28 主要问题 28 USB 的参考时钟 (SOF) 并不跟系统时钟同步 : Jitter: Drift:. 相位, 固定的延时读取复制处理 Buffer 的时间预存音频数据的 buffering

29 下溢情况 ( 简单描述带有 level = 1buffer) I2S 的消耗一个 buffer< 1 ms 问题描述 29 Basic Delay Accumulated Delay Accumulated Delay Underflow I2S needs buffer 10 but it is not yet loaded I2S Buffer Consumption USB Buffer Reception Start of Reception Start of Consumption Data transfer time (on the USB bus) 1 Frame = 1ms x 复写情况 ( 简单描述带有 level = 1buffer) I2S 的消耗一个 buffer>1 ms Basic Delay Accumulated Delay Overflow USB overwrites buffer 5 but it is not yet consumed by I2S I2S Buffer Consumption USB Buffer Reception Start of Reception Start of Consumption Data transfer time (on the USB bus) 1 Frame = 1ms x

30 非 USB 改善 : 精准的时钟深的存储 BUFFER DMA. 减少 USB 的复制的时间基于 SOF 信号, 同步所有的消耗音频数据 USB 同步机制 : 主要改善 30 USB 数据速率控制机制 ( 异步 / 同步 / 高级 ) 我们会在下面的 PPT 详细介绍.

31 性能同步机制比较 31 异步同步高级时钟从属性各自独立运行采样时钟隶属于 SOF 采样时钟锁定端点和数据流数据率控制端点 : 明确的反馈源 : 明确的前反馈绝对的 (SOF) 端点 : 明确的反馈源 : 明确的前反馈每帧多少数量数据 - 固定 / 可变. - 确定的. - 固定. - 确定的. - 可变. - 不确定的. 高级异步同步复制度 (Hw & Sw)

32 STM32 同步实现 32 方式实现主要问题方案异步仅仅需要软件实现需要一个精准的移位测量和纠正已经移植在 STM32 产品同步需要软 / 硬件移植 ( 编程 PLLS 去隶属于 SOF ). 所要求的硬件,STM32 并不具有不可能在 STM32 上实现高级软件移植? ( SRC ). 理论上可行, 硬件 (I2S 动态调节采样率 + 时钟配置 ) 开发中

33 应用 33 STM32 USB 设备的音频数据流的例程是一个完整的软件库提供 : USB 音频数据流的应用 :USB 耳机喇叭多种同步方式 : 外部 PLL USB PIPE 反馈增加 / 减少采样个数 SRC 同步无同步方式在不影响系统时钟配置的情况下, 支持多种采样率 (48KHz, 44.1KHz, 32KHz )

34 STM32 异步机制 34 无同步动态时钟控制动态调节 I2S 的时钟增加 / 移除样本增加或者移除一个样本, 根据 BUFFER 的消耗情况通道反馈设备应用一个 uses a 专门的 USB 端点去通知主机在下一帧需要多少的数据采样转换 (SRC ) 设备用 SRC 的机制去转换部分的数据, 根据 BUFFER 的消耗情况低音质低成本高 / 中音质高成本 ( 额外时钟发生器 ) 低音质低成本低复杂度高音质低复杂度许多的主机并不支持这种功能高 / 中音质低成本. Other Ideas?

35 FW version V0.2.0 Toolchain KEIL MDK-ARM V4.21 Compiler version KEIL armcc compiler: Configuration Optimization: -O3, for Time System Clock = 120 MHz 3 Wait States on Flash 应得 MCU 负荷 35 Player: Option/Configuration CPU Load (%) 无同步 2.96% 外部时钟同步 3.22% 通道反馈 3.08% 增加 / 移除样本 2.97% SRC 22.07% 刻录 only 7.50%

36 应用占有的资源 36 FW version V0.2.0 Toolchain KEIL MDK-ARM V4.21 Compiler version KEIL armcc compiler: Configuration Optimization: -O3, for Time Module Footprint (Bytes) Code Const RAM Total Demo (all options enabled) Common modules USB LCD Synchro management 外部时钟通道反馈增加 / 移除样本 SRC

Audio/Smartphone accessories Training - Plan Proposal

Audio/Smartphone accessories Training - Plan Proposal STM32 音频应用 STM32 USB 音频应用 USB 音箱音频编码 (WAV,MP3) 音频解码 (WAV,MP3,WMA,AAC) ipod Docking Android Docking 软件升级 (U_disk) STM32 其它音频应用 DSP 一些其它免费的编码和解码 Sound bar Smart Phone 音频开发板 ST 现有的音频应用 2 DMA USB 音箱 3 通用的应用