语音技术及其应用

Size: px

Start display at page:

Download "语音技术及其应用"

烽侦松
5 years ago
Views:

1 洪青阳副教授厦门大学信息科学与技术学院

2 振动在空气中形成压力波动传感器的动作时变的电压信号

3 声波是一种纵波, 它的振动方向和传播方向是一致的声波的频率是指在单位时间内声波的周期数声音的频率与声音的音高有关在声学测量中, 直接测量声强较为困难, 故常用声压来衡量声音的强弱某一瞬间介质中的压强相对于无声波时压强的改变量称为声压, 记为 p(t), 单位是 Pa

4 由于人耳感知的声压动态范围太大, 加之人耳对声音大小的感觉近似地与声压声强呈对数关系, 所以通常用对数值来度量声音, 分别称为声压级与声强级一般把很小的声压 p 0 = Pa 作为参考声压, 把所要测量的声压 p 与参考声压 p 0 的比值取常用对数后, 乘以 20 得到的数值称为声压级 ( 单位 : 分贝,dB) 声压级 = 20log p p 0 db 安静家庭 :35dB, 吵闹街道 :70dB. 按照国家标准规定, 住宅区的噪音, 白天不能超过 50 分贝, 夜间应低于 45 分贝, 若超过这个标准, 便会对人体产生危害

5 Thanks to Dr. Ming Li for the contribution of the slides

6 图 1 动圈式传声器图 2 普通电容式传声器

麦克风 ( 又称传声器拾音器话筒 ) 的类型动圈式麦克风 : 精度灵敏度较低, 体积大

极化带电体是驻极体振膜本身, 驻极体话筒拾声的音质效果相对差些, 多用在对于音质效果要求不高的场合,

8 麦克风 ( 又称传声器拾音器话筒 ) 的类型动圈式麦克风 : 精度灵敏度较低, 体积大其突出特点是输出阻抗小, 所以接较长的电缆也不降低其灵敏度温度和湿度的变化对其灵敏度也无大的影响用于语音广播扩声系统电容式麦克风 : 音质好, 灵敏度较高, 但需要电源, 用于舞台录音室等驻极体麦克风 : 是电容式的一种, 无需外加电源, 体积小, 使用最广泛振膜式 : 极化带电体是驻极体振膜本身, 驻极体话筒拾声的音质效果相对差些, 多用在对于音质效果要求不高的场合, 如普通电话机玩具等背级式 : 极化带电体是涂敷在背极板上的驻极体膜层, 将储存电荷的膜层与振膜分离设计, 手机语音识别等高端传声录音产品多采用背极式驻极体

11 灵敏度 : 在一定强度的声音作用下输出电信号的大小以分贝表示, 并规定 1V/Pa 为 0dB, 因话筒输出一般为毫伏级, 所以, 其灵敏度的分贝值始终为负值

12 话筒对于不同方向来的声音灵敏度会有所不同, 这称为话筒的方向性方向性用传声器正面 0 方向和背面 180 方向上的灵敏度的差值来表示, 差值大于 15dB 者称为强方向性话筒全指向性单一指向性

13 全指向性话筒从各个方向拾取声音的性能一致当说话者要来回走动时采用此类话筒较为合适, 但在环境噪声大的条件下不宜采用心形指向话筒的灵敏度在水平方向呈心脏形, 正面灵敏度最大侧面稍小, 背面最小这种话筒在多种扩音系统中都有优秀的表现单指向性话筒又称为超心形指向性话筒, 它的指向性比心形话筒更尖锐, 正面灵敏度极高, 其它方向灵敏度急剧衰减, 特别适用于高噪音的环境

14 目前常见的话筒有高阻抗与低阻抗之分高阻抗的输出电压略高, 但引线电容所起的旁路作用较大, 使高频下降, 同时也易受外界的电磁场干扰, 所以, 话筒引线不宜太长, 一般以 10~20 米为宜低阻抗输出无此缺陷, 所以噪音水平较低, 传声器引线可相应的加长, 有的扩音设备所带的低阻抗传声器引线可达 100 米如果距离更长, 就应加前级放大器

15 1 语音增强 (Speech Enhancement) 2 声源定位 (Source Localization) 3 去混响 (Dereverberation) 4 声源信号提取 ( 分离 )

16 麦阵远场声源分离 10m 距离测试, 室外条件下不同方向两个说话人同时说话厦门大学 1,2,3,4,5,6 原始语音麦阵对准右边说话人输出

18 Thanks to Dr. Ming Li for the contribution of the slides

19 采样标准 : 能够重现声音, 与原始语音尽量一致采样率 : 每秒采样点数 Thanks to Dr. Ming Li for the contribution of the slides

20 当采样率大于信号中最高频率的 2 倍时, 采样之后的数字信号完整地保留了原始信号中的信息采样定理又称奈奎斯特 (Nyquist) 定理 W 原信号 F(f) 折叠失真 0 S 2S (a) 准确取样 (S 2W) 频率 0 S 2S 频率 (b) 非准确取样时 (S<2W)

21 Thanks to Dr. Ming Li for the contribution of the slides

22 量化 : 采样点的值不能取任意值取值范围 :2 N -1,N=8,16,32 必须为整型

23 模拟电压量化和编码电压范围 (V) 量化 ( 十进制数 ) 编码 ( 二进制数 ) 0.5~ ~ ~ ~ 量化过程是指将每个采样值在幅度上再进行离散化处理

24 量化方法均匀量化非均匀量化量化误差量化会引入失真, 并且量化失真是一种不可逆失真, 这就是通常所说的量化噪声信噪比 (signal-to-noise ratio,snr) 2 X max ( ) 6.02B lg( 2 e x x SNR db) 10lg( )

25 Thanks to Dr. Ming Li for the contribution of the slides

26 采样率 :8K( 电话嵌入式 ), 16K(PC), 44.1K(CD) 采样精度 ( 量化位数 ): 即每次取样信息量码率 (bps: bits per second, 又称比特率 ), 如 8k16bit 为 128kbps. 语音通道数 : 语音通道的个数表明语音产生的波形数, 一般分为单声道和立体声道单声道产生一个波形, 立体声道则产生两个波形

27 PCM 编码 1. 脉冲编码调制 (pulse code modulation,pcm) 是将模拟信号经采样量化编码的过程它只将编码后的数据保存, 并不保存任何格式信息最大优点是音质好, 最大缺点是体积大 2. PC 麦克风常用格式 ( 宽带录音,16k16bit) 可保存为 PCM raw data(.raw 文件, 无头部 ) 或 Microsoft PCM 格式 (.wav 文件 ) 3. ADPCM 编码是有损编码 (32kbps), 保存为 Microsoft ADPCM 格式 (.wav 文件 ) 存储格式 : PCM raw data (*.raw) Microsoft PCM (*.wav) Microsoft ADPCM (*.wav)

28 MP3 MP3 对音频信号采用的是有损压缩方式, 压缩率高达 10:1~12:1 为了降低声音失真度,MP3 采取了感官编码技术, 并使压缩后的文件回放时能够达到比较接近原始音频数据的声音效果

29 NIST 包含 ASCII 文本格式的 1024 字节可读的 Sphere 头部以下示例使用 16 位线性 PCM 和 16KHz 的采样率

30 A-law(A 律 ) 编码 1. ITU-T( 国际电联电信标准局 ) 定义的关于脉冲编码的一种压缩 / 解压缩算法 2. 世界上大部分国家采用 A 律压缩算法美国采用 mu 律算法进行脉冲编码 3. 固话录音 ( Hz) 常用的格式 ( 窄带录音, 8k8bit)

31 WAV (Microsoft PCM): PC 麦克风录音常用格式 A-law(8k8bit): 电话录音常用格式 MP3 AMR(Adaptive Multi-Rate): 每秒钟的 AMR 音频大小可控制在 1K 左右, 常用于彩信微信语音, 但失真比较厉害 WMA(Windows Media Audio): 微软公司推出的与 MP3 格式齐名的一种新的音频格式, 在压缩比和音质方面都超过了 MP3 AAC(Advanced Audio Coding): 相对于 MP3,AAC 格式的音质更佳, 文件更小 M4A: MPEG-4 音频标准的文件的扩展名, 最常用的.m4a 文件是使用 AAC 格式的 FLAC(Free Lossless Audio Codec): FLAC 是一套著名的自由音频压缩编码, 其特点是无损压缩 NIST(*.sph): 语音识别常用格式, 包含 ASCII 文本格式的 1024 字节可读的头

34 Speex 编解码库压缩率变换范围较广, 压缩等级可供选择的范围较宽, 所以应用在网络状况较为复杂的移动终端应用中甚为合适科大讯飞

35 基于 PCM 编码的 WAV 常作为不同编码互相转换时的一种中介格式, 以便于后续处理音频工具 : Cool Edit Adobe Audition 格式工厂

36 #define SIGN_BIT (0x80)/* Sign bit for a A-law byte. */ #define QUANT_MASK (0xf) /* Quantization field mask. */ #define NSEGS (8) /* Number of A-law segments. */ #define SEG_SHIFT (4) /* Left shift for segment number. */ #define SEG_MASK (0x70)/* Segment field mask. */ short alaw2linear2(unsigned char a_val) { short t; short seg; } a_val ^= 0x55; t = (a_val & QUANT_MASK) << 4; seg = ((unsigned short)a_val & SEG_MASK) >> SEG_SHIFT; switch (seg) { case 0: t += 8; break; case 1: t += 0x108; break; default: t += 0x108; t <<= seg - 1; } return ((a_val & SIGN_BIT)? t : -t);

37 在音频信息处理中, 经常需要编程处理不同格式的音频数据, 但前面介绍的音频格式多数不公开源码, 因此也很难将它们一一详细介绍, 这里只介绍 WAV 格式的技术构成

38 计算机中最常见的存放声音格式, 就是 WAV 文件格式, 其扩展名是.wav WAV 文件是以 RIFF (resource interchange file format) 的档案格式储存, 含有不定长度的文件头 (header) 与数据 (data), 组成不定长度的区块 (chunk) 与子区块 (subchunks), 所存的数据是编码的声音信号,WAV 文件支持线性波形编码调制 (PCM) 自适应差分脉冲编码调制 (ADPCM) 等波形编码实现

39 WAVE 文件是由若干个 Chunk 组成的按照在文件中的出现位置包括 :RIFF WAVE Chunk, Format Chunk, Fact Chunk( 可选 ), Data Chunk 具体见下图 : RIFF WAVE Chunk ID = 'RIFF' RiffType = 'WAVE' Format Chunk ID = 'fmt ' Fact Chunk(optional) ID = 'fact' Data Chunk ID = 'data'

41 typedef struct { char riff[4]; long length; char wave[4]; }WAVECHUNK; // RIFF file identification (4 bytes) // length field (4 bytes) // WAVE chunk identification (4 bytes) typedef struct{ char fmt[4]; long flength; short format; short chans; // format sub-chunk identification (4 bytes) // length of format sub-chunk (4 byte integer) // format specifier (2 byte integer) // number of channels (2 byte integer) long sampsrate; // sample rate in Hz (4 byte integer) long bpsec; // bytes per second (4 byte integer) short bpsample; // bytes per sample (2 byte integer) short bpchan; // bits per channel (2 byte integer) }FMTCHUNK; typedef struct{ char data[4]; long dlength; }DATACHUNK; // data sub-chunk identification (4 bytes) // length of data sub-chunk (4 byte integer)

42 偏移地址字节数数据类型内容 00H 4 char "RIFF" 标志 04H 4 long 文件长度 08H 4 char "WAVE" 标志 0CH 4 char "fmt" 标志 10H 4 过渡字节 ( 不定 ) 文件头 14H 2 short 格式类别 (10H 为 PCM 形式的声音数据 ) 16H 2 short 通道数, 单声道为 1, 双声道为 2 18H 4 long 采样率 ( 每秒样本数 ), 表示每个通道的播放速度, 1CH 4 long 波形音频数据传送速率, 其值为通道数每秒数据位数每样本的数据位数 /8 播放软件利用此值可以估计缓冲区的大小 20H 2 short 22H 2 short 数据块的调整数 ( 按字节算的 ), 其值为通道数每样本的数据位值 /8 播放软件需要一次处理多个该值大小的字节数据, 以便将其值用于缓冲区的调整每样本的数据位数, 表示每个声道中各个样本的数据位数如果有多个声道, 对每个声道而言, 样本大小都一样 24H 4 char 数据标记符 "data" 28H 4 long 语音数据的长度总共 44 个字节

43 可以用时间 - 频域 - 幅度的方式显示出原始声音的语谱图语谱图

44 麦克风类型采样和量化过程语音文件常见格式 WAV 头部语谱图

45 Any questions?

認識聲音的原理人們靠耳朵聽到外在聲音 Jingo C. Liao 廖正宏 P 3 認識聲音的原理聲音是如何產生的? 聲音的產生起因於物體振動鼓聲由鼓面振

認識聲音的原理人們靠耳朵聽到外在聲音 Jingo C. Liao 廖正宏 P 3 認識聲音的原理聲音是如何產生的? 聲音的產生起因於物體振動鼓聲由鼓面振第十四章多媒體 : 聲音 Reporter : Jingo C. Liao 廖正宏 E-mail : jingo@mail.tku.edu.tw 章節列表 1. 認識聲音的原理 2. 認識聲音的形式 3. Jingo C. Liao 廖正宏 P 2 1 認識聲音的原理人們靠耳朵