第4章语音信号的时域分析.ppt

国家“十一五”规划教材 数字语音编码讲议 同济大学电子与信息工程学院 赵晓群编著 机械工业出版社，2007年 哺 驰 旷 怜 甚 秉 帝 腺 荆 辙 发 粗 驳 迅 接 拓 笺 脐 熟 栋 慈 唯 者 厘 圣 醛 连 芝 笛 漂 膊 些 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 第第4 4章语音信号的时域分析章语音信号的时域分析 4.2语音信号的数字化与预处理 4.1概述 4.4短时平均过零率和上升过零间隔 4.3短时平均能量和短时平均幅度 4.5短时自相关函数和短时平均幅度差函数 4.6短时时域处理技术的应用 4.7中值滤波在语音短时时域处理中的应用 妒 噬 病 照 谊 崎 梗 善 蝎 呛 赞 恫 脱 莎 埂 戴 青 瘴 褒 蔬 处 罐 撇 鞋 爷 晋 仍 断 煌 嗽 娟 捡 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 第4章语音信号的时域分析 4.1概述 语音信号携带各种信息：男声、女声，喜、怒，中、英等。 不同场合感兴趣的信息不同； 判断信号是否为语音，只需人类语音信号的一般特征； 区分语音为清、浊音，需语音能量谱和基频； 数字传输或数字存储时，目的不同，保留信息精度不同； 语音信号处理的任务： 去除与应用目的不相干或影响不大的语音信息 需要的信息不仅应当提取出来，有时还需要加强。 以上涉及语音信号中，各种信息的表示问题。 表示方法的原则：最方便、最有效。 短时分析技术贯穿于语音分析的全过程。 第4章语音信号的时域分析 4.1概述 同济大学电子与信息工程学院 - 3 - 赵晓群 教授 受 氛 朝 匡 瘤 厄 列 日 萄 华 拾 激 纳 赣 猾 祭 兔 佐 胺 便 涡 你 拷 碴 噎 疡 拇 沸 江 策 竹 趴 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 整体的语音信号来讲，分析出的是由每一帧特征参数组成的特 征参数时间序列。 语音信号分析：时域分析、频域分析、倒频域分析等； 语音信号分析：模型分析、非模型分析； 模型分析法是指依据语音信号产生的数学模型，来分析和提取 表征这些模型的特征参数， 模型分析：共振峰分析、无损级联声管分析法 非模型分析：不进行模型化的分析 语音的预处理：语音信号的数字化、语音信号的端点检测、 预加重、加窗、分帧等， 本章重点：语音信号的各种时域分析技术，是语音处理技术 的基础知识。 第4章语音信号的时域分析 4.1概述 同济大学电子与信息工程学院 - 4 - 赵晓群 教授 阮 处 泥 盘 弥 蒋 寿 沙 救 税 核 延 锻 润 访 析 植 匙 发 罕 悄 绝 窑 义 民 加 赌 帛 渍 鹰 策 滑 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 信号数字化：放大、增益控制、反混叠滤波、取样、 A/D变换及编码（PCM编码）； 预处理：预加重、加窗、分帧、端点检测等； 图4.1：语音信号数字分析或处理的系统框图。 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 同济大学电子与信息工程学院 - 5 - 赵晓群 教授 图4.1语音信号数字处理系统框图 反混叠滤波 语音输入 语音输出 A/D转换分析处理 平滑滤波 D/A转换合成处理 传输或存储 猩 吠 魔 傲 缎 囚 出 虱 润 靠 泊 拓 殆 琴 档 戴 掣 瓷 雅 谷 邀 哭 习 敞 早 啦 机 糙 速 秸 们 给 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.2.1预滤波、取样、A/D变换 预滤波：带通滤波器（上、下截止频率为fH、fL） 防混叠滤波，抑制fs/2的输入信号分量（fs为取样频率） 抑制工频干扰（50 Hz电源）。 多数语音编/译码器： fH = 3.4kHz， fL = 60100Hz，fs= 8kHz。 语音识别：对电话用户指标与语音编/译码器时相同； 要求较高或很高： fH=4.5 or 8kHz, fL=60Hz, fs = 10 or 20kHz。 A/D变换需对信号量化，编码为二进制，产生量化误差。 量化误差（量化噪声）：量化信号值与原信号值之差； 信号波形的变化足够大或量化间隔足够小时， 量化噪声符合具有下列特征的统计模型： 量化噪声是平稳的白噪声过程； 量化噪声与输入信号不相关； 量化噪声在量化间隔内均匀分布，即具有等概率密度分布。 同济大学电子与信息工程学院 - 6 - 赵晓群 教授 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 擂 项 戏 欢 墅 锚 雪 销 已 四 削 僧 沸 头 边 丈 退 寒 扛 秽 鲁 啪 蔓 馅 信 他 惋 滴 拜 杉 磨 俘 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 量化信噪比SNR（信号与量化噪声的功率比）为： 式中， 输入语音信号序列的方差， 噪声序列的方差， 信号的峰-峰值， B量化字长， 设语音信号的幅度服从Laplace分布，则 取 ， 上式改写为： B=7 bit，SNR=35 dB，能满足一般通信系统的要求。 语音波形的动态范围达55 dB，故B应取10 bit以上。 为保持35 dB的信噪比，常用12 bit量化，附加的5 bit用于补偿 30 dB左右的输入动态的变化。 同济大学电子与信息工程学院 - 7 - 赵晓群 教授 表明量化器中每bit字长对 SNR的贡献约为6 dB 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 哎 灸 艳 勤 埂 召 靠 识 汰 赁 贮 迢 奸 村 叁 菲 坝 蝗 惹 委 楔 弯 砸 斥 智 泼 捎 挨 剿 拨 篷 岸 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 A/D变换器：分为线性和非线性两类。 目前采用绝大部分的线性A/D变换器是12 bit。 非线性A/D变换器一般是8 bit，它与12 bit线性变换器等效。 有时需要将非线性的8 bit码转换为线性的12 bit码。 数字化的反过程是从数字化语音中重构语音波形。 必须在D/A后加平滑滤波器，对重构的语音波形的高次谐波起 平滑作用，以去除高次谐波失真。 预滤波、取样、A/D和D/A变换、平滑滤波等许多功能可以用 一块芯片完成，在市场上有多种这样的集成芯片供选用。 同济大学电子与信息工程学院 - 8 - 赵晓群 教授 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 岩 锐 案 染 竞 氧 过 瓣 巳 纬 漓 翁 殴 舶 句 生 残 幽 斩 输 泄 奥 双 新 梁 精 踌 校 苇 奸 匪 州 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.2.2预处理 预处理：预加重、加窗、分帧、端点检测等； 语音的一个特征：约8 kHz高频端按-6 dB/倍频程跌落。 预加重：提升语音的高频部分，使信号的频谱变得平坦， 可在反混叠滤波前，可压缩动态范围，提高信噪比。 也可在数字化后、参数分析之前。 预加重用6 dB/倍频程的提升高频特性的预加重数字滤波器： 式中，为常系数，值接近于1，通常取= 0.920.94。 恢复原信号，对测量值进行去加重处理， 即加上-6 dB/倍频程的下降的频率特性来还原成原来的特性。 同济大学电子与信息工程学院 - 9 - 赵晓群 教授 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 婶 绣 篡 宜 韦 刊 先 锨 裸 台 窖 液 笋 入 怎 怕 寄 屉 花 喉 厉 睛 擂 估 决 纪 腕 画 闭 狈 哀 硼 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.2.3窗函数的作用 采用连续分段或交叠分段的方法分帧，33 100帧/秒。 图4.2：帧移与帧长示例。 帧与帧之间的信号平滑过渡，保持其连续性。 帧移：前后帧的交叠部分。 帧移与帧长的比值一般为01/2。 移动窗函数加权实现： x(n)为语音信号，w(n)为窗函数，sw(n)为窗选语音信号。 同济大学电子与信息工程学院 - 10 - 赵晓群 教授 图4.2帧移与帧长的示例(N为帧长，M为帧移) 理想窗函数的频率响应有 一个很窄的主瓣，它增加了频 率的分辨度，而没有旁瓣。 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 膜 胰 听 茨 迈 噬 鹅 窑 然 窿 千 热 池 五 雹 辛 拘 泼 项 赡 嚣 邦 蛤 侄 烃 儒 稍 菏 郎 浆 概 缴 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 讨论窗函数的形状和长度的影响。 1. 窗函数的形状 好的窗函数的标准： 时域：减小时间窗两端的坡度，使窗口两端边缘平滑过渡到 到零，减小语音帧的截断效应； 频域：较宽的3 dB带宽和较小的边带最大值。 常用的窗函数（窗长为N）： (1) 矩形（rectangular）窗： (2) Hamming（汉明）窗： (3) Hanning（汉宁）窗： 同济大学电子与信息工程学院 - 11 - 赵晓群 教授 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 尘 草 刮 闺 搔 篙 彪 复 纫 饱 咯 填 宫 彰 醚 肚 蓉 王 锌 状 晤 池 桔 扣 弓 拟 炯 薄 榷 垃 朋 辑 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 (4) Bartlett（巴特雷特）窗： (5) Blackman（布累克曼）窗： (6) Kaiser（凯散）窗： 式中， 零阶贝塞尔函数， 同济大学电子与信息工程学院 - 12 - 赵晓群 教授 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 噪 碧 步 考 彭 恢 艾 蜜 涂 盗 八 部 佩 蛔 则 梭 涅 嗽 区 器 偷 队 姿 滋 伍 看 望 词 弯 岳 绊 具 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.3、 4.4 ：窗函数的波形 矩形窗主瓣最窄，频率分辨度 最高，频率泄漏最大； Blackman窗频率分辨度最低， 频率泄漏最小。 常用矩形窗、Hamming窗。 同济大学电子与信息工程学院 - 13 - 赵晓群 教授 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 图4.3各种窗函数的时间波形 图4.4各种窗的频率响应 Bartlett窗 矩形窗 Hamming窗 Blackman窗 Hanning窗 Kaiser窗 等 拨 柳 彪 未 褥 谎 涧 挽 旬 峦 翟 逊 序 岸 曾 盐 乐 励 差 唾 烈 究 刀 匡 鹊 状 愤 谎 钩 蛋 卧 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 2. 窗口的长度 取样周期Ts = fs、窗口长度N、频率分辨率f 的关系为： Ts一定时， f 随窗口N增加而减小， 即f 提高，时间分辨率降低。 如果窗口取短，频率分辨率下降，时间分辨率提高。 取样周期和频率分辨率矛盾，应根据需要选择合适的窗长。 时域分析： N 很大，语音高频受阻，短时能量变化很小，不能反映幅度变化； N 太小，滤波器通带宽，短时能量急剧变化，不能平滑能量函数。 通常一帧内应含有1 7个基音周期。 基音周期变化大，从女性和儿童的2 ms到老年男子的14 ms 10 kHz取样时，N 折衷选择为100 200点（10 20 ms）。 分析条件：（通常需标明，以提供性能评价参考依据） 取样频率、精度、预加重方式、窗函数、帧长、帧移等。 同济大学电子与信息工程学院 - 14 - 赵晓群 教授 第4章语音信号的时域分析 4.2语音信号的数字化和预处理 监 猪 寸 孰 汀 莉 辟 沸 持 貌 肉 折 诲 货 笋 酥 氧 贯 纠 窜 讽 曼 锌 舍 藉 痴 素 在 涂 哪 络 臭 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 第4章语音信号的时域分析 4.3短时能量和短时平均幅度 4.3.1短时能量 语音的清音能量较小，浊音能量较大。 语音的能量分析主要短时能量和短时平均幅度。 n时刻语音信号的短时能量En为： 或 式中，h(n)=w2(n)，可以看做滤波器的冲激响应函数。 En反映语音振幅或能量随时间缓慢变化的规律。 窗函数或滤波器的函数形式和宽度对能量序列影响很大。 选择合适的窗函数或滤波器的冲激响应函数和它们的宽度。 用得较多的是矩形窗和Hamming窗。 第4章语音信号的时域分析 4.3短时能量和短时平均幅度 同济大学电子与信息工程学院 - 15 - 赵晓群 教授 拣 杯 鞠 佃 吗 绊 更 宣 迟 屈 苇 臃 众 芝 墟 渡 套 庶 恍 碱 抢 达 谦 胯 恼 或 番 当 朱 惰 弄 珍 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 窗宽的影响： 窗函数很宽或冲激响应很长，平滑作用显著，使En变化不大， 反映不出语音能量的时变特性。 窗函数过窄，平滑作用有限，仍然保留瞬时快变化，使En反映 语音振幅细节，表现不出振幅平方包络的变化规律。 当N小于语音基音周期时，将按照基音周期内语音振幅平方波 形的细节瞬时变化； 当N比基音周期的若干倍还要大时，各段语音的短时能量差别 不大，不能跟随语音能量的时变特性。 这两种情况都不能准确描述语音能量自身的实际变化规律。 必须选择合适的窗宽， 兼顾男声和女声，10 kHz取样时，选窗宽10 20 ms。 第4章语音信号的时域分析 4.3短时能量和短时平均幅度 同济大学电子与信息工程学院 - 16 - 赵晓群 教授 俗 齿 拣 守 荤 咳 饱 蜀 钩 殴 良 关 挛 拔 秸 晃 颗 盯 扮 赁 逾 巧 豌 饿 督 帕 漆 号 叫 奉 巡 瑰 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.5：语音的短时能量序列的包络曲线。 第4章语音信号的时域分析 4.3短时能量和短时平均幅度 同济大学电子与信息工程学院 - 17 - 赵晓群 教授 (a) 加矩形窗时 (b) 加Hamming窗时 图4.5语音“同舟共济”的短时能量函数（10 kHz取样） 矩形窗比Hamming窗的平滑效果显著； 随着窗宽的增加，平滑效果越显著； 从的包络曲线可以清楚看出清音和浊音之间的区别和分界点， 迈 拜 榆 淹 误 跨 填 焰 姜 渐 谤 珍 撮 诵 欺 锈 吗 逐 诵 毖 娄 轻 佳 诵 仕 面 页 萄 志 墨 绽 原 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.3.2短时平均幅度 En的计算是平方求和，计算量大； 平方运算扩大了样本间差别，选窗宽择带来附加的困难。 须选择较宽的窗，才能较好地平滑平方幅度的起伏。 为此，提出语音能量时变性质的另一个重要参数。 n时刻语音信号的短时平均幅度Mn为： 或 式中，h(n) =w(n)通常窗函数w(n)0 ，所以h(n) = w(n)。 依据定义式可导出多种的计算方法（略）。 共三种。 第4章语音信号的时域分析 4.3短时能量和短时平均幅度 同济大学电子与信息工程学院 - 18 - 赵晓群 教授 侧 获 摇 鳖 差 屈 痉 蕾 巢 耀 胆 压 凳 幽 昨 片 邓 熔 鬼 赊 苦 剩 孺 跺 憎 拌 渺 包 眩 糖 颠 询 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.6：语音的平均幅度序列的包络曲线。 第4章语音信号的时域分析 4.3短时能量和短时平均幅度 同济大学电子与信息工程学院 - 19 - 赵晓群 教授 (a) 加矩形窗时 (b) 加Hamming窗时 图4.6语音“同舟共济”的短时平均幅度函数（10 kHz取样） 语音的平均幅度与短时能量具有相似的一些性质 矩形窗比Hamming窗的平滑效果显著； 随着窗宽的增加，平滑效果越显著； 从的包络曲线可以清楚看出清音和浊音之间的区别和分界点， 禾 氧 汝 净 懦 烫 理 势 化 忙 造 衫 罗 洗 扯 腻 研 萎 怨 船 棋 富 吃 脾 究 迭 烽 核 邢 咙 庄 方 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 比较En和Mn（比较图4.6与4.5 ）： 短时平均幅度的差别没有它们的短时能量的差别那么显著； 清音的短时平均幅度比短时能量有所提高。 En和Mn的主要用途： 区分语音的清音段与浊音段； 区分声母与韵母； 无声与有声的分界； 作为一种超音段信息用于语音识别。 第4章语音信号的时域分析 4.3短时能量和短时平均幅度 同济大学电子与信息工程学院 - 20 - 赵晓群 教授 数 撒 毙 芒 甭 谋 锹 滚 酬 验 吃 纽 嚎 角 协 灯 坯 全 暂 竹 熏 诊 酣 姨 河 掖 记 脯 琳 叔 阀 扶 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 第4章语音信号的时域分析 4.4短时平均过零率和上升过零间隔 4.4.1短时平均过零率 离散信号相邻样本取不同符号时，称为出现了过零现象。 过零率：单位时间过零的次数。 窄带离散信号的过零率较准确地度量了信号的频率特性。 宽带离散信号的过零率只能粗略地反映信号的频谱特性。 语音信号是宽带、缓时变信号，其频谱特性随时间变化。 语音信号的短时过零率粗略地表征语音信号的频谱特性。 语音信号的过零率序列能够描述： 语音序列的清音和浊音、无声与有声等特征， 在语音分析中有重要应用。 第4章语音信号的时域分析 4.4短时平均过零率和上升过零间隔 同济大学电子与信息工程学院 - 21 - 赵晓群 教授 斧 蛇 铜 兹 玄 拯 肉 媳 硫 痘 壶 抄 涛 事 追 髓 闸 僧 麓 态 派 揽 露 溺 瓮 痪 增 驶 毕 止 萝 抡 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 n时刻语音信号的短时平均过零率Zn为： 式中， 上式的物理意义： 当相邻两个样本符号相同时，不产生过零； 当相邻两个样本符号相反时，产生一次过零。 第4章语音信号的时域分析 4.4短时平均过零率和上升过零间隔 同济大学电子与信息工程学院 - 22 - 赵晓群 教授 急 操 厕 头 钉 惋 盆 释 嘱 且 置 尧 玖 贷 核 肾 逐 敖 扶 双 亭 扼 俄 魏 淹 徽 兵 蛆 激 瑰 砰 走 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.7：语音的短时平均过零率的包络曲线。 浊音频谱主要集中在3 kHz以下低频区域，超过4 kHz后频谱幅 度迅速下降；而清音频谱幅度在超过4 kHz后反而呈上升趋势 ，甚至超过8 kHz后频谱幅度仍然很大。 这表明清音频谱主要集中在高频区域。 短时平均过零率粗略地描述了语音信 号的频谱特性，并可用于区分浊音和 清音。 例: 图4.7中短时平均过零率高的区段 对应清音，过零率低的区段对应浊音。 但是，仅用过零率的高低区分清音和 浊音并不很准确，因为某些清音和浊 音的短时平均过零率的数值相差不多。 同济大学电子与信息工程学院 - 23 - 赵晓群 教授 第4章语音信号的时域分析 4.4短时平均过零率和上升过零间隔 图4.7语音“同舟共济”的短时平 均过零率曲线（10 kHz取样） (a) 原始语音波形 (b) 平均过零率 匡 裔 兔 户 雇 哮 更 以 秋 店 订 谣 骇 桩 塌 屈 彩 每 支 盘 范 秸 缔 土 丰 碘 沙 沤 猪 玲 慨 亢 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.8：清音和浊音每10 ms内过零数的概率分布曲线。 清音：10 ms过零数为49的概率最大，大体上显正态分布。 浊音：10 ms过零数为14的概率最大，也大致呈正态分布。 浊音和清音每10 ms过零数为24左右的概率几乎是相等的，因而 凭着这类数值就很难区分浊音和清音。 规定一个噪声门限： 样本超过门限正值，认为是正并赋值， 样本低于门限负值，认为是负并赋值， 界于门限正负值间，认为是零并赋值。 为准确判定样本的符号，应要求： 信号中不含直流偏移； 噪声和电源干扰尽可能小； 选择合适的正负门限值。 同济大学电子与信息工程学院 - 24 - 赵晓群 教授 第4章语音信号的时域分析 4.4短时平均过零率和上升过零间隔 图4.8过零率概率分布图 清音 47 浊音 0 10 20 30 40 50 60 70 80 每10 ms内的过零分布 14 屿 议 靡 且 歼 蛆 尉 淤 杰 筑 畜 津 硬 井 绅 长 薛 柿 销 肄 弛 奎 勤 呸 灶 借 放 垄 隆 咏 端 犹 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.4.2短时上升过零间隔 短时平均过零率：描述复杂波形“频率”特征的一个参数。 短时平均上升过零间隔：描述复杂波形“周期”特性的参数。 在一定的噪声背景下，过零间隔参数具有很好的顽健性，对不 同的语音具有很好的差异性 上升过零点时间RZCT：当前信号波形样本大于或等于零，而 其前一点样本小于零。 上升过零间隔RZCI： 上升过零间隔次数序列：将各种语音得到的统计出各种长度的 间隔出现的次数，由此可以得到上升过零间隔次数序列。 第4章语音信号的时域分析 4.4短时平均过零率和上升过零间隔 同济大学电子与信息工程学院 - 25 - 赵晓群 教授 钦 粹 稍 心 尉 源 妹 杭 射 疙 镁 沂 禽 雨 吃 密 眺 郡 酿 懊 作 醉 梅 墨 妥 适 龚 趾 剔 础 衰 欢 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 4.5.1短时自相关函数 自相关函数用于衡量信号自身时间波形的相似性。 清音和浊音的发声机理不同，波形上存在较大的差异。 浊音的时间波形呈现准周期性，波形之间相似性较好； 清音的时间波形呈现随机噪声的特性，样本间相似性较差。 可以用短时自相关函数来测度语音的相似特性。 时间离散的确定信号，自相关函数的定义为： 随机信号或者周期信号，自相关函数的定义为： 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 26 - 赵晓群 教授 押 米 椎 想 甜 幸 健 致 撮 毕 鹰 枯 斋 金 威 塌 疏 钡 往 敌 萧 团 菏 浙 嚏 遇 阻 疥 荫 神 赠 变 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 自相关函数具有以下性质： (1) 周期性：周期信号的自相关函数是周期函数； (2) 对称性：R(k) = R(-k) ； (3) 存在最大值：对所有k，有R(0) R(k)； (4) 对确定信号， R(0) = 信号能量； 对随机信号或周期信号， R(0) = 平均功率。 短时自相关函数为： 根据自相关函数的性质(2)，得： 令hk(n) = w(n)w(n+k) ，上式改写为： 上式表明，可用数字滤波器实现Rn(k)的计算。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 27 - 赵晓群 教授 恶 抑 宙 缺 稍 塔 饥 啃 粉 怠 措 烛 栏 紧 己 球 癣 蛊 敲 望 点 核 绰 埋 矛 撕 悉 让 轧 朵 夸 颐 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 实际往往不采用数字滤波器来实现，而采用直接计算的方法 令 ，并 m 用代替 ，且 ， 由上式得： 考虑到有限窗宽N，上式改写为： 考查Rn(k)计算量： 乘法： 加法： 计算量过大，需改进。 改进方法：DFT技术，细节略。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 28 - 赵晓群 教授 诊 到 宵 造 硬 移 南 桅 衔 啦 强 察 莉 秘 福 迫 氧 暮 赴 承 阁 抠 反 亚 供 增 监 羡 瘟 喻 每 球 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.5.2语音信号的短时自相关函数 图4.9：语音的短时自相关函数曲线，特点： 明显反映浊音信号的周期性；例：周期72点，9 ms或110 Hz 清音没有周期性，其性质类似于噪声； 窗函数有影响。矩形窗时，浊音的自相关函数周期性明显； 短时自相关函数的幅度是一个逐渐衰减的曲线。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 29 - 赵晓群 教授 (a) 浊音 (b) 清音 图4.9语音的短时自相关函数（10 kHz取样，窗长320） 墒 袍 淄 役 丽 走 胀 沙 癌 经 齿 窗 大 尿 函 斌 谎 宙 识 厘 菇 钠 台 思 题 耘 炙 吸 侥 毛 坐 靖 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 窗函数长度对短时自相关函数有重要影响； 一般要求，窗长大于两倍的基音周期为好。 图4.10：不同矩形窗长时的短时自相关函数 为反映语音的周期性，长窗有利； 为反映语音的时变性，短窗有利； 可采用修正的短时自相关函数，折中处理。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 30 - 赵晓群 教授 图4.10不同矩形窗长时的短时 自相关函数（10 kHz取样） 营 廊 悯 烹 受 屿 典 楼 返 吨 很 责 威 阑 徒 透 崭 馁 屎 项 东 炭 泣 掩 运 蚤 殃 锥 氛 诵 酶 裁 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.5.3修正的短时自相关函数 修正的短时自相关函数定义为： 或 式中， K最大的延迟，保证计算任何k时，执行N次乘累加运算 矩形窗时，计算式可简化为： 是两个不同有限长度语音段和的互相关函数。 不满足对称性；但有周期性，幅度不下降。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 31 - 赵晓群 教授 虞 阴 夫 盔 览 喇 载 婚 峨 竞 奎 腊 夯 联 羌 谨 猜 流 殆 昆 楚 拘 狂 甲 忽 结 雨 主 羔 肾 梁 浆 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.11：修正短时自相关函数的曲线 基音周期最大值为Tmax，则 的两段分别只需为Tmax和 2Tmax ，可正确求取基音周期； N 值较大时，随 k 增大， 峰值有所下降； 若信号为周期冲激串时，则所有的峰值同幅度。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 32 - 赵晓群 教授 图4.11不同矩形窗长时的修正短时 自相关函数（10 kHz取样） 姿 持 睹 啥 烤 菲 洒 锨 逐 燕 州 焙 垦 耸 恍 软 识 孽 舞 刘 韩 颊 侵 冀 臃 肿 吝 堵 令 奋 舜 镇 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 4.5.4短时平均幅度差函数 短时自相关函数是语音信号时域分析的重要参量。 自相关函数的运算量大。原因：乘法运算时间较长。 避免乘法，引入短时平均幅度差函数 短时平均幅度差函数定义为： 式中，w1(m)和w2(m)是窗函数， 当窗的宽度选为 N 时，上式为： 若信号有周期性，在 时将出现极小值。 Np是周期 的性质类似于自相关函数； 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 33 - 赵晓群 教授 膛 文 吏 沙 励 鲤 轿 遂 概 纽 皮 君 帛 蛮 齐 弗 肥 掖 续 印 氰 缎 箍 苞 的 兰 黍 歼 拌 脊 菱 绍 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.12：周期性语音的Rn(k)和Fn(k) 特点：周期性信号，Fn(k)是在周期 的整数倍点上有谷值， 而不是峰值。 可以证明Rn(k)和Fn(k)有密切关系， 其关系为： 式中， 。 计算Fn(k)只需加法、减法和取绝对值的运算； 与Rn(k)的加法和乘法相比，其运算量大大减少； 用硬件实现语音信号分析时有很大好处。 Fn(k)已用于许多实时语音处理系统中。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 34 - 赵晓群 教授 图4.12周期性语音的Rn(k)和Fn(k)的 示例（10 kHz取样，窗长320） 堂 属 韧 缀 糜 码 因 湾 敌 铣 绝 烤 床 乏 熔 启 涤 象 尸 洁 凯 犀 酪 席 柏 跌 陨 洪 桌 紊 壶 蓑 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 图4.13：平均幅度差函数 平均幅度差函数在浊音的基音周期上出现极小值， 在清音时没有明显的极小值。 第4章语音信号的时域分析 4.5短时自相关函数和短时平均幅度差函数 同济大学电子与信息工程学院 - 35 - 赵晓群 教授 (a) 浊音 (b) 清音 图4.13语音的平均幅度差函数（10 kHz取样，窗长320） 肿 世 豺 病 冬 卸 倒 再 郡 雹 密 邹 海 泳 决 捞 瞒 额 姨 朝 默 侮 嗓 射 帘 倍 舆 坷 屈 菠 昼 晒 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 第4章语音信号的时域分析 4.6短时时域处理技术的应用 4.6.1语音端点检测 某些应用要求：找出语音端点，采集真正语音， 以减少数据量、运算量、处理时间。 语音端点检测：归结为区别语音和噪声。 若SNR很高，则计算信号的短时能量可区分语音端点。 实际应用中难保证高信噪比，不能仅依靠短时能量来判别； 某些语音端点判别会遇到特殊的困难： 弱摩擦音、弱爆破音、鼻音时，往往与背景噪声电平相近。 可补充利用短时平均过零率Zn进行判断：因清音和以上所举的 音素的Zn比背景噪声的Zn要高数倍 。 第4章语音信号的时域分析 4.6短时时域处理技术的应用 同济大学电子与信息工程学院 - 36 - 赵晓群 教授 塘 蔚 川 网 拄 妹 掖 卜 勘 硬 野 齐 彭 刽 骏 逢 眯 布 喝 让 联 弧 丁 履 燥 赎 姨 空 吸 始 佯 捧 第 4 章 语 音 信 号 的 时 域 分 析 第 4 章 语 音 信 号 的 时 域 分 析 两级判决法：用En作第一次判别，再用Zn作第二次判别。 第一级判别：采用双门限比较的方法（见图4.14）。 (1) 根据En取较高门限M1 (En多在M1之上)，进行粗判，语音起止 点位于M1与En包络交点对应的间隔之外（即AB段之外）。 (2) 根据背景噪声的平均能量选取较低门限M2，从A点往左、B点 往右搜索，分别找到En包络第一次与门限相交的两点C和D，于 是CD段就是根据En判定的语音段。 第4章语音信号的时域分析 4.6短时时域处理技术的应用 同济大学电子与信息工程学院 - 37 - 赵晓群 教授 图4.14语音端点的两级