餐饮 公司 网站建设,宁波网站制作公司费用价格,在线代理网页版,给 wordpress category (分类)添加字段1 特征提取流程在语音识别和话者识别方面#xff0c;最常用到的语音特征就是梅尔倒谱系数#xff08;Mel-scaleFrequency Cepstral Coefficients#xff0c;简称MFCC#xff09;。MFCC提取过程包括预处理、快速傅里叶变换、Mei滤波器组、对数运算、离散余弦变换、动态特征提…1 特征提取流程 在语音识别和话者识别方面最常用到的语音特征就是梅尔倒谱系数Mel-scaleFrequency Cepstral Coefficients简称MFCC。 MFCC提取过程包括预处理、快速傅里叶变换、Mei滤波器组、对数运算、离散余弦变换、动态特征提取等步骤。 2 快速傅里叶变换 快速傅里叶变换即利用计算机计算离散傅里叶变换DFT)的高效、快速计算方法的统称简称FFT。 FFT不是Fast FT而是Fast DFT FT的种类很多以最简单的基于2的FFT为例。 FFT实际上一种分治算法。FFT将长度为的信号分解成两个长度为信号进行处理这样分解一直到最后每一次的分解都会减少计算的次数。理解FFT分以下三个步骤进行步骤1将信号分解成两个子信号偶数样本点信号奇数样本点信号步骤2将两个求和项理解成两个长度为的DFT步骤3FFT的具体计算过程对于任意都要进行次加法操作所以DFT共有次乘法操作。对于任意都要进行次加法操作DFT共有次加法操作。FFT共有次乘法操作和次加法操作。语音信号是有限长的离散信号。预处理后的语音信号FFT后效果3 Mel滤波器组将能量谱通过一组Mel尺度的三角形滤波器组定义一个有M个滤波器的滤波器组滤波器的个数和临界带的个数相近采用的滤波器为三角滤波器中心频率为 。M通常取22-26。各f(m)之间的间隔随着m值的减小而缩小随着m值的增大而增宽如图所示三角带通滤波器有两个主要目的1三角形是低频密、高频疏的这可以模仿人耳在低频处分辨率高的特性2对频谱进行平滑化并消除谐波的作用突显原先语音的共振峰。频谱有包络和精细结构分别对应音色与音高。对于语音识别来讲音色是主要的有用信息音高一般没有用。在每个三角形内积分就可以消除精细结构只保留音色的信息。3傅里叶变换得到的序列很长一般为几百到几千个点把它变换成每个三角形下的能量可以减少数据量Mel频率和频率f的对应关系或者Mel滤波器实现过程1确定最低频率0HZ最高频率fs/2Mel滤波器个数M232转换最低频率和最高频率的Mel(f)3计算相连两个Mel滤波器中心Mel频率的距离在Mel频率上两两之间的中心频率是等间距的4将各种中心Mel频率转化为频率f非等间距5计算频率所对应的FFT中点的下标灵魂的拷问为什么有些Mel滤波器组不等高我设计的是等高的这样有影响吗有优势吗AI大语音不等高的原因是乘了一个递减的系数就是实现上一些细节的差别保证了每个滤波器的能量和一样。横轴指的频率低频的系数高就是对低频更加的关注 。没有太大的影响一般主要用等高的。经过梅尔滤波器组后的Fbank特征4 对数运算将原语音信号经过傅里叶变换得到频谱 X[k]H[k]E[k]只考虑幅度就是 |X[k] ||H[k]||E[k] |两边取对数 log||X[k] || log ||H[k] || log ||E[k] ||再在两边取逆傅里叶变换得到 x[k]h[k]e[k]灵魂的拷问为什么要进行对数运算它在干嘛对数运算包括取绝对值和log运算。取绝对值是仅使用幅度值忽略相位的影响因为相位信息在语音识别中作用不大。log运算是为了分别包络和细节包络代表音色细节带包音高显然语音识别就是为了识别音色。另外人的感知与频率的对数成正比正好使用log模拟。FFT变换后卷积变成了乘法取对数后乘法变成了加法把卷积信号转换成加性信号。5 离散余弦变换DCT再在两边取逆傅里叶变换得到 x[k]h[k]e[k]在上一步中我们成功地把基音信息与声道信息变成了加性的。那么如何分离呢它们有如下性质频谱图中注意是一帧FFT变换内1基音信息在频域是快速变化的。2声道信息在频域是缓慢变化的。因此再做一次DCT可以将其分离。我们称之为倒谱域。因此倒谱域的低频部分刻画了声道信息高频部分刻画了基音信息。 由此得到12维的MFCC特征 由于许多要处理的信号都是实信号在使用DFT时由于傅里叶变换时由于实信号傅立叶变换的共轭对称性导致DFT后在频域中有一半的数据冗余。 将DFT式子拆开抽出实数部分则实数部分虚数部分又有而当x[n]是实偶信号时把DFT写成 但是实际中并没有那么多实偶信号我们就认为造出来。将信号长度扩大成原来的两倍,并变成2N又为了让造出来的信号关于0对称把整个延拓的信号向右平移 0.5 个单位最终DCT变换公式6 动态特征提取标准的倒谱参数MFCC只反映了语音参数的静态特性语音的动态特性可以用这些静态特征的差分谱来描述。实验证明把动、静态特征结合起来才能有效提高系统的识别性能。差分参数的计算可以采用下面的公式 式中,dt表示第t个一阶差分Ct表示第t个倒谱系数Q表示倒谱系数的阶数K表示一阶导数的时间差可取1或2。将上式的结果再代入就可以得到二阶差分的参数。因此MFCC的全部组成其实是由 N维MFCC参数N/3 MFCC系数 N/3 一阶差分参数 N/3 二阶差分参数帧能量此项可根据需求替换。这里的帧能量是指一帧的音量即能量也是语音的重要特征。d_mfcc_feat delta(wav_feature, 1) d_mfcc_feat2 delta(wav_feature, 2) feature np.hstack((wav_feature, d_mfcc_feat, d_mfcc_feat2))最终39维MFCC图附录魔鬼写手——————浅谈则止细致入微AI大道理扫描下方“AI大道理”选择“关注”公众号 欢迎加入▼下期预告▼AI大语音五——声学模型▼往期精彩回顾▼AI大语音一——语音识别基础AI大语音二——语音预处理AI大语音三——傅里叶变换家族留你心言你想
