做网站要先买域名吗,个人注册公司需要多钱,做餐饮公司网站,长沙手机网站设计一、前端信号处理
1. 语音检测#xff08;VAD#xff09;
语音检测#xff08;英文一般称为 Voice Activity Detection#xff0c;VAD#xff09;的目标是#xff0c;准确的检测出音频信号的语音段起始位置#xff0c;从而分离出语音段和非语音段#xff08;静音或噪…
一、前端信号处理
1. 语音检测VAD
语音检测英文一般称为 Voice Activity DetectionVAD的目标是准确的检测出音频信号的语音段起始位置从而分离出语音段和非语音段静音或噪声信号。由于能够滤除不相干非语音信号高效准确的 VAD 不但能减轻后续处理的计算量提高整体实时性还能有效提高下游算法的性能。
VAD 算法可以粗略的分为三类基于阈值的 VAD、作为分类器的 VAD、模型 VAD。
基于阈值的 VAD通过提取时域短时能量、短期过零率等或频域MFCC、谱熵等特征通过合理的设置门限达到区分语音和非语音的目的。这是传统的 VAD 方法。 作为分类器的 VAD可以将语音检测视作语音/非语音的两分类问题进而用机器学习的方法训练分类器达到检测语音的目的。 模型 VAD可以利用一个完整的声学模型建模单元的粒度可以很粗在解码的基础通过全局信息判别语音段和非语音段。
VAD 作为整个流程的最前端需要在本地实时的完成。由于计算资源非常有限因此VAD 一般会采用阈值法中某种算法经过工程优化的分类法也可能被利用而模型 VAD 目前难以在本地部署应用。 2. 降噪
实际环境中存在着空调、风扇以及其他各种各样的噪声。降低噪声干扰提高信噪比降低后端语音识别的难度。 常用的降噪算法有 自适应 LMS 和维纳滤波等。 3. 声学回声消除Acoustic Echo Cancellaction, AEC
AEC也是一种常见的技术在语音通话中AEC是必不可少的基础技术。
具体的AEC 的目的是在音箱扬声器工作播放音乐或语音时从麦克风中收集的语音中去除自身播放的声音信号。这是双工模式的前提。否则当音乐播放时我们的声音信号会淹没在音乐声中不能继续对音箱进行有效的语音控制。 4. 去混响处理
在室内语音会被墙壁等多次反射麦克风采集到图12。混响对于人耳完全不是问题但是延迟的语音叠加产生掩蔽效应这对语音识别是致命的障碍。 对于混响一般从两个方面来尝试解决1去混响 2对语音识别的声学模型加混响训练。由于真实环境的复杂性一定的前端去混响算法还是非常有必要的。 5. 声源定位Direction of Arrival estimation, DOA
声源定位是根据麦列收集的声音语确定说话人的位置。DOA 至少有两个用途1用于方位灯的展示增强交互效果2作为波束形成的前导任务确定空间滤波的参数。
声源定位有如下常用方法有基于波束扫描的声源定位、基于起分辨率率谱估计的声源定位以及 基于到达时间差Time Difference of Arrival, TDOA的声源定位。考虑到算法复杂性和延时一般采用TDOA方法。 6. 波束形成Beam Forming, BF
波束形成是利用空间滤波的方法将多路声音信号整合为一路信号。通过波束形成一方面可以增强原始的语音信号另一方面抑制旁路信号起到降噪和去混响的作用图13。 二、 唤醒
出于保护用户隐私和减少误识别两个因素的考虑智能音箱一般在检测到唤醒词之后才会开始进一步的复杂信号处理声源定位、波束形成和后续的语音交互过程。
一般而言唤唤醒模块是一个小型语音识别引擎。由于目标单一检测 出指定的唤醒词唤醒只需要较小的声学模型和语言模型只需要区分出有无唤醒词出现声学打分和解码可以很快空间占用少能够在本地实时。
也有唤醒做为关键词检索key word search或文本相关的声纹识别问题来解决。 三、语音交互
语音交互的基本流程如图16所示。下面分别对各个环节进行简要介绍。 1. 语音识别Automatic Speech Recognition, ASR
语音识别的目的是将语音信号转化为文本。语音识别技术相对成熟。目前基于近场信号的、受控环境低噪声、低混响下的标准音语音识别能够达到很的水平。然而在智能音箱开放性的真实环境语音识别依然是一个不小的挑战需要接合前端信号处理一起来优化。 2. 自然语言理解Natural Language Understanding, NLU
NLU 作为一个研究课题还远没有被解决。但是在限定领域下结合良好的产品设计我们还是能够利用现有技术做出实用的产品。
可以将基于框架的frame-based NLU 分为三个子问题去解决图15 * 领域分类识别出用户命令所属领域。其中领域是预先设计的封闭集合如产品设计上音箱只支持音乐、天气等领域而每个领域都只支持无限预设的查询内容和交互方式。 * 意图分类在相应领域识别用户的意图如播放音乐、暂停或切换等。意图往往对应着实际的操作。 * 实体抽取槽填充确定意图操作的参数如确定具体是播放哪首歌或哪位歌手的歌曲。 3. 对话管理Diaglou Management, DM
多轮对话对于自然的人工交互非常重要。比如当我们询问“北京明天的天气怎么”之后更习惯追问“那深圳呢”而不是重复的说”**深圳明天的天气怎么**“
在 NLU 无有得到很好解决的情况下对话管理似乎不可能。好在限范围下结合产品设计还是能做的不错。一般的作法是将轮对话解析出的参数做为上下文全局变量带入到下一轮对话当前轮对话根据一定的条件判断是否保持在上一轮的领域是否清空上下文。
不同于纯粹的聊天机器的对话管理智能音箱的对话管理还有实际的操作功能查询信息、提供控制指令。 4. 自然语言生成Natural Language Generation, NLG
目前完全自动化的 NLG 方法还不成熟。实际产品中多采用预先设计的文本模板来生成文本输出。比如播放歌曲时生成语句为“即将为您播放【歌手名】的【歌曲名】”。 5. 语音合成Speech Synthesis
语音合成又叫做文语转换Text-to-SpeechTTS更常见可能是 TTS 这一称呼。TTS 的终极目标是使机器能够像人一样朗读任意给定的文本。
评价实用的语音合成系统的两个主要的标准是1可懂度人能够听懂和2自然度使人听着舒服。目前可懂度的问题基本得到解决。参数合成和拼接合成是TTS的两种主要合成方法其中参数计算量小部署灵活但自然较差拼接接近真人发音存储和计算资源高一般只能在线合成。例如Echo 采用的基于单元选择unit selection的拼接合成。 四、 其他技术
最后我们简单列举一些相对成熟但还没有广泛应用于智能音箱的技术。
声纹识别
声纹识别是据语音波形反映说话人生理和行为特征的语音参数自动识别说话人身份的一项技术。微信中的声音锁就是声纹技术的一项具体应用。
通过声纹识别可以设计出更加个性化的服务。
人脸检测
如果音箱配置为摄像头可以通人脸检测确定用户的位置。一方面可以有更好的交互设计另一方面可以辅助声源定位。 人脸识别
同声纹识别类似人脸识别也可以用来确定用户的身份。 原文出处https://blog.csdn.net/jackytintin/article/details/62040823
