jsp网站开发中英文页面切换,常见的英文网站,沈阳公司网页制作,校园网站建设依据尽管联合语音识别#xff08;ASR#xff09;和口音识别#xff08;AR#xff09;训练已被证明对处理多口音场景有效#xff0c;但当前的多任务ASR-AR方法忽视了任务之间的粒度差异。细粒度单元#xff08;如音素、声韵母#xff09;可用于捕获与发音相关的口音特征…
尽管联合语音识别ASR和口音识别AR训练已被证明对处理多口音场景有效但当前的多任务ASR-AR方法忽视了任务之间的粒度差异。细粒度单元如音素、声韵母可用于捕获与发音相关的口音特征而粗粒度单元如词BPE更适合学习语言信息。此外两个任务的显式交互也可以提供互补信息并改善彼此的性能但现有方法很少使用。
近期由西工大音频语音与语言处理研究组ASLPNPU和腾讯TEG合作的论文“Decoupling and Interacting Multi-Task Learning Network for Joint Speech and Accent Recognition”发表在语音研究顶级期刊IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP)该工作有效地解决了上述问题。
该论文提出了一种新颖的用于联合语音和口音识别的解耦交互多任务网络DIMNet它由一个CTC分支、一个AR分支、一个ASR分支和一个底层特征编码器组成。具体而言AR和ASR首先通过分开的分支和双粒度建模单元解耦以学习任务特定的表示。AR分支来自我们先前提出的语言-声学双模口音识别模型LASAS[1]而ASR分支是基于编码器-解码器的Conformer模型。然后对于任务交互CTC分支为AR任务提供了对齐的文本而从我们的AR模型中提取的口音嵌入整合到ASR分支的编码器和解码器中。最后在ASR推断过程中引入了一种跨粒度的重评分方法用于在解耦后融合来自CTC和注意力解码器的互补信息。在英文和中文数据集上进行的实验证明了DIMNet的有效性。相对于基线分别实现了21.45%/28.53%的口音识别准确率相对提升和32.33%/14.55%的ASR错误率相对下降。 论文题目Decoupling and Interacting Multi-Task Learning Network for Joint Speech and Accent Recognition 作者列表邵琪杰郭鹏程颜京豪胡鹏飞谢磊 发表期刊IEEE/ACM Transactions on Audio, Speech and Language Processing 合作单位腾讯TEG 论文网址https://arxiv.org/abs/2311.07062 图1 发表论文截图
图2 扫码直接看论文
1. 背景动机
口音Accent指的是受到说话人教育水平、所在地区或母语等因素影响而产生的发音变化。尽管近年来端到端语音识别E2E ASR取得了显著进展口音仍然是语音识别中的重大挑战。多任务ASR-AR框架已成为克服多口音挑战的广泛解决方案[2-3]。该框架通常由共享编码器和分别专用于ASR和AR任务的两个分支组成。共享编码器负责从输入语音中提取声学特征以供两个分支使用并通过这两个分支的反向传播使共享编码器学习如何同时提取语言和口音表示。虽然已经证明在联合建模ASR和AR方面有效但任务之间的粒度差异表明同时通过共享编码器提取特征可能不是最佳策略。此外ASR和AR分支缺乏足够的交互阻碍了从对方分支中充分利用互补信息。
ASR和AR之间的粒度差异E2E ASR是一项与语言相关的任务通常使用像BPE或字这样的粗粒度单位以更好地表示语言信息。相比之下AR任务与发音密切相关需要捕捉像音高、语调和重音这样微小的声学变化因此更适合使用音素或音节这类细粒度建模单位。因此将两种粒度的建模单位纳入多任务ASR-AR中更为合适。然而这两种粒度单位的序列长度不一致难以使用单个共享编码器同时进行编码。
用ASR改进AR早期的AR模型直接提取诸如频率和音色等低级特征[2]往往会对说话者和信道特征的过拟合。我们之前的研究[1]提出了一种基于语言-声学相似度的口音偏移LASASAR模型。为了估计带口音的语音话语的口音偏移我们首先将帧级对齐的文本映射到多个与口音相关的锚点空间然后利用声学嵌入与这些锚点之间的相似性作为口音偏移。与仅使用纯声学嵌入作为输入相比LASAS额外使用了对齐文本作为第二种输入这带来AR性能的显著提高并且可以充分利用来自ASR的信息。
用AR改进ASR口音信息也有助于语音识别。许多研究探索了使用补充的口音信息来提高口音语音的ASR性能。然而不同类型的口音嵌入对ASR性能的影响可能会有很大差异。此外口音信息与ASR的整合方式也有优劣之分。因此有必要进行全面的研究以评估每种方法的可解释性和对ASR分支的性能影响。
DIMNET我们的目标是克服ASR和AR分支之间的“建模单元粒度差异”挑战并促进它们“完全交互”。为了实现这一目标我们提出了一种名为Decoupling and Interacting Multi-task Network (DIMNet)的联合语音和口音识别模型。该模型包括一个连接主义时间分类CTC分支、一个口音识别AR分支、一个语音识别ASR分支和一个底层特征编码器。具体来说我们首先通过分开的分支和两种粒度的建模单元将口音识别和语音识别解耦以学习任务特定的表示。AR分支来自我们之前提出的LASAS口音偏移模型而ASR分支则是基于编码器-解码器的Conformer模型。然后为了实现任务交互CTC分支使用与AR分支相同的建模单元进行优化从而为AR提供对齐文本。与此同时我们还从AR分支中提取的口音嵌入用于改进ASR分支。另外我们还探索口音嵌入的选择和ASR分支的融合策略。最后我们引入了一种支持双粒度单元的重打分方法使得有明显互补性的CTC细粒度打分和ASR粗粒度打分可以融合进一步提高了ASR的准确率。
2. DIMNet
2.1 解耦AR和ASR
如图3所示本文提出的DIMNet模型以CTC/attention ASR模型作为骨干网络。此外我们还结合了LASAS AR模型[1]和三个编码器从而在DIMNet中形成了三分支结构。 三编码器结构12层共享编码器3层CTC编码器3层ASR编码器均使用Conformer结构用于解耦粗细两种粒度的单元建模过程。 CTC分支使用细粒度单元建模例如音素或拼音主要用于提取对齐文本序列给LASAS AR分支。 LASAS AR分支以细粒度的对齐文本和共享编码器提取的声学嵌入来计算口音偏移并负责为ASR分支提供口音嵌入。该分支需要使用detach切断与CTC分支和ASR分支的耦合否则模型整体性能会有所下降。 ASR分支经典encoderdecoder结构但在encoder和decoder的输入上均拼接了口音嵌入。 图3 口音识别模型的系统结构示意图
2.2 用ASR辅助AR
传统的口音识别模型只利用声学特征作为输入当它们被整合到多任务ASR-AR中时它们与ASR任务的充分交互能力受到限制。我们近期提出了LASAS AR模型[1]该模型使用对齐的文本和声学嵌入作为输入。具体地对于一个带口音的语句映射其相应的对齐文本向量到口音相关空间作为一种基准然后通过评估输入的声学嵌入和该基准的点积相似度实现对口音偏移的度量。然后本文将口音偏移和文本向量拼在一起以获得语言-声学双模态表征。最后再以此表征进行口音分类。相比于纯声学嵌入这种双模态表征充分利用了语言和声学信息物理意义更加丰富和清晰从而显著改善了口音分类性能。 图4 LASAS AR结构示意图 2.3 用AR辅助ASR
通过实验我们对比了3种不同潜表征作为口音嵌入的效果 以及4种口音嵌入和ASR分支的融合方式 2.4 双粒度重打分
在解耦AR和ASR之后CTC解码器专注于发音而Att解码器强调语言信息。通过利用这两种信息类型之间的互补性预计双粒度重打分方法将比单粒度重打分方法实现更好的ASR性能。然而目前主流的重打分方法需要两个解码器识别出的序列的长度相同不适用于双粒度场景。因此我们引入了双粒度重打分。具体地先使用Att解码器生成候选的粗粒度序列并记录Att得分。然后使用词典将其映射成细粒度序列并将其放在CTC Loss的label位置即可获得CTC得分最后再将两种得分相加取最高分为最终输出。 图5 双粒度重打分示意图
3. 实验配置
本文使用AESRC[5]英语口音挑战赛数据集和KeSpeech[6]中文口音数据集进行实验。数据集具体情况如表1所示。
表1 AESRC和KeSpeech数据集详情 我们使用BPE-音素作为英语的两粒度建模单元而对于中文则使用字-拼音。我们分别利用了CMUdict和Pypinyin词典。详情如表2所示。
表2 双粒度建模单元详情 4. 实验结果
4.1 DIMNet的有效性
实验结果如如表3所示。B1-B4是基线方案。其中B1和B2之间的比较突显了双粒度单元的影响。在CTC/Attention框架中直接引入音素只能导致ASR性能略微提高。在整合了一个AR分支之后B3的ASR性能相对于B2有所提高这是一个被广泛验证的现象。将B4与B3进行比较引入三重编码器结构仅对口音准确度产生了平均相对影响0.15%的微小改善而它平均相对提高了ASR任务1.02%。D1-D13是DIMNet baseline及其消融实验与B1−B4时明显可以看出DIMNet在AR和ASR方面都具有明显优势即排除双粒度建模单元和多任务学习框架的贡献之外DIMNet通过解耦和交互设计相比传统方案存在显著优势。
表3 AESRC数据集上的消融和对比实验。emb指口音嵌入AF指口音融合。GP和B分别表示字素音素和BPE4.2 解耦AR和ASR
在D2和D3中我们对比了建模单元对DIMNet的影响。比较D1和D2可以明显看出与音素相比字素具有语义相关性但缺乏足够的发音信息。因此它们无法有效地提高AR任务的性能从而间接降低了ASR性能。当比较D1和D3时明显可以看出如果在CTC和Att分支中都使用粗粒度BPE单元导致了性能显著下降。这一结果清楚地表明即使使用相同的交互结构解耦建模单元依然是提高AR和ASR性能的关键因素。此外对比D4和D1则证明了如果没有三重编码器结构使用两粒度建模单元会给ASR任务带来挑战。
4.3 用ASR辅助AR
通过比较D1和D5可以看出如去掉从CTC分支中获得的对齐文本将会对LASAS AR分支的准确性有重大不利影响这一结果清楚地表明了来自CTC分支的语言信息对提高AR任务性能的重要性。D1和D6的比较则证明了AR分支的detach操作减少了AR任务对ASR任务的干扰展示了AR分支分离操作在多任务ASR-AR中的重要性。
此外比较D7和D1使用句级口音CE Loss可以增强AR任务的泛化能力并减轻过拟合。然而对于口音嵌入则使用的帧级信息在ASR任务中表现略好一些。我们认为这是因为帧级口音信息可以帮助纠正ASR任务中口音导致的细粒度错误。根据我们的经验口音语音中并非所有词汇均体现出口音特点而是通常仅有一小部分特定词汇会展现口音特征而其余单词可能以标准方式发音。这种口音单词会对ASR任务构成挑战但对AR任务来说更容易识别。因此尽管句级pooling操作确实提高了AR任务的总体准确性但它可能无法有效地捕捉口音单词的区分性。因此帧级还是句级CE loss的选择取决于实际应用和AR与ASR任务之间的权衡。
4.4 用AR辅助ASR
通过比较B1和D8我们发现尽管D8缺乏显式口音嵌入但DIMNet结构仍然可以通过共享编码器隐式提取口音信息。然而当将D8与D1进行比较时我们发现口音嵌入对ASR分支的显式融合会带来更好的结果这突显了AR对ASR交互的价值。
接下来我们分析了不同的口音嵌入选择及其与ASR的整合。对比D1与D9和D10发现emb_dnn表现最佳而emb_sim表现一般emb_pp表现最差。比较D1、D11和D12的性能我们发现使用encoder处理口音嵌入比使用decoder更有效但当两者同时使用时可以获得最佳性能。由于DIMNet有三重编码器结构这在注意力分支中可以很容易地实现。
4.5 双粒度重打分
如表4所示在CTC/attention框架内注意力重打分可使WER平均相对降低1.63%。为了消除模型框架的影响我们还评估了单粒度BPE单元的DIMNet模型中CTC重新打分的效果其效果与注意力重新打分类似约为相对1.41%。与这两种经典的重新打分技术相比我们提出的两种粒度的重新打分实现了平均相对WER降低2.38%的效果。这证明了利用CTC和attention分支的双粒度信息的互补性可以使最终ASR在整合它们的预测分数时能够实现更好的性能。
表4 双粒度重打分的有效性。ARSCRS和TRS分别代表注意力重打分CTC重打分和双粒度重打分解码 4.6 与其他公开结果的对比
如表5所示本文提出的DIMNet方案在不使用数据扩充的条件下同时体现出了优良的AR和ASR性能。并且DIMNet不需要分两步训练AR和ASR计算成本更低。
表5 AESRC数据集上不同方法的对比 如表6所示本文提出的DIMNet方案在KeSpeech数据集上获得了显著的AR和ASR性能提升这证明了该方案在中文上的有效性。
表6 KeSpeech数据集上不同方法的对比
5. 总结
本文提出了DIMNet ASR-AR联合框架。首先使用三重编码器结构解耦了AR和ASR任务该结构可以对每个任务中的两种粒度单元进行建模。然后通过引入和改进LASAS AR模型以及研究口音嵌入的选择和融合增强了两个任务之间的交互。最后引入了一个两种粒度的重新打分方案有效组合两种粒度的分数进一步提高了ASR的性能。实验结果表明与E2E基线相比DIMNet在AESRC和KeSpeech数据集的测试集上分别实现了AR准确率的相对21.45%和28.53%的改进以及ASR错误率32.33%和14.55%的相对降低。下一步工作目标是进一步降低DIMNet的计算复杂性并将其应用到多语言ASR任务中。
参考文献
[1] Q. Shao, J. Yan, J. Kang, P. Guo, X. Shi, P. Hu, and L. Xie, “Linguistic-acoustic similarity based accent shift for accent recognition,” in Proc. INTERSPEECH, 2022, pp. 3719–3723.
[2] A. Jain, M. Upreti, and P. Jyothi, “Improved accented speech recognition using accent embeddings and multitask learning,” in Proc. INTERSPEECH, 2018, pp. 2454–2458.
[3] J. Zhang, Y. Peng, P. Van Tung, H. Xu, H. Huang, and E. S. Chng, “E2E-based multi-task learning approach to joint speech and accent recognition,” in Proc. INTERSPEECH, 2021, pp. 876–880.
[4] M. Najafian, A. DeMarco, S. Cox, and M. Russell, “Unsupervised model selection for recognition of regional accented speech,” in Proc. INTERSPEECH, 2014, pp. 2967-2971.
[5] X. Shi, F. Yu, Y. Lu, Y. Liang, Q. Feng, D. Wang, Y. Qian, and L. Xie, “The accented English speech recognition challenge 2020: Open datasets, tracks, baselines, results and methods,” in Proc. ICASSP, 2021, pp. 6918–6922.
[6] Z. Tang, D. Wang, Y. Xu, J. Sun, X. Lei, S. Zhao, C. Wen, X. Tan, C. Xie, S. Zhou et al., “KeSpeech: An open source speech dataset of Mandarin and its eight subdialects,” in Systems Datasets and Benchmarks Track of Proc. NeurIPS, 2021.
