面向 Transformer 模型的蒙古语语音识别词特征编码方法(Researching of the Mongolian word encoding method based on Transformer Mongolian speech recognition)

no code implementations • CCL 2022 • Xiaoxu Zhang, Zhiqiang Ma, Zhiqiang Liu, Caijilahu Bao

“针对 Transformer 模型在蒙古语语音识别任务中无法学习到带有控制符的蒙古语词和语音之间的对应关系, 造成模型对蒙古语的不适应问题。提出一种面向 Transformer 模型的蒙古语词编码方法, 方法使用蒙古语字母特征与词特征进行混合编码, 通过结合蒙古语字母信息使 Transformer 模型能够区分带有控制符的蒙古语词, 学习到蒙古语词与语音之间的对应关系。在 IMUT-MC 数据集上, 构建 Transformer 模型并进行了词特征编码方法的消融实验和对比实验。消融实验结果表明, 词特征编码方法在 HWER、WER、SER 上分别降低了 23. 4%、6. 9%、2. 6%;对比实验结果表明, 词特征编码方法领先于所有方法, HWER 和 WER 分别达到 11. 8%、19. 8%。”

speech-recognition Speech Recognition