(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211096150.8 (22)申请日 2022.09.08 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 郑哲　孔常青　万根顺　潘嘉　 熊世富　高建清　刘聪　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 尚文文 (51)Int.Cl. G10L 15/06(2013.01) G10L 15/02(2006.01) G10L 15/08(2006.01) G10L 13/08(2013.01)G06N 20/00(2019.01) G06N 7/00(2006.01) G06N 3/08(2006.01) G06F 40/279(2020.01) G06F 16/33(2019.01) (54)发明名称 音频识别方法、 模 型的训练方法、 装置、 设备 及存储介质 (57)摘要 本申请提供了音 频识别方法、 模型的训练方 法、 装置、 设备及存储介质， 具体实现方案为： 在 第一音频数据集中确定低频三音素； 基于低频三 音素， 从预设语料库中确定包含低频三音素的低 频文本； 基于低频文本训练音频识别模型。 根据 本申请的技术方案， 能够有效提升训练数据中的 低频数据内容的多样性和准确性。 权利要求书2页 说明书11页 附图3页 CN 115497460 A 2022.12.20 CN 115497460 A 1.一种音频识别模型的训练方法， 其特 征在于， 包括： 在第一音频 数据集中确定低频三音素； 基于所述低频三音素， 从预设语料库中确定包 含所述低频三音素的低频文本； 基于所述低频文本训练音频识别模型。 2.根据权利要求1所述的方法， 其特征在于， 在所述基于所述低频文本训练音频识别模 型之前， 还 包括： 在所述低频文本中确定所述低频三音素对应的低频词； 基于所述低频词的种类， 调整所述低频词对应的低频文本的数量。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述低频文本训练音频识别模 型， 包括： 基于所述低频文本合成音频训练数据； 基于所述音频训练数据和所述第一音频 数据集， 确定第二音频 数据集； 基于所述第二音频 数据集训练所述音频识别模型。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第 二音频数据集训练所述音 频识别模型， 包括： 基于正确的序列标注和所述音频识别模型对所述第二音频数据集中音频数据进行识 别得到的观测序列， 生成第一损失函数； 基于所述音频识别模型对所述第二音频数据集中的音频数据进行识别的交叉熵损失 函数和所述第一损失函数， 生成目标损失函数； 利用所述目标损失函数训练所述音频识别模型。 5.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述在第一音频数据集中确定 低频三音素， 包括： 利用三音素确定第一音频 数据集对应的第一音素集； 基于所述第一音素集中三音素的频次， 确定所述第一音素集中的低频三音素。 6.一种音频识别方法， 其特 征在于， 包括： 利用音频识别模型对待处理音频数据进行识别， 得到所述待处理音频数据中的识别结 果； 其中， 所述音频识别模型 是基于包 含低频三音素的文本合成的音频 数据训练得到的。 7.根据权利要求6所述的方法， 其特征在于， 所述音频识别模型是根据如权利要求1 ‑5 中任一项所述的音频识别模型的训练方法训练得到的。 8.一种音频识别模型的训练装置， 其特 征在于， 包括： 确定模块， 用于在第一音频 数据集确定低频三音素； 查找模块， 用于基于所述低频三音素， 从预设语料库中确定包含所述低频三音素的低 频文本； 训练模块， 用于基于所述低频文本训练音频识别模型。 9.一种音频识别装置， 其特 征在于， 包括： 音频处理模块， 用于利用音频识别模型对待处理音频数据进行识别， 得到所述待处理 音频数据中的识别结果； 其中， 所述音频识别模型是基于包含低频三音素 的文本合成的音 频数据训练得到的。 10.一种电子设备， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115497460 A 2至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的音频识别模型 的训练方法或音频识别方法。 11.一种存储有计算机指令的非瞬时计算机可读存储介质， 其特征在于， 所述计算机指 令用于使 所述计算机执行根据权利要求1 ‑7中任一项 所述的音 频识别模型的训练方法或音 频识别方法。权　利　要　求　书 2/2 页 3 CN 115497460 A 3