买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:上海海事大学
摘要:本发明涉及一种基于ASR‑SER联合模型的语音情感识别方法,所述方法采用包括ASR‑SER联合模型来实现,所述方法包括以下步骤:步骤S1,在ASR路径和SER路径上分别对原始音频输入进行声学特征提取,得到相应的声学特征和MFCC特征;步骤S2,将声学特征输入到构建的声转词模型,得到隐藏状态和相应的文本输出,其中所述声转词模型包括ASR编码器和基于注意力机制的ASR解码器;步骤S3,将ASR路径上得到的隐藏状态和SER路径上得到的MFCC特征作为SER通道部分的输入,将文本输出作为ASR通道部分的输入,分别得到各自的输出向量;步骤S4,使用共同注意力机制融合步骤S3中两个输出向量,得到最终的语音情感分类。与现有技术相比,本发明具有语音情感识别更准确、更具鲁棒性等优点。
主权项:1.一种基于ASR-SER联合模型的语音情感识别方法,其特征在于,所述方法采用包括ASR路径和SER路径的ASR-SER联合模型来实现,所述方法包括以下步骤:步骤S1,在ASR路径和SER路径上分别对原始音频输入进行声学特征提取,得到相应的声学特征和MFCC特征;步骤S2,将ASR路径上得到声学特征输入到构建的声转词模型,得到隐藏状态和相应的文本输出,其中所述声转词模型包括ASR编码器和基于注意力机制的ASR解码器;步骤S3,将ASR路径上得到的隐藏状态和SER路径上得到的MFCC特征作为SER通道部分的输入,将ASR路径上得到的文本输出作为ASR通道部分的输入,分别得到各自的输出向量;步骤S4,使用共同注意力机制融合步骤S3中两个输出向量,得到最终的语音情感分类。
全文数据:
权利要求:
百度查询: 上海海事大学 一种基于ASR-SER联合模型的语音情感识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。