龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：内蒙古工业大学
摘要：一种基于Whisper预训练模型的蒙古语语音情感识别方法，获取蒙古语情感语音音频数据，每条蒙古语音频对应一条蒙古语文本；从情感语音中提取对数梅尔频谱图和韵律学特征；前者输入Whisper预训练模型，然后处理从Whisper模型编码器部分得到各层编码器的中间特征，后者通过两个连续的非线性全连接层，以适配多头注意力模块的输入维度；处理后的频谱特征和韵律特征输入多头注意力模块，频谱特征计算注意力机制中的键值对，以韵律特征计算查询向量；得到注意力模块的输出后，计算其均值和方差后拼接；拼接后的特征输入预测部分进行预测。本发明能够克服由于蒙古语语料短缺带来的情感分析不准确问题，从而一定程度上缓解传统蒙古语情感识别模型性能低下的问题。
主权项：1.一种基于Whisper预训练模型的蒙古语语音情感识别方法，其特征在于，包括如下步骤：步骤1，获取蒙古语原始情感语音音频，并构建语音数据与不同情感标签的关联关系；步骤2，从所述蒙古语原始情感语音音频中提取对数梅尔频谱图和韵律学特征；步骤3，将所述对数梅尔频谱图输入至Whisper预训练模型，从Whisper预训练模型编码器部分获取各中间层特征进行频谱特征的处理；步骤4，将所述韵律学特征输入两个连续的非线性层进行处理；步骤5，将所述步骤3中处理获取的频谱特征和所述步骤4中处理获取的韵律特征输入至多头注意力模块中，得到构建了注意力的特征，再计算其均值和标准差后进行拼接操作；步骤6，将所述步骤5中拼接后的特征输入预测部分进行情感预测。
全文数据：
权利要求：
百度查询： 内蒙古工业大学 一种基于Whisper预训练模型的蒙古语语音情感识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号