买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市贝铂智能科技有限公司

摘要：本发明提供了一种基于情感感知AI模型的多语言语音识别方法、装置以及设备，包括：对采集到的多语言语音流进行时间序列分割处理，得到多个等时长的基础语音单元，转换为声纹多维向量输入到声纹情感关联模型中，得到初步情感倾向值；对每个基础语音单元进行音频频谱划分处理，得到频谱区间；对频谱区间进行特征编码处理，生成频谱特征编码；进行语种特征搜索匹配处理，得到匹配的语种特征标记；将初步情感倾向值和语种特征标记进行数据融合处理，得到综合特征值输入到情感感知AI模型中处理，得到带有情感色彩标注和语种信息标注的多语言语音识别结果。在本发明中，通过结合情感分析、以及多语言识别，克服了多语言语音识别不准确的缺陷。

主权项：1.一种基于情感感知AI模型的多语言语音识别方法，其特征在于，包括以下步骤：对采集到的多语言语音流进行时间序列分割处理，得到多个等时长的基础语音单元，将每个基础语音单元转换为声纹多维向量；将声纹多维向量输入到声纹情感关联模型中进行情感关联性分析处理，得到初步情感倾向值；对每个基础语音单元进行音频频谱划分处理，得到多个连续的频谱区间；对每个频谱区间进行特征编码处理，生成频谱特征编码；对频谱特征编码进行语种特征搜索匹配处理，得到匹配的语种特征标记；将所述初步情感倾向值和语种特征标记进行数据融合处理，得到综合特征值；将综合特征值输入到经过深度神经网络训练的情感感知AI模型中进行处理，得到带有情感色彩标注和语种信息标注的多语言语音识别结果；所述将所述初步情感倾向值和语种特征标记进行数据融合处理，得到综合特征值，包括：对初步情感倾向值进行归一化处理，将其映射到[0，1]区间内，得到归一化后的情感倾向值；对语种特征标记进行编码转换处理，将其转换为对应的数字编码，形成语种编码值；构建一个融合权重矩阵，所述融合权重矩阵包含针对不同语种在不同情感倾向下的权重参数，所述权重参数是预先通过对多语言多情感数据进行训练和统计分析得到的；根据所述语种编码值和归一化后的情感倾向值，从融合权重矩阵中选取对应的权重参数；将归一化后的情感倾向值与选取的权重参数相乘，得到加权后的情感倾向值分量；将语种编码值与对应的权重参数相乘，得到加权后的语种编码值分量；将加权后的情感倾向值分量和加权后的语种编码值分量进行向量相加，得到综合特征值的初始向量；对综合特征值的初始向量进行归一化处理，使其数值在一个预设范围内，得到综合特征值。

全文数据：

权利要求：

百度查询： 深圳市贝铂智能科技有限公司 基于情感感知AI模型的多语言语音识别方法、装置以及设备