Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 南京信息工程大学周晓彦获国家专利权

南京信息工程大学周晓彦获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉南京信息工程大学申请的专利一种基于协作式边界感知对抗学习的跨库语音情感识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120526808B

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511032472.X,技术领域涉及:G10L25/63;该发明授权一种基于协作式边界感知对抗学习的跨库语音情感识别方法是由周晓彦;李佳洁;张昕;于启炟;鞠醒;杨旭设计研发完成,并于2025-07-25向国家知识产权局提交的专利申请。

一种基于协作式边界感知对抗学习的跨库语音情感识别方法在说明书摘要公布了:本发明提供了一种基于协作式边界感知对抗学习的跨库语音情感识别方法,包括:步骤1,获取源域与目标域语音样本,执行预处理;步骤2,构建基于协作式边界感知对抗学习的跨库语音情感识别模型,从特征分布和决策边界双维度减少源域和目标域语音样本之间的差异,实现情感知识迁移;步骤3,采用多阶段训练策略,所述多阶段训练策略包括第一阶段训练、第二阶段训练和第三阶段训练,采用最大最小化差异检测损失函数,获取所有由于决策边界差异导致的情感标签错误映射的目标域语音样本,调整类别间决策边界。本方法在减少领域间特征分布差异的同时,创新性地解决了跨库语音情感识别中决策边界错位问题。

本发明授权一种基于协作式边界感知对抗学习的跨库语音情感识别方法在权利要求书中公布了:1.一种基于协作式边界感知对抗学习的跨库语音情感识别方法,其特征在于,包括以下步骤: 步骤1,获取源域与目标域语音样本,执行预处理,包括幅值归一化、预加重滤波、分帧加窗,并将预处理后的语音样本转换为梅尔Mel谱图特征; 步骤2,构建基于协作式边界感知对抗学习的跨库语音情感识别模型,从特征分布和决策边界双维度减少源域和目标域语音样本之间的差异,实现情感知识迁移; 步骤3,采用多阶段训练策略,所述多阶段训练策略包括第一阶段训练、第二阶段训练和第三阶段训练,采用最大最小化差异检测损失函数,获取所有由于决策边界差异导致的情感标签错误映射的目标域语音样本,调整类别间决策边界; 步骤2包括: 步骤2-1,将源域语音样本与目标域语音样本的梅尔Mel谱图输入到共享特征提取网络,提取迁移能力强和具有判别性的源域深度语音特征与目标域深度语音特征;所述共享特征提取网络采用VGG11网络作为骨干网络; 对VGG11网络进行结构裁剪与参数重构,去除后三层全连接层,仅保留卷积层和池化层; 步骤2-2,构建决策边界对齐网络:使用两个结构相同但初始化参数差异化的情感分类器对步骤2-1中提取的源域深度语音特征进行不同视角情感类别预测; 两个情感分类器均为多层感知机结构,分别记为第一情感分类器和第二情感分类器,两个情感分类器的权重矩阵和偏置向量通过高斯分布初始化,但使用不同随机种子生成参数,进而在特征空间中形成具有判别多样性的情感决策边界; 第一情感分类器对源域语音样本的情感标签预测结果为: , 其中,为第一情感分类器生成的源域情感类别预测结果,为用于将情感类别得分转换为概率分布的Softmax函数,为第一情感分类器的权重矩阵,为用于增强情感特征抑制无关特征的ReLU激活函数,为多层卷积层构成的共享特征提取网络,为第一情感分类器的偏置向量; 第二情感分类器对源域语音样本的情感标签预测结果为: , 其中,为第二情感分类器生成的源域情感类别预测结果,为第二情感分类器的权重矩阵,为第二情感分类器的偏置向量; 步骤2-3,通过联合监督的方式,将源域语音样本的真实情感标签与两个分类器的预测结果与进行联合优化; 计算情感标签预测结果与和真实情感标签之间的差异,定义情感分类损失函数为: , 其中,为情感分类损失函数,为源域语音样本的数量,为第i个源域语音样本的真实情感标签,为第一情感分类器生成的第i个源域语音样本情感类别预测结果,为第二情感分类器生成的第i个源域语音样本情感类别预测结果; 步骤2-4,将步骤2-1中提取的目标域深度语音特征输入至步骤2-2中构建的决策边界对齐网络,通过两个情感分类器对目标域语音样本进行情感类别预测; 第一情感分类器对目标域语音样本的情感标签预测结果为: , 其中,为第一情感分类器生成的目标域情感类别预测结果; 第二情感分类器对目标域语音样本的情感标签预测结果为: , 其中,为第二情感分类器生成的目标域情感类别预测结果; 步骤2-5,计算两个情感分类器在目标域样本上的预测概率与差异,构建差异检测损失函数; 步骤2-6,构建特征分布对齐网络,将步骤2-1中提取的源域深度语音特征与目标域深度语音特征输入至特征分布对齐网络中,减小源域与目标域在特征分布上的差异; 步骤2-7,在步骤2-6特征分布对齐网络输出的领域类别预测结果基础上,引入领域标签监督机制,将语音样本的真实领域标签与领域类别预测结果进行联合优化,构建领域分类损失函数; 步骤3包括: 步骤3-1,在训练过程中采用随机梯度下降优化器,初始化共享特征提取网络、决策边界对齐网络和特征分布对齐网络的参数,采用指数衰减的声学感知学习率策略,以匹配人耳梅尔尺度的高频衰减,学习率公式为: , 其中,为调整后的学习率,为初始学习率,为当前训练次数,为总训练次数; 步骤3-2,第一阶段训练时,冻结决策边界对齐网络第一情感分类器的参数与第二情感分类器的参数,保留初始决策视角的差异性; 通过梯度反转机制动态调整特征优化方向,更新特征对齐网络的参数、梯度反转系数和共享特征提取网络参数; 首先,根据领域分类损失函数,更新特征对齐网络的参数,以消除语料库之间的特征分布差异: , , 其中,为更新后的特征分布对齐网络的权重矩阵,为更新后的特征分布对齐网络的偏置向量;符号表示采用右边的式子进行更新;表示偏微分; 然后,动态调整反向传播层的梯度反转系数,逐步强化目标域特征的学习,平衡跨域特征的迁移能力: , 其中,是当前训练次数占总训练次数的比例;e是自然常数; 最后,根据情感分类损失函数、领域分类损失函数和梯度反转系数,更新共享特征提取网络的参数: , 其中,是平衡情感分类损失函数和领域分类损失函数的权重,为更新后的深度特征提取网络参数; 步骤3-3,第二阶段训练时,冻结共享特征提取网络的参数;最大化两个情感分类器之间的预测结果差异,更新决策边界对齐网络第一情感分类器的参数与第二情感分类的参数; 基于构建的情感分类损失函数和差异检测损失函数,更新决策边界对齐网络参数,筛选出由于跨库语音情感识别决策边界错位导致的情感标签错误映射的目标域语音样本: ,, ,, 其中,是平衡情感分类损失函数和差异检测损失函数的权重,为更新后的第一情感分类器的权重矩阵,为更新后的第一情感分类器的偏置向量,为更新后的第二情感分类器的权重矩阵,为更新后的第二情感分类器的偏置向量; 步骤3-4,第三阶段训练时,冻结决策边界对齐网络第一情感分类器的参数与第二情感分类器的参数;最小化两个情感分类器之间的预测结果差异,更新共享特征提取网络参数; 基于构建的差异检测损失函数,更新共享特征提取网络参数,对目标域中由于决策边界错位导致的错误情感标签映射进行修正: ; 步骤3-5,步骤3-2~步骤3-4三个阶段训练交替进行,通过逐步优化和调整模型的参数,直至模型达到收敛状态或训练次数达到预设的最大值。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京信息工程大学,其通讯地址为:211899 江苏省南京市江北新区华富路1号数智溪谷4号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由AI智能生成
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。