买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明属于多模态情感分析技术领域，具体涉及基于混合对比学习及多任务学习的多模态情感分析方法。本方法首先通过单峰特征增强模块UFEM优化从预训练模型中提取的单模态特征，然后使用这些优化后的特征联合训练多模态和单模态任务；此外，本方法使用混合对比学习策略来促进多模态数据的学习表示，通过无监督对比学习增强多模态融合的表示能力，并通过有监督对比学习提升模型在缺乏单模态注释时的性能；最后，基于无监督对比学习的特性，本方法提出了一种新的单峰标签生成模块ULGM，它能够在较短的训练周期内稳定生成单模态标签。本方法可以更好的学习单模态特征表示、优化多模态特征表示，从而提升多模态情感分析结果的有效性。

主权项：1.基于混合对比学习及多任务学习的多模态情感分析方法，其特征在于，包括以下步骤：S1、构建多模态情感分析模型，用于生成多模态预测标签多模态情感分析模型包括单峰特征提取模块、单峰特征增强模块UFEM、稀疏相控变压器SPT、特征融合模块、多模态标签预测模块、以及单模态标签生成模块ULGM；单峰特征提取模块用于基于输入的多模态信息Is提取各类模态特征其中，s∈{t,a,v}，t表示文本模态、a表示音频模态、v表示视觉模态；单峰特征增强模块UFEM用于对各类模态特征进行增强，得到对应的模态增强特征稀疏相控变压器SPT用于从各模态增强特征中提炼出各自的最终特征表示，得到各模态最终特征特征融合模块用于对各模态最终特征进行融合，得到多模态特征多模态标签预测模块用于基于多模态特征得到多模态预测标签单模态标签生成模块ULGM用于基于多模态特征各单模态特征以及人工设置的多模态标签ym生成各单模态标签ys；其中，各单模态特征由各类模态特征映射到公共语义特征空间中得到；S2、基于多任务学习及混合对比学习，对S1构建的多模态情感分析模型进行训练；其中，多任务学习包括，基于人工标注的多模态标签ym和多模态预测标签的多模态学习，以及基于ULGM生成的各单模态标签ys和对应的单模态预测标签的单模态学习；混合对比学习包括，通过无监督对比学习增强多模态融合的表示能力，并通过有监督对比学习提升模型在缺乏单模态注释时的性能；S3、实际工作时，将包括文本信息、声音信息和视觉信息的多源信息输入S2训练后的多模态情感分析模型中，得到对应的多模态预测标签，用于对应的多模态情感分析工作。

全文数据：

权利要求：

百度查询： 重庆理工大学 基于混合对比学习及多任务学习的多模态情感分析方法