买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉科技大学申请的专利基于跨模态生成对抗网络的图文情感分类方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116758558B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310785820.5，技术领域涉及：G06V30/19；该发明授权基于跨模态生成对抗网络的图文情感分类方法及系统是由胡慧君;李书星;刘茂福设计研发完成，并于2023-06-28向国家知识产权局提交的专利申请。

本基于跨模态生成对抗网络的图文情感分类方法及系统在说明书摘要公布了：本发明提供一种基于跨模态生成对抗网络的图文情感分类方法及系统，进行数据集采集与预处理，包括在社交媒体平台以基于输入主题获取用户发表的图文，再去除文本中无效信息；数据标注，包括预先进行标签标注，再对图像中的文字进行识别并经检验后存入数据集；设置GANSA模型，在GANSA模型中首先进行图文模态特征提取，文本特征提取及OCR特征提取，再进行图文特征生成；模型训练及图文情感分类，包括以端到端的方式对GANSA模型进行训练，采用交叉熵损失函数，然后将待分析图文对输入训练好的GANSA模型得到图文对情感分析结果。本发明支持多种社交媒体平台的图文情感分类任务，优化图文模态的特征提取和特征融合，情感预测更准确。

本发明授权基于跨模态生成对抗网络的图文情感分类方法及系统在权利要求书中公布了：1.一种基于跨模态生成对抗网络的图文情感分类方法，其特征在于，包括以下步骤： 步骤1，数据集采集与预处理，包括在社交媒体平台以基于输入主题获取用户发表的图文，再去除文本中无效信息； 步骤2，数据标注，包括预先进行标签标注，再对图像中的文字进行识别并经检验后存入数据集； 步骤3，设置GANSA模型，所述GANSA模型为图文情感分类模型， 在GANSA模型中首先进行图文模态特征提取，所述图文模态特征包括文本特征、OCR特征及图像特征， 文本特征提取及OCR特征提取，包括将预处理好的数据集中的文本和OCR转成单词序列并输入到RoBERTa模型得到文本字编码；再将文本字编码经过双向门控循环单元得到具有上下文信息的文本特征和OCR特征；所述RoBERTa模型为文本预训练模型； 图像特征提取，包括将预处理好的数据集中的图像归一化并输入到FastR-CNN模型得到图像特征；所述FastR-CNN模型为图像预训练模型； 再进行图文特征生成，包括将文本特征和图像特征输入到GANSA模型中的GAN模块增强图文模态的特征表示；然后通过GANSA模型中的GF模块融合图文特征并输入到全连接层和Softmax函数中，得到最终的情感预测值；所述GAN模块为生成对抗网络模块；所述GF模块为门控融合模块； 步骤4，模型训练及图文情感分类，包括以端到端的方式对GANSA模型进行训练，采用交叉熵损失函数，然后将待分析图文对输入训练好的GANSA模型得到该图文对的情感分析结果； 图文特征生成及进行图文特征融合和情感预测的实现如下： 1构建辅助融合模块，用来保留来自各个辅助模态的信息。对于给定辅助模态的特征V1和V2，首先将它们拼接起来得到输入向量Vin，然后将线性变换作用于输入向量得到辅助融合向量VF，并减少辅助融合向量的维数； 2将图像特征和表情包中文字特征通过辅助融合模块得到表情包辅助特征VIO；然后将文本特征作为目标模态输入特征通过生成器，并添加噪声，得到文本模态的生成特征VTG，判别器将识别输入特征的来源；最后，采用对抗的方式训练网络，将表情包辅助特征VIO标记为真实样本，生成特征VTG标记为生成样本，并计算损失函数LT； 3与2同理，利用生成对抗网络的生成器在辅助模态的补充下得到图像模态的生成特征VIG； 4将2的文本生成特征和3的图像生成特征通过Sigmoid激活函数获得图文模态的门控权重矩阵g；然后，使用门控权重矩阵得到图文模态的融合特征VM； 然后将图文的融合特征向量输入到全连接层和Softmax函数中，得到最终的情感预测值；根据情感预测值和真实标签y通过交叉熵损失函数进行GANSA模型训练； 交叉熵损失函数公式为： 其中，Loss为损失函数值

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉科技大学，其通讯地址为：430081 湖北省武汉市青山区和平大道947号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。