首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于多模态大模型的国际传播受众反馈讽刺检测方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:湖南师范大学

摘要:本发明提供了一种基于对抗网络的图片数据增强和大模型的文本数据增强方法,通过对抗网络生成结构化差异较大的图片,并选取差异显著的图片作为扩充样本,同时利用大模型生成相似的文本内容扩展数据集;通过定义相似性度量函数,从生成的图片和文本中筛选出相似性高的图片和相似性低的文本,随机组合后形成新的增强数据集;使用多模态大模型对图片和文本进行编码并对齐,生成相关矩阵以便后续操作。本发明设计了三个模块处理讽刺检测,与事实不符合讽刺内容模块:通过通道加权策略和高斯分布模型处理与事实不符的讽刺内容;情感讽刺模块:通过共享参数的连体层学习跨模态情感信息,解决情感讽刺;先验知识文本讽刺检测模块:专门处理带文字图片及其对应文本,提高讽刺检测效率。

主权项:1.一种基于多模态大模型的国际传播受众反馈讽刺检测方法,其特征在于,包括以下步骤:S1、获取原始数据集,利用对抗网络进行图片数据增强,利用大模型进行文本数据增强,通过损失函数选取差异大的图片作为扩充样本,并生成相似文本扩展数据集;S2、定义相似性度量函数,选出差异化较大的图片和相似性高的文本,随机组合后加入所述的原始数据集,生成增强数据集;S3、使用多模态大模型对所述增强数据集中的图片和文本进行编码和对齐,将其转换为高维的特征向量,生成相关矩阵,利用对齐模块将图片和文本特征向量对齐到统一特征空间,并引导对齐后的图片和文本特征向量进入三重讽刺检测模块;S4、将对齐后的图片和文本特征向量传入与事实不符合讽刺内容模块,该模块用于处理与事实不符的讽刺内容;S5、将对齐后的图片和文本特征向量传入情感讽刺模块,该模块用于解决与所表达情感不符的讽刺;S6、将对齐后的图片和文本特征向量传入基于先验知识文本讽刺检测模块,该模块用于处理带文字图片及其对应文本;S7、将对齐后的图片和文本特征向量分别输入所述三重讽刺检测模块后,通过损失函数和迭代优化模型参数,确保各任务性能均衡,实现对国际传播受众反馈数据的讽刺检测。

全文数据:

权利要求:

百度查询: 湖南师范大学 一种基于多模态大模型的国际传播受众反馈讽刺检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。