买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉云南大学申请的专利基于多任务学习网络的多模态仇恨模因检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115497105B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211301160.0，技术领域涉及：G06V30/19；该发明授权基于多任务学习网络的多模态仇恨模因检测方法是由张韵祺;马志羽;姚绍文;武丽雯;高嵩设计研发完成，并于2022-10-24向国家知识产权局提交的专利申请。

本基于多任务学习网络的多模态仇恨模因检测方法在说明书摘要公布了：本发明公开了一种基于多任务学习网络的多模态仇恨模因检测方法，收集若干仇恨模因样本，构建包括多模态主任务和两个单模态辅助任务的多任务学习网络，其中多模态主任务的标签由人工标定，单模态辅助任务的标签基于自监督策略生成。采用仇恨模因样本训练完成多任务学习网络后，将图像处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块和第二特征映射模块组成的子网络作为仇恨模因检测网络。将检测模因图像输入仇恨模因检测网络，得到检测结果。本发明构建并训练基于自监督生成辅助标签的多任务学习网络，从中提取出仇恨模因检测网络，在缩短训练时间和降低算力要求的同时，提高仇恨模因检测的准确率。

本发明授权基于多任务学习网络的多模态仇恨模因检测方法在权利要求书中公布了：1.一种基于多任务学习网络的多模态仇恨模因检测方法，其特征在于，包括以下步骤： S1：收集若干仇恨模因样本，每个仇恨模因样本中的模因图像为带有文本的图像，为每幅图像标注仇恨模因标签，当标签为1则表示该模因图像中存在仇恨，当标签为0则表示该模因图像中不存在仇恨； S2：构建多任务学习网络，包括模因图像预处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块、第二特征映射模块、第三特征映射模块、第四特征映射模块、文本单模态标签生成模块、第五特征映射模块、第六特征映射模块和图像单模态标签生成模块，其中： 模因图像预处理模块用于从输入模因图像中提取出文本T并发送给文本特征提取模块，然后将提取得到的文本从模因图像中去除得到图像V并发送给图像特征提取模块； 文本特征提取模块用于提取文本T的文本特征Ft，然后发送给特征拼接模块和第三特征映射模块； 图像特征提取模块用于提取图像V的文本特征Fv，然后发送给特征拼接模块和第五特征映射模块； 特征拼接模块用于将文本特征Ft和图像特征Fv进行拼接，将拼接得到的特征Fm发送至第一特征映射模块； 第一特征映射模块用于将特征Fm映射为M维特征向量M的值根据实际需要确定，将M维特征向量发送给第二特征映射模块和文本单模态标签生成模块、图像单模态标签生成模块； 第二特征映射模块用于将特征向量映射为输入模因图像的预测标签 第三特征映射模块用于将文本特征Ft映射为M维文本特征向量Ft *，并发送给第四特征映射模块和文本单模态标签生成模块； 第四特征映射模块用于将文本特征向量Ft *映射为根据文本得到的预测标签 文本单模态标签生成模块用于根据输入模因图像的真实标签ym、特征向量和文本特征向量Ft *生成文本辅助标签yt； 第五特征映射模块用于将图像特征Fv映射为M维图像特征向量并发送给第六特征映射模块和图像单模态标签生成模块； 第六特征映射模块用于将图像特征向量映射为根据图像得到的预测标签 图像单模态标签生成模块用于根据输入模因图像的真实标签ym、特征向量和图像特征向量生成图像辅助标签yv； S3：将步骤S1收集的每个仇恨模因样本中的模因图像作为多任务学习网络的输入，对应的仇恨模因标签作为真实标签，对多任务学习网络进行训练； S4：对于步骤S3训练完成的多任务学习网络，将其中图像处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块和第二特征映射模块组成的子网络作为仇恨模因检测网络； S5：对于待检测的模因图像，将其输入仇恨模因检测网络，得到检测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人云南大学，其通讯地址为：650091 云南省昆明市翠湖北路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。