买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利一种基于多层次语义增强的多模态假新闻检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117315695B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311298800.1，技术领域涉及：G06V30/41；该发明授权一种基于多层次语义增强的多模态假新闻检测方法是由查正军;刘嘉威;张强;张凡瑞设计研发完成，并于2023-10-09向国家知识产权局提交的专利申请。

本一种基于多层次语义增强的多模态假新闻检测方法在说明书摘要公布了：本发明公开了一种基于多层次语义增强的多模态假新闻检测方法，包括：1、利用新闻文本实体作为提示主体词汇，并应用强化学习发现最佳提示格式，以生成多层次图像描述；2、将新闻图像，多层次图像描述和新闻文本输入多模态融合模块从而得到新闻的多模态融合特征；3、将新闻中蕴含的实体链接至知识图谱中，并输入知识语义增强模块，以自动选择强相关的新闻实体，并去除无关的噪声实体，从而获取精确的新闻知识语义特征；4、根据新闻的多模态融合特征和知识语义特征计算假新闻检测结果，并计算分类损失从而对整个网络进行更新。本发明能去除新闻实体中蕴含的噪声，并获取精确的新闻知识语义信息，从而能更精准的检测多模态假新闻。

本发明授权一种基于多层次语义增强的多模态假新闻检测方法在权利要求书中公布了：1.一种基于多层次语义增强的多模态假新闻检测方法，其特征在于，是按如下步骤进行： 步骤一、多模态新闻数据的收集和预处理； 提取社交媒体平台上每条多模态新闻的文本内容及其对应的一张图像，得到新闻文本集和新闻图像集其中，Ti表示第i条新闻文本；Ii表示Ti对应的第i张新闻图像； 设置第i张新闻图像Ii及其第i条新闻文本Ti的真实性标签，记为yi，且yi∈{0,1}；从而构建训练数据集其中，N表示训练数据集中的新闻数量； 步骤二、构建多模态假新闻检测网络，包括：图像语义增强模块、多模态融合模块、知识语义增强模块； 步骤三、构建图像语义增强模块，包括：RLprompt单元、提示语句构建单元、BLIP模型； 步骤3.1、RLprompt单元生成n个待学习提示词{Z}1{Z}2…{Z}k…{Z}n； 步骤3.2、提示语句构建单元的处理： 步骤3.2.1、利用实体链接工具TAGME对第i条新闻文本Ti进行实体识别，得到文本实体集其中，表示第i条新闻文本Ti中的第j个文本实体，M表示每条新闻文本中的文本实体数量； 步骤3.2.2、构建基于第i条新闻文本Ti中两个文本实体作为提示主体词汇的交互提示语句 表示第i条新闻文本Ti中的第j’个实体；and表示连接符； 构建基于第i条新闻文本Ti中单个文本实体作为提示主体词汇的局部提示语句 步骤3.3、BLIP模型生成第i条多模态新闻的图像描述集 将第i张新闻图像Ii送入BLIP模型中，得到全局图像描述 将第i张新闻图像Ii和交互提示语句Pcon,i送入BLIP模型中，引导生成新闻的交互图像描述 将第i张新闻图像Ii和局部提示语句Ploc,i送入BLIP模型中，引导生成新闻的局部图像描述 步骤四、构建多模态融合模块，包括：特征提取单元、跨模态特征增强单元； 步骤4.1、特征提取单元用于提取多模态新闻的不同模态初始特征； 步骤4.2、跨模态特征增强单元用于对不同模态初始特征进行处理，并输出跨模态特征FN,i； 步骤五、构建知识语义增强模块，包括实体链接单元、自适应硬注意力机制单元、跨模态知识交互单元、知识融合单元； 步骤5.1、实体链接单元用于提取新闻实体并链接至知识图谱； 步骤5.2、自适应硬注意力机制单元用于对实体嵌入特征进行处理，得到过滤后的实体特征； 步骤5.3、跨模态知识交互单元用于对实体嵌入特征进行特征增强，得到实体知识交互特征； 步骤5.4、知识融合单元将过滤后的视觉实体特征FVE,i、过滤后的文本实体特征FTE,i、文本实体知识交互特征和图像实体知识交互特征串联后作为一组实体嵌入，之后应用自注意机制对所述实体嵌入进行进一步建模，并使用全连接层和平均池化层对建模后的实体嵌入进行处理，最终输出新闻背景知识特征FE,i； 步骤六、多模态假新闻检测网络的优化： 步骤6.1、利用式8预测第i条多模态新闻为假新闻的概率 式8中，σ代表sigmoid激活函数，Wc表示分类器的权重矩阵，bc表示偏差向量；F'M,i表示维度改变后的全局多模态新闻特征； 步骤6.2、利用式9构建交叉熵损失函数 步骤6.3、基于所述训练数据集X，使用Adam优化策略对所述多模态假新闻检测网络进行训练，直至网络总损失函数收敛为止，从而得到最优多模态假新闻检测模型，用于对任一多模态新闻进行预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。