买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南开大学

摘要：本发明公开了一种基于动态传播社交图的多模态虚假新闻检测方法，属于信息安全技术领域，通过多模态虚假新闻检测模型实现，该多模态虚假新闻检测模型包括传播序列捕获层、特征表示层、多模态动态融合、增强图结构抽取和邻居语义感知五部分，针对现有的方法存在难以捕获时序强度和深层社交图表示的问题。考虑到新闻内容的多模态性以及实体之间的关系，它首先利用时序渗透融合块对传播序列中各类型节点进行多模态动态融合，然后利用动态符号加权增强传播图社交图特征。最后，Transformer捕获传播模式的全局语义并对多域信息融合。在三个数据集上的实验结果证明了提出模型在虚假新闻检测任务上的有效性。

主权项：1.基于动态传播社交图的多模态虚假新闻检测方法，通过多模态虚假新闻检测模型实现，该多模态虚假新闻检测模型包括传播序列捕获层、特征表示层、多模态动态融合、增强图结构抽取和邻居语义感知五部分，其特征在于包括如下步骤：步骤1：传播序列捕获层：根据数据集中的新闻、帖子和用户三类实体构建新闻异构图G＝V，E，其中V＝{N,P,U}表示新闻、帖子和用户三种节点类型的节点集，E表示它们之间的边集，mn、mp和mu分别表示新闻节点、帖子节点和用户节点的个数，遍历新闻节点ni∈N，对每个起始节点ni进行以下步骤T次：以概率p返回起始节点，或随机选择ni的邻居节点加入Nni集合中，直到对应类型邻居节点收集到规定数量，以确保每种类型的邻居节点都被采样，对Nni集合中新闻邻居节点Nn、帖子邻居节点Np和用户邻居节点Nu按照被采样频率排序，保留前k个频率最高的邻居节点，k＝kn+kp+ku；步骤2：特征表示层：对于文本首先利用分词器填充或截断为长度为n的token序列T＝{[CLS],o1,o2,...,on,[SEP]}，然后将T输入到微调的RoBERTa模型获得嵌入向量，用[CLS]的嵌入向量表示整个token序列的嵌入向量表示e，dt表示嵌入维度，依次获得以下标准化后的嵌入向量表示：新闻标题et、新闻内容ec，帖子信息ep，用户描述eu，对于视觉特征表示，使用预训练的ResNet18模型获取细粒度的图像特征向量，标准化后得图像表示其中dv表示图像特征向量维度，一些数值属性和类别属性，采用one-hot方法转为稀疏特征表示，数值属性进行归一化保证数值范围一致，得到帖子其他特征向量用户其他特征向量其中dop，dou分别表示帖子和用户其他特征向量的维度；步骤3：多模态动态融合：为了精准获得异构图中每种类型节点的特征表示，设计多模态动态融合层，该层由时序相似强度和时序渗透融合块两部分组成；步骤4：增强图结构抽取：在新闻异构图中，节点和边之间存在复杂关系，为深度抽取图结构特征，对传播轨迹中捕获的目标新闻及其邻居序列进行图结构增强，然后建立动态符号注意块深度抽取邻居间以及邻居与目标节点间的图结构特征，最后将图结构特征与融合特征进行多模态对齐，实现文本、视觉和图结构的多模态间信息的融合与交互；步骤5：邻居语义感知：在获得目标新闻及其各类型邻居的融合特征以及图结构特征后，采用Transformer的encoder-decoder结构感知新闻传播序列上节点的上下文语义，获得目标新闻的感知特征，用于训练分类器。

全文数据：

权利要求：

百度查询： 南开大学 基于动态传播社交图的多模态虚假新闻检测方法