买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学;褚卫兵;浪潮软件科技有限公司

摘要：本发明公开的一种基于多模态完全双曲图神经网络的网络暴力识别方法，属于舆情监控技术领域。本发明实现方法为：计算每则帖子的TF‑IDF向量并得到特征向量矩阵，将关联性超过预设阈值的节点对用边进行连接，构建帖子关联图，实现不同帖子间的相似性和关联性的捕捉；将帖子文本转换为XLNet模型理解的输入格式；将分词后的文本输入预训练的XLNet模型；采用基于洛伦兹变换的多模态特征融合模块对帖子的文本特征和图像特征进行融合，实现了帖子的多模态特征向较低维度的洛伦兹空间的映射。完全双曲图神经网络通过帖子关联图中节点之间的交互实现信息传递，将完全双曲图神经网络学到的多模态帖子节点特征输入到网络暴力识别器中，实现网络暴力识别。

主权项：1.一种基于多模态完全双曲图神经网络的网络暴力识别方法，其特征在于：包括以下步骤，步骤一：对数据集中每则帖子的文本数据进行去除特殊字符、标点符号、停用词、数字的预处理操作，以清理和标准化文本；基于预处理的文本数据构建一个词汇表，其中包含所有文本数据中出现的独特单词；对于每个文本样本，计算每个单词在该样本中出现的次数或者使用将每个单词的出现次数除以样本中的总词数的标准化词频计算方法计算词频TF；计算单词在整个语料库中出现的文档数的倒数来计算每个单词的逆文档频率IDF，衡量单词在文档集合中的重要程度；将词频和逆文档频率相乘，得到TF-IDF特征向量vtf并得到特征向量矩阵Ftf，基于该特征向量矩阵使用余弦相似度计算每对帖子节点之间的相似性得分，相似性得分的值越高，表示两条帖子之间的关联性越强，将关联性超过预设阈值的节点对用边进行连接，构建帖子关联图，实现不同帖子间的相似性和关联性的捕捉；步骤二：使用预训练的XLNet模型对帖子文本进行预处理和分词，将帖子文本转换为模型可以理解的输入格式；将分词后的文本输入预训练的XLNet模型并获取模型最后一层的隐藏状态，得到帖子文本的特征表示；使用预训练的ResNet模型对帖子图像进行图像大小调整、中心裁剪、转换为张量、归一化的预处理操作，并将预处理后的图像输入预训练的ResNet模型，得到帖子图像的特征表示；采用基于洛伦兹变换的多模态特征融合模块对帖子的文本特征和图像特征进行融合，该多模态特征融合模块包括特征映射模块、中心提取模块和洛伦兹映射模块；特征映射模块基于指数映射操作，将欧几里得空间中帖子的文本特征和图像特征映射至洛伦兹空间；中心提取模块以帖子的文本特征和图像特征作为输入，计算文本特征和图像特征在洛伦兹模型中的中心特征，以此作为帖子的多模态特征；洛伦兹特征映射模块基于洛伦兹线性层，实现帖子的多模态特征向较低维度的洛伦兹空间的映射；步骤三：将较低维度洛伦兹空间中帖子的多模态特征作为帖子关联图中节点的特征，输入到完全双曲图神经网络中捕捉数据中隐含的层次结构，学习帖子的双曲特征表示；完全双曲图神经网络包括特征变换模块和邻域聚合模块；特征变换模块负责对多模态帖子特征进行变换、激活及归一化；邻域聚合模块将帖子关联图中的每个多模态帖子节点的信息与其邻居节点的信息进行聚合，从而更新节点自身的表示，通过帖子关联图中节点之间的交互实现信息传递；步骤四：将完全双曲图神经网络的最后一层输出的节点特征通过对数映射到切线空间，然后通过一个全连接层并用softmax作为激活函数得到每一个帖子节点对应于每种标签的概率矩阵根据概率矩阵中的最大概率值，输出当前帖子对应的预测标签结果y；步骤五：对步骤三和四构建的多模态完全双曲图神经网络，配置模型训练所需参数，设置学习率、批处理大小、权值初始化方式、优化方法、迭代次数；使用步骤一中基于多模态网暴帖子数据集构造的帖子关联图，采用交叉熵损失函数训练用于网络暴力识别的多模态双曲图神经网络；通过所述训练好的多模态完全双曲图神经网络构建多模态帖子与其对应的标签之间的非线性关系，提高多模态双曲图神经网络模型的泛化能力，并生成更丰富和深入的信息表征；步骤六：将每个需要判别的多模态帖子特征输入到训练好的多模态完全双曲图神经网络模型，输出得到每个帖子的预测标签；将输出的预测标签结果作为当前帖子所对应的类别，识别当前多模态帖子是否为网络暴力；多模态特征的融合和双曲空间的引入，使得模型能够提取出多模态数据中的关联和丰富的语义表示，并捕捉到数据中隐含的层次结构，提升网络暴力识别的精度和效率。

全文数据：

权利要求：

百度查询： 北京理工大学 褚卫兵 浪潮软件科技有限公司 一种基于多模态完全双曲图神经网络的网络暴力识别方法