买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东工业大学

摘要：本发明公布了一种基于多模态深度学习的冒犯性评论识别方法，具体实现步骤如下：（1）构建冒犯性评论数据集。（2）构建冒犯性评论识别模型：首先运用Bert模型对文本模态数据进行编码，构建快速视觉几何群神经网络对输入的图像模态数据进行特征提取；然后构建门控循环图卷积神经网络融合不同模态的特征向量；最后根据门控循环图卷积神经网络融合得到的特征向量，运用激活函数判断该评论是否具有冒犯性。（3）初始化模型的权重和偏置项设置模型相关的超参数，将训练集和验证集加载至该模型中进行训练，得该模型训练后的最优参数。（4）运用该模型，对评论进行冒犯性识别。

主权项：1.一种基于多模态深度学习的冒犯性评论识别方法，其特征在于从多种模态的信息中提取特征，同时将这些特征划分为多种粒度进行融合，然后使用融合后的特征进行冒犯性评论识别，该方法包括以下步骤：第一步，构建冒犯性评论数据集：首先从利用爬虫爬取数据、整合现有的相关数据集这两个渠道获取原始的冒犯性评论数据，将每一条原始的冒犯性评论数据表示为一个二元组；然后采用人工操作和使用第三方工具包两种方法，根据每一个二元组构建词语集合；接着对原始的冒犯性评论数据进行标注；最后将每一个二元组与其对应的词语集合和标注构造成四元组，所有的四元组构成一个冒犯性评论数据集；所述构建词语集合的两种方法包括人工参照原始冒犯性评论数据二元组总结词语集合、利用FasterR-CNN自动提取出原始冒犯性评论数据二元组中的词语集合；所述构建冒犯性评论数据集的步骤，包括：从利用爬虫爬取数据、整合现有的相关数据集这两个渠道获取原始的冒犯性评论数据；每一条评论表示为一个二元组txt,img，其中第一元txt表示评论中的文本，第二元img表示评论中的图片；采取特定方法从二元组txt,img中提取出图片标签label，label为描述img内容的 词语集合，表示为；其中所述的特定方法，包括人工参照txt和 img，描述出该img的label；或者借助第三方工具包从img中描述出label；所述的第三方工 具包是一种检测图片中的对象实例的工具包，包括但不限于FasterR-CNN工具包；这种工 具包以img为输入，即可自动描述出描述img中的对象实例的label； 构建类别标签offensive，采用人工标注的方法，将每个二元组标注为“冒犯”或“非冒犯”类别；由每个二元组txt,img及其对应的label和offensive构造四元组d=txt,img, label,offensive；所有的四元组构成一个数据集，其中n为数据 集的评论条数；然后将D按照一定的比例划分为训练集、验证集和测试集； 第二步，构建冒犯性评论识别模型：首先运用Bert（BidirectionalEncoderfromTransformers）模型对输入的文本模态数据进行编码，同时构建快速视觉几何群神经网络（Fast-VisualGeometryGroupNetwork，Fast-VGG）对输入的图像模态数据进行特征提取；然后构建门控循环图卷积神经网络（GateRecurrent-GraphConvolutionalNetwork，G-GCN）融合不同模态的特征向量；最后根据G-GCN融合得到的特征向量，运用Sigmoid激活函数判断该评论是否具有冒犯性；所述构建冒犯性评论识别模型的步骤，包括：运用Bert模型对txt和label进行编码，得到txt和label编码后的向量分别表示为 和； 构建Fast-VGG对img进行特征提取，将img经过Fast-VGG中多层卷积池化处理后得到的 特征图利用全局平均池化（GlobalAveragePooling，GAP）进行压缩，得到表示img的特征 向量； 构建G-GCN融合不同模态的特征向量；根据G-GCN融合得到的特征向量，对评论是否具有冒犯性进行识别；所述构建Fast-VGG的步骤，包括：构造8个卷积层，其卷积核大小为3×3，根据通道数将其划分为4个block，每个block包含2个卷积层，在每个block后连接最大池化层减少参数量；其中第一个block表示为Conv1，与之相邻的block表示为Conv2，与Conv2相邻的block表示为Conv3，与Conv3相邻的block表示为Conv4；在Conv4相邻的最大池化层连接GAP，将卷积层输出的特征图映射为n个1×1向量；将通过GAP池化后得到的n个1×1向量拼接成1个1×n向量作为Fast-VGG输出；所述对img进行特征提取的步骤，包括：构建Fast-VGG，将img作为Fast-VGG的输入，其经过多层卷积池化处理后得到特征图V；将特征图V作为GAP的输入，将其压缩成n个1×1向量放入数组； 将D中的所有元素进行向量拼接，得到img的特征向量： 其中为权重矩阵，用于对拼接后的向量进行降维；Concat是一个用于向量拼接的 函数； 所述的构建G-GCN融合不同模态的特征向量的步骤，包括：将和进行向量拼接，得到拼接后的向量；其中 为权重矩阵，用于对拼接后的向量进行降维；Concat是一个用于向量拼接的函数； 将作为门控循环单元（GateRecurrentUnit，GRU）的输入，提取txt和label中的时 序特征； 基于label构建一个图G，运用图卷积神经网络GCN（GraphConvolutionalNetworks）去提取label中的空间特征；所述基于label构建一个图G的步骤，包括：将label中的每一个词语作为图的节点，所有的节点构成一个节点集V，将词语之间的 相邻关系作为图的边，所有的边构成一个边集E，V和E构成图G=V,E；其中词语之间的相邻 关系在这里具体指：label为一个词语集合，关系相近的词语相邻放置；设置一个固定大小 能包含2个词语的滑动窗口，窗口中同时存在的词语即为相邻关系，具有相邻关系的词语边 的权重设置为1，反之设置为0；使用来初始化图G中所有的节点的向量表示； 将GRU提取的时序特征作为粒度，将GCN提取的空间特征作为粒度，将Fast-VGG 提取的图像特征作为粒度，运用Transformer融合多种粒度；其中粒度、为文 本模态的特征向量，为图像模态的特征向量； 所述的运用Transformer融合多种粒度的步骤，包括：将、、两两之间通过门控注意力机制（Gated-Attention，GA）进行融合，得 到不同粒度融合后的粒度、和，其融合过程如下： 通过Transformer融合、、： 得到融合多种粒度后的特征向量；其中[CLS]为Bert模型中文本的开头符号，用 于表示整个文本的语义信息； 第三步，设置模型的所有相关参数：设置特征图的维度、学习率的大小、批处理的大小、优化器的选择上述这些与模型相关的参数；将训练集和验证集加载至该模型中进行训练，得该模型训练后的最优参数；第四步，运用该冒犯性评论识别模型，对评论进行冒犯性识别，将测试集输入到训练好的冒犯性评论识别模型中进行测试，使用机器学习中的准确率和MMR作为该冒犯性评论识别模型在执行冒犯性评论识别任务时的评估指标，然后将该冒犯性评论识别模型运用于不同数据集的冒犯性评论识别任务当中。

全文数据：

权利要求：

百度查询： 广东工业大学 一种基于多模态深度学习的冒犯性评论识别方法