买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州朗视视频技术有限公司

摘要：本申请公开了一种基于元学习的媒体内容安全监测系统及方法，其对接收到的媒体内容进行初步涉敏检测以得到初步涉敏检测结果；响应于所述初步涉敏检测结果为可能存在涉敏内容，进行模型搜索以得到既有机器学习模型；对所述既有机器学习模型进行模型优化以得到模型训练模版；使用元学习策略，并基于所述媒体内容对所述模型训练模版进行训练以得到新的机器学习模型。这样，能够在媒体内容安全监测中，及时发现和监测那些少数出现但可能有危害性的内容，从而提高系统的准确性和效率。

主权项：1.一种基于元学习的媒体内容安全监测系统，其特征在于，包括：初步涉敏检测模块，用于对接收到的媒体内容进行初步涉敏检测以得到初步涉敏检测结果；模型搜索模块，用于响应于所述初步涉敏检测结果为可能存在涉敏内容，进行模型搜索以得到既有机器学习模型；模型优化模块，用于对所述既有机器学习模型进行模型优化以得到模型训练模板；模型训练模板训练模块，用于使用元学习策略，并基于所述媒体内容对所述模型训练模板进行训练以得到新的机器学习模型；其中，所述模型优化模块，用于：调整所述既有机器学习模型的超参数以对所述既有机器学习模型进行模型优化以得到所述模型训练模板；其中，所述模型训练模板训练模块，包括：模型训练模板参数初始化单元，用于基于任务相关的条件信息，对所述模型训练模板进行元学习初始化参数以得到初始化模型训练模板；媒体内容数据提取单元，用于从所述媒体内容中提取图像部分和文本部分以得到媒体内容图像数据和媒体内容文本数据；数据输入模板单元，用于将所述媒体内容图像数据和所述媒体内容文本数据输入所述初始化模型训练模板；图像局部语义分析单元，用于在所述初始化模型训练模板中，将所述媒体内容图像数据进行图像分块后通过基于ViT模型的图像局部语义特征提取器以得到媒体内容局部图像语义特征向量的序列；媒体内容全局图像语义融合单元，用于在所述初始化模型训练模板中，对所述媒体内容局部图像语义特征向量的序列进行特征选择融合以得到媒体内容全局图像相关语义选择融合特征向量；文本词嵌入编码单元，用于在所述初始化模型训练模板中，将所述媒体内容文本数据进行分词处理后通过词嵌入层以得到媒体内容文本词嵌入向量的序列；文本词粒度上下文语义关联编码单元，用于在所述初始化模型训练模板中，通过基于深度神经网络的文本词粒度上下文语义编码器对所述媒体内容文本词嵌入向量的序列进行特征提取以得到媒体内容文本词粒度上下文语义特征向量的序列；文本词粒度语义融合单元，用于在所述初始化模型训练模板中，对所述媒体内容文本词粒度上下文语义特征向量的序列进行基于全局角度的文本注意力交互融合以得到媒体内容文本全局语义交互特征向量；媒体内容多模态特征混合交互单元，用于将所述媒体内容全局图像相关语义选择融合特征向量和所述媒体内容文本全局语义交互特征向量通过多模态特征混合交互模块以得到媒体内容多维度语义交互特征向量；交互语义优化单元，用于对所述媒体内容多维度语义交互特征向量进行优化以得到优化后媒体内容多维度语义交互特征向量；分类损失函数值计算单元，用于将所述优化后媒体内容多维度语义交互特征向量通过基于分类器的涉敏内容检测器以得到分类损失函数值；模板训练单元，用于基于所述分类损失函数值，对所述初始化模型训练模板进行训练以得到新的机器学习模型，其中，在每次所述媒体内容多维度语义交互特征向量通过所述基于分类器的涉敏内容检测器进行分类回归的迭代时，对所述媒体内容多维度语义交互特征向量进行迭代优化；其中，所述媒体内容全局图像语义融合单元，用于：在所述初始化模型训练模板中，将所述媒体内容局部图像语义特征向量的序列通过基于自相关注意力网络的特征选择融合器以得到所述媒体内容全局图像相关语义选择融合特征向量；其中，所述媒体内容全局图像语义融合单元，用于：将所述媒体内容局部图像语义特征向量的序列通过所述基于自相关注意力网络的特征选择融合器以如下特征选择公式进行处理以得到所述媒体内容全局图像相关语义选择融合特征向量；其中，所述特征选择公式为：；其中，为所述媒体内容局部图像语义特征向量的序列中的第个媒体内容局部图像语义特征向量，和分别表示权重系数向量和权重系数矩阵，为偏移向量，表示函数，为第个所述媒体内容局部图像语义特征向量的注意力打分值，表示指数运算，为第个所述媒体内容局部图像语义特征向量的注意力打分值，为所述媒体内容局部图像语义特征向量的序列的向量个数，为第个所述媒体内容局部图像语义特征向量的权重值，为所述媒体内容全局图像相关语义选择融合特征向量；其中，所述深度神经网络为一维扩展卷积网络；其中，所述文本词粒度上下文语义关联编码单元，用于：在所述初始化模型训练模板中，将所述媒体内容文本词粒度上下文语义特征向量的序列通过基于全局角度的文本注意力交互模块以得到所述媒体内容文本全局语义交互特征向量；其中，所述文本词粒度上下文语义关联编码单元，用于：将所述媒体内容文本词粒度上下文语义特征向量的序列通过所述基于全局角度的文本注意力交互模块以如下全局文本注意力交互公式进行处理以得到所述媒体内容文本全局语义交互特征向量；其中，所述全局文本注意力交互公式为：；其中，是所述媒体内容文本词粒度上下文语义特征向量的序列中第个媒体内容文本词粒度上下文语义特征向量，是所述媒体内容文本词粒度上下文语义特征向量的序列中第个和第个媒体内容文本词粒度上下文语义特征向量之间的关联矩阵，是所述媒体内容文本词粒度上下文语义特征向量的序列中第个和第个媒体内容文本词粒度上下文语义特征向量之间的关联矩阵，为所述媒体内容文本词粒度上下文语义特征向量的序列中向量的个数，表示矩阵的指数运算，为所述媒体内容文本全局语义交互特征向量；其中，所述媒体内容多模态特征混合交互单元，用于：将所述媒体内容全局图像相关语义选择融合特征向量和所述媒体内容文本全局语义交互特征向量通过多模态特征混合交互模块以如下多模态特征融合公式进行处理以得到所述媒体内容多维度语义交互特征向量；其中，所述多模态特征融合公式为：；其中，和分别为所述媒体内容全局图像相关语义选择融合特征向量和所述媒体内容文本全局语义交互特征向量，为拼接操作，是所述媒体内容全局图像相关语义选择融合特征向量和所述媒体内容文本全局语义交互特征向量的拼接特征向量，表示全连接处理，表示函数，为激活特征向量，和分别表示不同节点数的全连接处理，为第一全连接特征向量，为第二全连接特征向量，为所述第一全连接特征向量的指数运算，为所述第二全连接特征向量的指数运算，为第一权重向量，为第二权重向量，为所述媒体内容多维度语义交互特征向量。

全文数据：

权利要求：

百度查询： 杭州朗视视频技术有限公司 基于元学习的媒体内容安全监测系统及方法