买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多模态与多模型融合的敏感图片检测系统，属于图片检测技术领域，包括模型设置模块、输入图片转换模块、大类判断模块、细分类判断模块及结果输出模块。本发明使用多模态模型，对于每个类别定义相应描述语文本，然后对图像向量和描述语文本向量进行相似度比较，实现图像分类检测；对于涉黄类别敏感图片，加入二分类模型检测，综合二分类模型和多模态模型进行综合判断，有效提升敏感图的检测率和准确率。

主权项：1.一种基于多模态与多模型融合的敏感图片检测系统，其特征在于，包括以下内容：模型设置模块，用于执行以下处理流程：步骤11、构建多模态模型及二分类模型；步骤12、设置图像分类描述语文本特征向量；具体处理流程如下：设置图像分类成涉政、涉黄、广告、图标及正常五个大类，且对涉政、涉黄及广告分别进行下位的细分类设置；为每一个大类和细分类定义一段描述语，使用多模态模型的文本向量编码功能对每一段描述语进行编码，得到对应的描述语文本特征向量；输入图片转换模块，用于执行以下处理流程：步骤21、接收所输入的目标图片，确定其格式属于所支持的预设图片格式；步骤22、对目标图片进行预处理，得到标准图像属性的目标图片，以据此进行后续处理；步骤23、使用多模态模型的图片编码功能将该目标图片转换成对应的图像特征向量；大类判断模块，用于执行以下处理流程：步骤31、计算该目标图片的图像特征向量与各大类的描述语文本特征向量相似度，得到每一个大类对应的分数，再进行归一化处理，得到该目标图片的大类概率初值；使用二分类模型处理该目标图片，得到涉黄概率PV；步骤32、将二分类模型处理所得涉黄概率PV和多模态模型处理所得大类概率初值的涉黄概率初值PC进行加权计算，得到涉黄概率终值；步骤33、将该涉黄概率终值与其它大类概率初值比较，选择其中概率数值最高的作为该目标图片的大类类别；细分类判断模块，用于执行以下处理流程：步骤41、确定该目标图片的大类类别为涉政、涉黄或广告；步骤42、计算该目标图片的图像特征向量与其大类类别下的各细分类的描述语文本特征向量相似度，得到该目标图片的每一个细分类对应的分数，再进行归一化处理，得到每一细分类对应的细分类概率；步骤43、比较各细分类概率，选择其中概率数值最高的作为该目标图片的细分类类别；结果输出模块，用于输出该目标图片的大类及细分类类别的分类结果，完成该目标图片的检测。

全文数据：

权利要求：

百度查询： 中国—东盟信息港股份有限公司 一种基于多模态与多模型融合的敏感图片检测系统