买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京中新赛克软件有限责任公司

摘要：本发明公开了一种基于深度学习的有害网站识别方法及装置，所述方法包括：爬取和收集现有有害网站的特征数据，并建立有害网站的特征数据库；将特征数据库及其对应的标签输入到预训练模型中，分别训练得到有害检测模型和有害分类模型；对于互联网流量中提取到的域名或IP爬取其网站特征信息数据；将网站特征输入到已训练的检测模型中，得到第一研判结果；若第一研判结果为正常，则根据特征数据判断是否为仿冒网站；若第一研判结果为异常，则将网站特征信息输入到有害分类模型中，得到网站的具体有害类型。本发明通过基于深度学习的分级模型分别对网站进行有害检测和识别，从而可以准确地实现对有害网址的有害分析研判。

主权项：1.一种基于深度学习的有害网站识别方法，其特征在于，包括如下步骤：步骤1，爬取和收集现有有害网站的特征数据，并建立有害网站的特征数据库；包括：通过静态方式获取网站的响应状态码、标题、网页内容文本信息；过滤出响应状态码异常的网页，并将网页内容文本长度与预先设定的阈值进行比较；当网页内容文本长度小于阈值时，则通过动态爬取方式获取网页快照和网页内容文本；通过OCR技术提取出网页快照中的文本，并累加到网页内容文本上，构成新的网页内容文本，构成新的网页内容文本后替换静态方式获取的网页文本；步骤2，将特征数据库及其对应的标签输入到预训练模型中，分别训练得到有害检测模型和有害分类模型；有害检测模型用于检测网站是否正常，有害分类模型用于输出网站有害类型；具体包括如下步骤：1对特征数据库中的有害网址文本进行预处理；2构建已预训练的BERT模型；将包含标签的网页内容信息作为训练集，输入到BERT模型得到语义表征，然后输入至Sigmoid训练得到有害检测模型，输入Softmax中训练得到有害分类模型；步骤3，根据互联网流量中提取到的域名或IP爬取网站特征信息数据；步骤4，将网站特征信息输入到步骤2训练的有害检测模型中，得到第一研判结果；步骤5，若第一研判结果为正常，则根据特征数据判断是否为仿冒网站；判断仿冒网站的过程为：计算网站的标题和文本内容与易被仿冒网站的相应部分的相似度，然后将计算得到的相似度与预设阈值进行比较，若大于阈值，则网站为仿冒网站，否则为正常网站；相似度计算公式为：S＝Jaccardtitle+Jaccardcontent，其中，S为相似度，title为标题，content为文本内容，Jaccard为Jaccard相似度；步骤6，若第一研判结果为异常，则将网站特征信息输入到步骤2训练的有害分类模型中，得到网站的具体有害类型。

全文数据：

权利要求：

百度查询： 南京中新赛克软件有限责任公司 一种基于深度学习的有害网站识别方法及装置