买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门众联世纪股份有限公司

摘要：本申请涉及文本处理技术领域，具体涉及一种广告语料违禁词处理方法及系统，该方法包括：基于广告语料文本中各汉字的笔画信息确定各汉字的汉字字形拆解矩阵，分析各汉字的汉字字形拆解矩阵中元素的稀疏性及各汉字在广告语料文本中的出现频次，得到广告语料文本中各汉字的违禁词隐藏干扰系数，分析汉字词汇中不同汉字的汉字字形拆解矩阵的差异，得到各汉字词汇的前后分歧系数，结合前后分歧系数及汉字词汇中各汉字的违禁词隐藏干扰系数得到各汉字词汇的分词词汇嵌入评估系数，利用神经网络模型完成广告语料违禁词的处理。提高了广告语料中违禁词检测的准确度。

主权项：1.一种广告语料违禁词处理方法，其特征在于，该方法包括以下步骤：获取广告语料文本，基于广告语料文本中各汉字的笔画信息确定各汉字的汉字字形拆解矩阵；分析各汉字的汉字字形拆解矩阵中元素的稀疏性及特殊字符的分布，结合各汉字在广告语料文本中的出现频次，得到广告语料文本中各汉字的违禁词隐藏干扰系数；将广告语料文本进行分词获取各汉字词汇，分析汉字词汇中不同汉字的汉字字形拆解矩阵的差异，得到各汉字词汇的前后分歧系数；结合所述前后分歧系数及汉字词汇中各汉字的违禁词隐藏干扰系数得到各汉字词汇的分词词汇嵌入评估系数，利用神经网络模型完成广告语料违禁词的处理；所述广告语料文本中各汉字的违禁词隐藏干扰系数的确定包括：基于广告语料文本中各汉字的笔画的分散性确定各汉字的笔画分散系数；分别统计广告语料文本中各汉字前、后特殊字符的数量；将各汉字所述前、后特殊字符的数量，确定为特殊字符集中度；将所述特殊字符集中度作为以自然常数为底数的指数函数的指数；计算所述指数函数的计算结果与对应汉字的笔画分散系数的乘积，确定为各汉字的汉字违禁隐蔽度；统计各汉字在广告语料文本中的出现频次，各汉字的违禁词隐藏干扰系数为各汉字的汉字违禁隐蔽度与汉字在广告语料文本中的出现频次的比值；所述各汉字的笔画分散系数的构建包括：计算各汉字的汉字字形拆解矩阵的L1范数，统计各汉字的汉字字形拆解矩阵中的元素最大值，将所述L1范数与所述最大值的比值，确定为各汉字的笔画分散系数；所述特殊字符包括标点符号以及所有非汉字的符号；所述各汉字词汇的前后分歧系数的构建包括：基于各汉字词汇中不同汉字的汉字字形拆解矩阵的F范数的差异确定广告语料文本中各汉字词汇的字形紊乱系数；计算汉字词汇中所有汉字的汉字字形拆解矩阵的F范数的均值，计算所述均值与汉字词汇的字形紊乱系数的乘积，确定为违禁评估因子，获取各汉字词汇的前一个汉字词汇、后一个汉字词汇的字形紊乱系数中的最大值，计算所述字形紊乱系数中的最大值与预设大于0的调节因子的和值，记为第一和值，将各汉字词汇的违禁评估因子与所述第一和值的比值作为各汉字词汇的前后分歧系数；所述字形紊乱系数的构建包括：计算汉字词汇中所有汉字的汉字字形拆解矩阵的F范数的方差，计算汉字词汇中任一汉字与其余各汉字的所述F范数的差值绝对值，计算汉字词汇中所有汉字的所有所述差值绝对值的均值，确定为字形无序度量值，将所述方差与所述字形无序度量值的乘积，确定为各汉字词汇的字形紊乱系数；所述分词词汇嵌入评估系数的构建包括：将汉字词汇中各汉字与前一个汉字的违禁词隐藏干扰系数的和值，确定为第一违禁干扰和值，统计汉字词汇中各汉字与前一个汉字间特殊字符的个数，将所述个数作为以自然常数为底数的指数函数的指数，将汉字词汇中所有汉字的所述指数函数的计算结果与所述第一违禁干扰和值的乘积的和值，确定为第二违禁干扰和值，各汉字词汇的分词词汇嵌入评估系数为各汉字词汇的前后分歧系数与所述第二违禁干扰和值的乘积；所述利用神经网络模型完成广告语料违禁词的处理，包括：将广告语料文本中各汉字词汇及对应的分词词汇嵌入评估系数作为神经网络模型的输入，输出为广告语料文本中各汉字词汇属于违禁词的可能性。

全文数据：

权利要求：

百度查询： 厦门众联世纪股份有限公司 一种广告语料违禁词处理方法及系统