买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明涉及一种基于多层次注意力和层次类别特征的小样本意图识别方法，属于自然语言处理和问答系统技术领域。第一，引入词级、短语级、语义角色级别的三层注意力机制，从词频、反文档频率、类内分布均匀度、类间分布均匀度共四个角度融合层次类别特征，计算混合特征因子，充分挖掘不同层次、不同粒度、不同角度的文本特征，能够有效提升小样本意图识别的准确率。第二，不同于对样本表示取均值生成类别表示的方法，本发明基于胶囊网络中动态路由的思想，学习样本表示和类别表示之间的非线性映射关系，提高从样本中归纳学习类别表示的能力。

主权项：1.基于多层次注意力和层次类别特征的小样本意图识别方法，其特征在于该方法的步骤包括：步骤1：构建支撑集和查询集；步骤2：获得步骤1中构建的支撑集和查询集中文本的句法短语标签序列，生成短语标签嵌入矩阵；步骤3：获得步骤1中构建的支撑集和查询集中文本的语义角色标签序列，生成语义角色标签嵌入矩阵；步骤4：生成支撑集和查询集中文本的词级别的语义特征向量；步骤5：生成支撑集和查询集中文本的短语级别的语义特征向量；步骤6：生成支撑集和查询集中文本的语义角色级别的语义特征向量；步骤7：生成支撑集和查询集中文本的混合语义特征向量即样本向量，生成查询问句的混合语义特征向量即查询向量；步骤8：将支撑集中样本的混合语义特征向量映射为意图类别表示；首先，将支撑集中的样本向量sju输入到胶囊网络之后，使用转换权重Ws对其进行维度变换： 其中，样本向量sju为意图类别j支撑集中的第u个样本向量；对于该支撑集里的所有样本向量，转换权重Ws是共享的；转换权重Ws会在训练中不断更新；加权求和得到类别j的预测类向量 其中，dju称为耦合系数；其次，使用挤压Squash函数来代替激活函数： 其中，x是任一变量；然后，通过非线性挤压函数，可以将预测意图类向量缩放到0～1之间得到意图类向量cj： 计算意图类向量cj与各个样本的内积；最后，更新耦合系数Couplingcoefficientdju， dju＝softmaxbju,17步骤9：基于点积相似度方法计算查询问句和意图类别表示的相似度；计算从步骤7中获得的查询向量q与从步骤8中获得的各个意图类别表示cj的相似度：score1＝SIMq,cj,18其中，SIM·表示采用点积计算相似度；步骤10：获取词语的层次类别特征；对于数据集中的标注数据，设共有H个意图类别；首先去除掉停用词，统计其词汇总数M，并给每个特征词t编号，转换成特征词词典DW；对于词典DW中的每一个特征词a，计算其混合特征因子θ，并构建混合特征因子字典计算特征词词频、反文档频率、类别频率因子、类内分布均匀因子，相乘后获得所有特征词的混合特征因子，并构建混合特征因子字典；首先，特征词词频的计算方法如公式19所示： 其中，fa,cj表示在类别cji＝1,2,3,...,H，H为意图类别数量中特征词a出现的次数；fcj表示在类别cj中所有的词条总数；其次，反文档频率的计算方法如公式20所示： 其中，N1表示训练集中样本总数，N2表示所有意图类别中包含特征词t的样本数；然后，类别频率因子β的计算方法如公式21所示： 其中，Na,cj表示在类别cj中包含特征词a的样本数，Ncj表示类别cj中包含的样本总数，Na,co表示在除了类别cj之外的其他类别样本集中，包含特征词a的样本数；最后，类内分布均匀因子γ的计算方法如公式22所示： 其中，fa,cjm表示在类别cj中第m个样本中特征词a的词频，为类别cj中样本总数，表示在类别ci中特征词α的平均词频，ε是一个较小的常数；混合特征因子的计算方法如公式23所示：θ＝TF*IDF*β*γ,23步骤11：计算基于层次类别特征的查询问句和意图类别的相似度；对于类别cj中的所有支撑集样本，根据混合特征因子字典构建样本的混合特征因子序列，取均值后作为该类别的表示对于待分类的查询问句，计算其混合特征因子序列qθ，与各个类别表示计算相似度： 其中，SIM·表示采用点积计算相似度；步骤12：生成查询问句所属意图类别的概率分布融合步骤9中的相似度分数和步骤12中的相似度分数，经过softmax函数后，获得一个查询问句属于每个类别的最终概率分布；对于意图待分类的查询问句，在步骤9中获得相似度分数score1，在步骤12中获得相似度分数score2；融合两个相似度分数，获得查询问句与各个类别的意图最终相似度分数score：score＝score1+λscore2,25其中，λ为平衡因子；经过softmax函数后，得到该查询问句属于每个类别的概率分布fE：fE＝softmaxscore26。

全文数据：

权利要求：

百度查询： 北京理工大学 基于多层次注意力和层次类别特征的小样本意图识别方法