买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长沙理工大学

摘要：本发明专利开发了一种基于依存分析约束的提示学习模板自动生成方法，并利用Re‑TACRED和Fewrel1.0数据集对其进行了评估。首先，对输入数据进行预处理，以删除缺失和填充。本发明专利通过初步的处理，使用预训练语言模型使任务重新表述为填空问题，从而产生一个有效的模型。本发明专利设计了一种基于梯度搜索引导为各种任务创建提示的自动化方法，通过从语料中提取出来的依存分析，从其中找到常见的句式结构去约束，从而无需额外的参数或者微调。结果表明，本发明专利提出的方法可以从预训练的MLM中为各种任务获取知识，这些提示优于手动提示，同时需要较少的人力，解决了在大部分场景下需要更多标签的问题。

主权项：1.一种基于依存分析约束的提示学习模板自动生成方法，能更便捷高效得在自然语言处理的各种任务中得到准确度高的提示模板，所述方法包括：获取一段预先设置的多语言文本语料，对其进行解码后得到初始的数据。这个过程涉及到字符编码的转换，以及对文本中的特殊字符进行处理。对数据集进行预处理，在经过数据清洗后去除掉不必要的特殊字符、标点符号、停用词等。这样可以减少数据的噪音，提高模型的性能。然后需要对数据进行分词，将文本划分成单词或者词组。最后将分词后的文本转换成词向量，并且对标签进行编码。构建句法信息结构，具体而言就是从stanfordcore.nlp工具包获取输入句子的依存关系树，然后在依存关系树上构建图，并对任意两个词之间不同的标记xi和xj依存关系赋予不同的权重，我们使用类型矩阵T＝ti,jn×n来表示其实的依赖类型。其中ti,j是xi和xj之间的有向依赖关系相关联的依赖类型。构建相应对深度学习网络模型。首先，使用从AdjacencyMatrix中获取到的数据集中的几个变量的依存特征信息，然后将信息输入encoder层。并且同时由Transfomer层将邻接序列转换为一个注意力编码信息，将其反馈给encoder层计算出每个文本信息的权重。再通过MLM层对所有权重进行组合和计算，通过最后的decoder层得到所有情况的概率预测。选用概率最高的前K个trigger词当做模板，并与输入内容一共形成提示模板。该提示模板的作用是用来提高模型的能力，包括预测能力和理解能力。在相应关系抽取任务，比如关系抽取任务中，将生成的对应提示模板与原始结果做为对比，验证生成的提示模板对模型预测的准确度的提高。

全文数据：

权利要求：

百度查询： 长沙理工大学 基于依存分析约束的提示学习模板自动生成方法