买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明涉及自然语言理解技术领域，公开了一种基于大语言模型的特征自适应的自然语言理解方法；将特定任务下的测试样本输入到完成训练的自然语言理解模型，输出测试样本的标签；模型的训练过程包括：将任务示例样本通过特定任务的模板组成提示前缀，将每个被模板包装的有标签样本加上相同的提示前缀后输入大语言模型中：对剩余样本集中的每个有标签样本提取通用特征，并与对应的标签进行配对，进而作为监督信号来训练调制器；带有若干任务示例的大语言模型可以充分调用其在预训练过程中学习到的知识得到蕴含丰富语义信息的通用特征，进而通过额外引入的训练好的轻量级调制器完成特定任务上的任务提炼及标签预测。

主权项：1.一种基于大语言模型的特征自适应的自然语言理解方法，其特征在于，采用自然语言理解模型获得特定任务下的测试样本的标签，具体包括以下步骤：步骤一，构建特定任务下的训练集，训练集中包含多个训练样本和对应的标签，从训练集中随机选择个训练样本组成任务示例集，分别为中的第个任务示例样本和对应的标签，训练集剔除任务示例集后剩余的个训练样本组成剩余样本集，分别为中的第个有标签样本和对应的标签；步骤二，特征提取：将中的各个任务示例样本通过特定任务的模板组成提示前缀，将每个被模板包装的有标签样本加上相同的提示前缀后输入大语言模型中： ；其中，表示大语言模型的前向传播，大语言模型中最后一层的最后一个隐藏状态被作为通用特征；表示模板包装的不包含对应标签的有标签样本，形式上是一个字符串，为占位符，表示在给定的条件下，将作为输入；步骤三，特定任务的调制器：对剩余样本集中的每个有标签样本提取通用特征后，与对应的标签进行配对，进而作为监督信号来训练特定任务的调制器： ；其中，表示调制器的参数，表示调制器的损失函数取得最小值时的的取值，表示剩余样本集中的元素个数，；步骤四，在推理过程中，经过训练的自然语言理解模型的调制器能够从通用特征中提炼特定任务的特征并映射到标签空间：；为测试样本经过大语言模型后得到的通用特征；表示给定条件下，可能的标签为y的概率，表示可能的标签；最大的对应的y，即为测试样本最终的标签；所述特定任务为情感分类任务；所述测试样本和训练样本均为情感文本；所述标签为情感文本的情感类别；或者，所述特定任务为主观性判别任务；所述测试样本和训练样本均为评价文本；所述标签为评价文本的主观性判别类型。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于大语言模型的特征自适应的自然语言理解方法