买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东科技大学

摘要：本发明属于数据处理技术领域，公开了一种应用于智慧教育的提示学习知识追踪方法及系统。该方法基于BERT的框架设计适用于学生练习序列语义理解的预训练任务，得到学生学习行为的丰富语义表示；设计可用的提示模板，将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述；在预训练模型的基础上进行提示调优，执行相同的掩码任务，在小样本数据量的场景下，实现知识追踪。该发明的预期应该满足在小样本场景中实现媲美甚至超越传统微调方案的模型性能表现，同时大大减少训练样本和模型参数的投入。

主权项：1.一种应用于智慧教育的提示学习知识追踪方法，其特征在于，该方法包括：S1，基于BERT的框架设计适用于学生练习序列语义理解的预训练任务，得到学生学习行为的丰富语义表示；S2，设计提示模板，将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述；S3，在预训练模型的基础上进行提示调优，执行相同的掩码任务，在小样本数据量的场景下，实现知识追踪；在步骤S2中，设计提示模板，将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述，包括：首先，引入伪词元，不使用具体意义的词元表示模板，用抽象的虚拟词元；构造能够引导模型完成下游任务的输入形式；随后，这些伪词元被新的编码器编码，完成与原始输入的融合；最后，融合后的提示编码被输入到预训练好的LKM中，得到相应的输出；在步骤S2中，设计提示模板还包括：针对用于自然语义表述的硬提示模板，构造提示序列，表述为一个映射ph，表达式为： 式中，为对学生的学习序列使用硬模板构造提示序列的过程，[CLS]为序列整体的语义表示，为学生的学习序列，eT为该学生在未来T时刻要做的练习，[MASK]为掩码词元；为避免编码不一致，直接用于知识追踪任务引入伪词元，得到伪序列： 式中，为伪词元构成的伪序列，pt1为第1个伪词元，pt2为第2个伪词元，ptl为第l个伪词元；每个位置ptj表示第j个词元，提示序列重新用映射ps表述为： 得到由知识引导的提示序列： 式中，为对学生的学习序列使用软模板构造提示序列的过程；针对练习词元设计用于辅助模型训练；对待预测练习词元进行掩码，而不对回答词元掩码；得到辅助提示序列表示为： 式中，ceT为练习eT所涉及到的知识概念，rT为练习eT的回答标签；在步骤S3中，在预训练模型的基础上进行提示调优，包括：首先，引入提示编码器PE模型对提示序列进行编码；提示编码器PE模型由4层TransformerEncoder构建而成；首先为每个伪词元pti构造初始嵌入表示ptj，然后输送到PE模型，得到其隐藏层输出hj，作为该词元的特征表示；对于原始学生序列，则使用预训练后的LKM中的嵌入层按照之前的方法获取对应的复合嵌入表示；对于提示模板中的关键词元，包括eT，ceT，rT，得到相应的嵌入表示et，ct，rt，之后，按照与目前NLP任务中类似的提示输入构建方法，将以上嵌入拼接，得到最终的提示输入表示：ps＝[xcls，x1…xT-1，eT，cT，xmask，h1…hl]式中，ps为提示序列对应的嵌入表示，xcls为[CLS]词元的嵌入表示，x1为学生在第1时刻的交互嵌入，xT-1为学生在第T-1时刻的交互嵌入，eT为练习eT的嵌入表示，cT为ceT的嵌入表示，xmask为[MASK]词元的嵌入表示，h1为伪词元pt1的嵌入表示，hl为伪词元ptl的嵌入表示；将以上嵌入表示输入到预训练后的LKM隐藏层，并得到最后的隐藏层输出；与预训练阶段掩码任务RTM相同，分别取出标识练习位和回答位的[MASK]表示，计算交叉熵损失函数，完成多提示模型调优。

全文数据：

权利要求：

百度查询： 山东科技大学 一种应用于智慧教育的提示学习知识追踪方法及系统