买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉菲谱光电技术有限公司

摘要：本发明公开了一种基于大语言模型的学情报告生成方法及系统。采集教育资料和学情数据；将教育资料训练进AdaLoRA旁支中，得到AdaLoRA旁支网络权重；基于学情数据进行HydraLoRA微调，得到HydraLoRA旁支网络权重；将旁支网络参数权重与大语言模型的原始参数叠加，得到微调完成的大语言模型。通过大语言模型输出得到学情报告。AdaLoRA通过SVD奇异矩阵的正交性和奇异向量的绝对值和特征重要性的相关性设计剪枝策略，保证了模型微调出的效果；HydraLoRA通过融合多个专家的策略，通过类似集成学习的方法减少模型可能的幻觉问题。本发明采集教育资料和学生学情数据并基于机器学习算法得到不同学生的学情报告，解决了耗时耗力、主观性强、覆盖面有限、更新不及时、个性化和针对性不足的技术问题。

主权项：1.一种基于大语言模型的学情报告生成方法，其特征在于，包括：采集教育资料和学生学情数据；基于所述教育资料构造输入输出对；其中，输入是所述教育资料，输出是包含了下一令牌的移位文本数据，得到教育资料模型微调训练集；保持大语言模型的原始参数不变，建立AdaLoRA旁支网络，基于所述教育资料模型微调训练集对所述AdaLoRA旁支网络进行AdaLoRA微调，得到AdaLoRA旁支网络权重；基于所述学生学情数据构建对齐微调训练集；所述对齐微调训练集中包括：指令、输入及输出；其中，所述指令为学情报告各部分的内容指令，输入为所述学生学情数据，所述输出为学情报告各部分的内容；保持所述大语言模型的原始参数不变，建立HydraLoRA旁支网络，基于所述对齐微调训练集对所述HydraLoRA旁支网络进行HydraLoRA微调，得到HydraLoRA旁支网络权重；通过公式得到所述大语言模型的最终参数，继而得到训练完成的大语言模型；将采集得到的教育资料和学生学情数据输入到所述训练完成的大语言模型中，输出得到学情报告；所述基于所述教育资料模型微调训练集对所述AdaLoRA旁支网络进行AdaLoRA微调，得到AdaLoRA旁支网络权重，包括：将对角矩阵设置为矩阵，然后基于所述教育资料模型微调训练集，利用梯度下降更新权重的左奇异值向量和右奇异值向量；接着固定所述和，重新计算对角矩阵的梯度，利用AdaLoRA微调的剪枝策略，得到对角矩阵的更新，不断训练直至收敛或者达到预设的训练轮次，得到训练完成的权重；所述保持所述大语言模型的原始参数不变，建立HydraLoRA旁支网络，基于所述对齐微调训练集对所述HydraLoRA旁支网络进行HydraLoRA微调，得到HydraLoRA旁支网络权重，包括：构建N个专家的线性加权和和随机的高斯矩阵A；其中，为MoE结构中的第个专家，为第个专家的权重，，其中，表示为一个可训练的线性网络层，为输入的特征向量；从所述对齐微调训练集中随机采样训练数据，基于目标损失函数的梯度下降，基于当前时刻的参数得到下一时刻的参数，迭代直至参数收敛或者达到迭代总步数，此时，，；通过公式得到微调训练后的路由权重，此时整个指令对齐旁支网络的权重函数为。

全文数据：

权利要求：

百度查询： 武汉菲谱光电技术有限公司 一种基于大语言模型的学情报告生成方法及系统