买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本申请公开了一种基于微调的阅读领域大模型优化方法及伴读文稿生成方法，方法包括：获取伴读文稿的文稿生成需求和本地语料库，文稿生成需求用于表征生成伴读文稿的要求，本地语料库是基于少儿语言领域的伴读文本数据进行构建的；根据文稿生成需求，从大语言模型中确定待微调参数，待微调参数为大语言模型中适用于文稿生成需求的部分参数；根据本地语料库中的训练语料和待微调参数，微调并优化大语言模型，得到预先训练的伴读文稿生成模型。因此，采用本申请实施例，可以使得生成的伴读文稿能够准确捕捉少儿语境的需求，同时在处理复杂语法结构和文学修饰时不会出现误解，从而保证了生成风格一致的文稿内容。

主权项：1.一种基于微调的阅读领域大模型优化方法，其特征在于，所述方法包括：获取伴读文稿的文稿生成需求和本地语料库，所述文稿生成需求用于表征生成伴读文稿的要求，所述本地语料库是基于少儿语言领域的伴读文本数据进行构建的；根据所述文稿生成需求，从大语言模型中确定待微调参数，所述待微调参数为所述大语言模型中适用于所述文稿生成需求的部分参数；根据所述本地语料库中的训练语料和所述待微调参数，微调并优化所述大语言模型，得到预先训练的伴读文稿生成模型；其中，所述根据所述本地语料库中的训练语料和所述待微调参数，微调并优化所述大语言模型，包括：预处理所述本地语料库中的训练语料，得到训练数据集和测试数据集；对所述待微调参数进行矩阵低秩分解，得到分解后的第一参数矩阵和第二参数矩阵，所述第一参数矩阵包含与所述大语言模型中原始权重矩阵的列相关的变换参数，所述第二参数矩阵包含与所述大语言模型中原始权重矩阵的行相关的变换参数；根据所述训练数据集、所述第一参数矩阵和第二参数矩阵，对所述大语言模型进行微调；根据所述测试数据集，对微调后的大语言模型进行优化；其中， ，为所述原始权重矩阵，为一个大小为的矩阵，表示矩阵的行数，表示矩阵的列数，为低秩分解中的秩，用于控制近似的精度和参数的数量，为所述第一参数矩阵，为所述第二参数矩阵；其中，所述根据所述训练数据集、所述第一参数矩阵和第二参数矩阵，对所述大语言模型进行微调，包括：根据第一训练数据、所述第一参数矩阵和第二参数矩阵，计算模型的前向传播结果，所述第一训练数据为所述训练数据集中每个训练数据；根据所述前向传播结果以及预设损失函数，计算所述大语言模型的模型损失值，所述预设损失函数是将所述大语言模型的原始损失函数中模型参数冻结并替换为所述第一参数矩阵和第二参数矩阵得到的；在所述模型损失值到达最小的情况下，得到微调后的大语言模型；其中，所述前向传播结果的计算公式为： 其中，为前向传播结果，为第一训练数据，为矩阵低秩分解的结果；所述预设损失函数为： 其中，是在时间步的前向传播结果，是原始权重矩阵，是偏置项，为激活函数，为时间步的第一训练数据，为待微调参数，为优化目标是最大化参数集合的损失值，为第一训练数据，为训练数据的标签，为训练数据集，表示输出序列的长度，为对数概率，为大语言模型的原始参数，为低秩更新参数，是时间步的标签。

全文数据：

权利要求：

百度查询： 北京奇趣万物科技有限公司 基于微调的阅读领域大模型优化方法及伴读文稿生成方法