龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国电子科技集团公司第三十研究所
摘要：本发明涉及文本分析技术领域，提供一种基于高效微调开源大语言模型的文本立场检测方法，包括如下步骤：步骤1，通过提示词工程构建提示词句；步骤2，构建并训练得到微调开源大语言模型；步骤3，将提示词句输入微调开源大语言模型进行文本立场检测。本发明提升了模型在专业领域中的立场检测精度和稳定性。优化了模型的训练过程，显著降低了基于预训练开源大语言模型的立场检测方法在特定专业领域应用时对计算资源的依赖，提高了效率和成本效益，使得基于大语言模型的立场检测方法在专业领域的部署变得更加广泛和实际可行。
主权项：1.一种基于高效微调开源大语言模型的文本立场检测方法，其特征在于，包括如下步骤：步骤1，通过提示词工程构建提示词句；步骤2，构建并训练得到微调开源大语言模型；步骤3，将提示词句输入微调开源大语言模型进行文本立场检测；步骤2包括如下子步骤：步骤2.1，模型初始化，包括：选择开源大语言模型，并识别注意力模块中的可训练层；冻结除可训练层之外所有层的参数，得到参数冻结模型；在参数冻结模型的可训练层添加LoRA适配层，并对LoRA适配层中的两个低秩分解矩阵进行初始化处理，得到适配层初始化模型；步骤2.2，微调文本预处理，包括：将专业领域微调文本集T输入文本预处理模块，经过数据格式转换处理，得到支持LoRA微调的json数据集D；将json数据集D输入文本划分模块，经过划分数据集处理，得到n个批次的数据集，每个批次数据集包含H个批次输入数据和批次对应标签；步骤2.3，LoRA微调，包括：将数据集中批次输入数据循环输入适配层初始化模型与LoRA微调模块构成的LoRA高效微调开源大语言模块，经过前向网络传播，得到批次预测数据；将批次预测数据和批次对应标签输入多分类交叉熵损失计算模块，经过损失函数计算，得到损失函数值；将损失函数值和优化器输入反向传播和梯度更新模块，经过计算梯度和反向传播更新LoRA适配层中的两个低秩分解矩阵，循环迭代n次后得到微调开源大语言模型。
全文数据：
权利要求：
百度查询： 中国电子科技集团公司第三十研究所 一种基于高效微调开源大语言模型的文本立场检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号