买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
摘要:本发明公开了一种大语言模型的优化方法、装置、电子设备及存储介质,涉及人工智能技术领域,所述大语言模型的优化方法具体包括以下步骤:S10,结合原LLM模型和大模型SFT数据集生成训练数据集;S20,在原LLM模型的主干网络中嵌入旁支网络,以获得新LLM模型,并在旁支网络的输入端输入掩码词元序列;S30,在训练数据集上采用损失函数对新LLM模型进行训练,训练完成后,LLM模型能够在一次推理中预测多个候选词元序列;S40,并行执行候选词元序列的生成和候选词元序列正确性的验证。本发明的有益效果:既节约了资源消耗和时间,又增强了LLM模型的解码能力,还保证了LLM模型输出结果的质量。
主权项:1.一种大语言模型的优化方法,其特征在于,所述大语言模型的优化方法具体包括以下步骤:S10,结合原LLM模型和大模型SFT数据集生成训练数据集,其中,大模型SFT数据集是一种经过监督微调的训练数据集;S20,在原LLM模型的主干网络中嵌入旁支网络,以获得新LLM模型,并在旁支网络的输入端输入掩码词元序列;S30,在训练数据集上采用损失函数对新LLM模型进行训练,训练完成后,LLM模型能够在一次推理中预测多个候选词元序列;S40,并行执行候选词元序列的生成和候选词元序列正确性的验证。
全文数据:
权利要求:
百度查询: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 大语言模型的优化方法、装置、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。