龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开了一种基于哈希码的大模型键值型知识学习方法，旨在提高预训练大语言模型在键值式问答上的准确率；该方法包括：在原始的键值问答训练集中，基于键通过特定算法计算生成每个键值对所对应的哈希码；将哈希码加入训练集中对应的每条键值对的键与值之前，用加入哈希码后的改进数据集对模型进行全量微调；推理时，用同样的算法在需要作为输入的键上进行哈希码的计算复原，拼接于键前，输入模型，获得推理解码结果。本发明通过在数据集中引入基于键计算得出的哈希码，缓解了目前大模型有监督微调在键值问答上的准确率随数据集规模增大而下降的问题，提出了更普适于大模型在键值式问答任务上的微调算法，在多个相关数据集上的微调效果均获得了显著提升。
主权项：1.一种基于哈希码的大模型键值型知识学习方法，其特征在于，包括以下步骤：在原始的键值式问答训练集中，通过加密算法生成每个键值对所对应的哈希码；将每个键值对所对应的哈希码加入原始的键值式问答训练集中对应的每条键值对的键与值之前，得到优化之后的键值式问答训练集；接着用优化之后的键值式问答训练集对模型进行全量微调；在训练好的模型上进行推理，采用相同的加密算法在需要作为输入的键上进行哈希码的计算复原，拼接于键前作为提示词输入模型，模型按照解码策略进行解码并输出结果。
全文数据：
权利要求：
百度查询： 南京航空航天大学 一种基于哈希码的大模型键值型知识学习方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号