人民中科(北京)智能技术有限公司李艳鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉人民中科(北京)智能技术有限公司申请的专利一种基于策略梯度优化的文本嵌入联合训练方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120806065B 。
龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510909973.5,技术领域涉及:G06N3/098;该发明授权一种基于策略梯度优化的文本嵌入联合训练方法是由李艳鹏;娄金铭;张朝;王帅设计研发完成,并于2025-07-02向国家知识产权局提交的专利申请。
本一种基于策略梯度优化的文本嵌入联合训练方法在说明书摘要公布了:本发明公开了一种基于策略梯度优化的文本嵌入联合训练方法,包括:1非对称编码器‑解码器架构;2动态奖励对齐机制;3基于策略梯度的优化机制;本方法的训练流程如下:1.初始化策略模型πθ;和参考模型πref;2.在一个批次中,对于每个文本对,从当前策略模型中采样一组输出{o1,o2,...,oG},其中G是组的大小,组的大小G为8;3.根据从解码器采样的输出进行解析并计算奖励;4对组内奖励进行归一化处理,使用归一化后的奖励计算优势函数;5通过最大化目标函数更新策略模型;6在训练过程中交叉迭代编码器和解码器。
本发明授权一种基于策略梯度优化的文本嵌入联合训练方法在权利要求书中公布了:1.一种基于策略梯度优化的文本嵌入联合训练方法,其特征在于,包括: 1非对称编码器-解码器架构;非对称编码器-解码器架构包括编码器和解码器,其中编码器的操作步骤为输入文本通过词嵌入矩和位置编码生成数字化的序列; 解码器的操作步骤为输入指令通过词嵌入矩阵和位置编码生成数字化序列; 2动态奖励对齐机制,所述动态奖励对齐机制包括生成两个子任务,解码器根据指令来完成这两个子任务; 3策略梯度的优化的训练流程如下: 1.初始化策略模型πθ;和参考模型πref; 2.在一个批次中,对于每个文本对,从当前策略模型中采样一组输出{o1,o2,...,oG},其中G是组的大小; 3.根据从解码器采样的输出进行解析并计算奖励 [r1,r2,...,rG],具体如下,包括: 指令遵循奖励:输出结果中含有build、build、score、score,每命中一个,奖励0.25分; 文本重构奖励:解析build与build标签中的内容,具体可采用BLEU评估方法: 相似程度奖励:解析score与score标签中的内容,根据编码器的池化输出向量,计算两者的偏差作为奖励; 所以总的奖励记为: reward=rewardprompt+rewardrebuild+rewardsimilarity; 4对组内奖励进行归一化处理,使用归一化后的奖励计算优势函数,优势函数如下: 5通过最大化目标函数更新策略模型,目标函数如下: 6在训练过程中交叉迭代编码器和解码器,模型训练完毕后,保存编码器作为最终的文本嵌入模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人人民中科(北京)智能技术有限公司,其通讯地址为:100086 北京市海淀区知春路68号领航科技大厦1401;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励