Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜北京计算机技术及应用研究所刘琦获国家专利权

恭喜北京计算机技术及应用研究所刘琦获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜北京计算机技术及应用研究所申请的专利一种基于元学习扩散模型的限定域受限文本生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117521666B

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311451928.7,技术领域涉及:G06F40/30;该发明授权一种基于元学习扩散模型的限定域受限文本生成方法是由刘琦;柯文俊;贺垚;王又辰;宋颖毅;栾真;苗旭设计研发完成,并于2023-11-03向国家知识产权局提交的专利申请。

一种基于元学习扩散模型的限定域受限文本生成方法在说明书摘要公布了:本发明涉及一种基于元学习扩散模型的限定域受限文本生成方法,属于人工智能、大数据、自然语言处理领域。本发明通过关键词抽取和在原始句子中随机插入特定的占位符标记[EMP],构造大量训练样本;采用局部扩散的方式固定关键词,从而使扩散模型能够完成Hard‑CTG任务,并引入元学习策略对扩散模型训练过程进行优化;引入了另外一个特殊的标记[SLOT]用以指示MDM进行插入的位置,在逆扩散过程中,[SLOT]所标识的位置会逐步由标准高斯噪声转换为一个实际的单词或[EMP],从而得到包含关键词输入的生成文本。本发明使得扩散模型可在条件文本生成领域发挥其强大的生成优势。

本发明授权一种基于元学习扩散模型的限定域受限文本生成方法在权利要求书中公布了:1.一种基于元学习扩散模型的限定域受限文本生成方法,其特征在于,该方法包括如下步骤:步骤一、在训练数据构造阶段中,通过关键词抽取和在原始句子中随机插入特定的占位符标记[EMP],构造大量训练样本;步骤二、在模型训练阶段,采用局部扩散的方式固定关键词,从而使扩散模型能够完成Hard-CTG任务,并引入元学习策略对扩散模型训练过程进行优化;步骤三、最后在模型推理阶段,通过特殊的标记[SLOT]用以指示元学习扩散模型MetaDiffusionModel,MDM进行插入的位置,在逆扩散过程中,[SLOT]所标识的位置会逐步由标准高斯噪声转换为一个实际的单词或[EMP],从而得到包含关键词输入的生成文本;给定一组关键词C={c1,c2,...,cK},其中K代表关键词的个数;受限文本生成Hard-ConstrainedTextGeneration,Hard-CTG任务的目标是生成一个句子S={s1,s2...,sn},使S包含C中的所有关键词,其中n,n≥K表示生成的句子长度;其中,所述步骤一基于原始语料数据构造MDM的训练集所述步骤二包括:S21、基于关键词固定的扩散过程给定中任意一个训练样本其中表示句子的长度;首先需要将离散的单词映射到连续的向量空间;不断从标准高斯分布中采样噪声向量,应用前向加噪,采用一种局部扩散机制用于保留预设关键词,确保其不会在加噪过程中发生改变;应用反向去噪;在确定了前向加噪和反向去噪过程的分布之后,扩散模型将近似于噪声的隐状态逐步还原为原始的数据样本;S22、基于元学习的自适应去噪策略在训练阶段引入元学习策略,提出了一种自适应的去噪方法,对训练目标进行了优化,该方法通过交替更新元模型和扩散模型进行训练;S221、首先,在反向过程的每个时间步计算扩散模型损失;S222、然后,将当前损失输入到元模型中,并基于元学习加权损失更新元模型参数;S223、最后,在真实的训练集上使用训练后的元模型和自适应去噪损失更新扩散模型参数;所述步骤三包括:给定关键词硬约束C,MDM首先需要在输入关键词序列中随机插入一定数量的[SLOT]用来指示插入文本的位置;每一个[SLOT]会在反向过程开始,即t=T时被替换为标准高斯噪声,而输入关键词则保持固定不变;在随后的反向过程中,[SLOT]会逐渐趋向收敛,并在t=0时通过条件概率最大化映射到一个具体的有实际意义的单词,或者变成空占位符[EMP]。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京计算机技术及应用研究所,其通讯地址为:100854 北京市海淀区永定路51号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。