深圳海云安网络安全技术有限公司谢朝海获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳海云安网络安全技术有限公司申请的专利一种用于大语言模型的编码动态补全方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120085873B 。
龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510564227.7,技术领域涉及:G06F8/41;该发明授权一种用于大语言模型的编码动态补全方法是由谢朝海;齐大伟;谢琪;彭波;雷德诚设计研发完成,并于2025-04-30向国家知识产权局提交的专利申请。
本一种用于大语言模型的编码动态补全方法在说明书摘要公布了:本发明提出一种用于大语言模型的编码动态补全方法,该方法包括:构建混合训练数据集;初始化融合概率空间拓扑变换的Transformer模型架构;基于混合训练数据集,执行主目标与辅目标协同优化的模型训练;在解码每一步,模型根据当前上下文计算下一个token的概率分布;通过球面概率映射将生成的概率分布约束在有效概率子空间内,结合禁忌表机制,实时过滤语法错误候选并调整概率分布;根据当前解码深度动态选择采样策略,从调整后的概率分布中采样得到下一个代码片段,最终生成符合抽象语法树规则和语义约束的代码补全建议。本发明结合概率分布约束和禁忌表机制,模型能够动态调整生成的概率分布,使更合适的候选token获得更高的概率,从而提高代码补全的准确性。
本发明授权一种用于大语言模型的编码动态补全方法在权利要求书中公布了:1.一种用于大语言模型的编码动态补全方法,其特征在于,所述方法包括: 构建混合训练数据集,包含多语言代码片段、语法约束标注及领域预训练语料; 初始化融合概率空间拓扑变换的Transformer模型架构,定义超球体维度及动态有效区域参数; 基于混合训练数据集,执行主目标与辅目标协同优化的模型训练,其中,主目标为代码补全准确率,辅目标包含语法树有效性预测和语义约束满足度判别; 在解码每一步,模型根据当前上下文计算下一个token的概率分布; 在模型解码阶段,通过球面概率映射将生成的概率分布约束在有效概率子空间内,结合禁忌表机制,实时过滤语法错误候选并调整概率分布; 根据当前解码深度动态选择采样策略,基于所选的采样策略,从调整后的概率分布中采样得到下一个代码片段,最终生成符合抽象语法树规则和语义约束的代码补全建议; 其中,所述初始化融合概率空间拓扑变换的Transformer模型架构的步骤包括: 在标准Transformer架构中插入概率空间变换模块; 定义超球体概率空间参数; 设置动态有效区域参数并通过球面映射函数约束生成概率分布; 初始化模型参数时加载领域预训练权重; 所述在解码每一步,模型根据当前已生成代码序列计算下一个token的概率分布的步骤包括: 将当前已生成代码序列转换为嵌入向量; 通过掩码自注意力机制,捕捉当前已生成代码序列内部依赖关系; 将自注意力层的输出作为查询,编码器的输出作为键和值; 整合编码器的输出和当前已生成代码序列信息,对整合后的信息进行非线性变换,生成最终输出表示; 通过线性层将最终输出表示映射到词汇表大小的空间; 使用Softmax函数生成输出序列中每个候选token作为下一个token的预测概率分布,将输出序列中所有候选token的集合作为候选序列; 所述通过球面概率映射将生成的概率分布约束在有效概率子空间内,结合禁忌表机制,实时过滤语法错误候选并调整概率分布的步骤包括: 将生成的概率分布映射到单位球面,通过八面体参数化实现概率分布的均匀约束; 创建禁忌表,用于记录历史解码过程中产生的错误模式及其概率特征; 在解码每一步,根据当前候选序列查询禁忌表,过滤已知错误模式,其中,候选序列为模型为下一个token位生成的所有可能的token组成的序列; 对过滤后的候选序列重新计算球面概率,以提升有效候选token的生成概率; 根据解码进度动态调整球面映射参数和禁忌表更新策略。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳海云安网络安全技术有限公司,其通讯地址为:518000 广东省深圳市福田区梅林街道孖岭社区凯丰路10号翠林大厦15层1501—1504室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。