买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜鹏城实验室申请的专利基于在线结构剪枝的文本推理方法以及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119647605B 。

龙图腾网通过国家知识产权局官网在2025-06-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510180806.1，技术领域涉及：G06N5/04；该发明授权基于在线结构剪枝的文本推理方法以及相关设备是由吴泽斌;田永鸿设计研发完成，并于2025-02-19向国家知识产权局提交的专利申请。

本基于在线结构剪枝的文本推理方法以及相关设备在说明书摘要公布了：本申请提供了一种基于在线结构剪枝的文本推理方法以及相关设备，方法包括：在接收到文本推理任务时，获取未进行剪枝的文本推理模型，以及获取文本推理模型中多个解码层基于目标结构化剪枝算法进行剪枝时生成的掩模信息和算法参数信息；针对文本推理模型中的每个解码层，分别根据对应的掩模信息对解码层进行权重掩模处理，以及根据对应的算法参数信息对解码层进行输出补偿处理，得到目标剪枝模型；通过目标剪枝模型执行文本推理任务，得到文本推理结果，其中，本申请可以在推理时基于掩模信息和算法参数信息在线生成结构化剪枝的目标剪枝模型，无需保存结构化剪枝后的模型，能够有效降低文本推理方法的存储开销。

本发明授权基于在线结构剪枝的文本推理方法以及相关设备在权利要求书中公布了：1.一种基于在线结构剪枝的文本推理方法，其特征在于，包括：在接收到文本推理任务时，获取未进行剪枝的文本推理模型，以及获取所述文本推理模型中多个解码层基于目标结构化剪枝算法进行剪枝时生成的掩模信息和算法参数信息；针对所述文本推理模型中的每个所述解码层，分别根据对应的所述掩模信息对所述解码层进行权重掩模处理，以及根据对应的所述算法参数信息对所述解码层进行输出补偿处理，得到目标剪枝模型；通过所述目标剪枝模型执行所述文本推理任务，得到文本推理结果；其中，所述目标结构化剪枝算法为基于波动的自适应剪枝算法，所述解码层均包括注意力模块和多层感知机模块，所述掩模信息包括所述注意力模块的第一掩模矩阵和所述多层感知机模块的第二掩模矩阵，所述算法参数信息包括所述注意力模块的第一输入均值和所述多层感知机模块的第二输入均值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。