买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华南理工大学申请的专利预训练模型的推理加速方法、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115203407B 。

龙图腾网通过国家知识产权局官网在2025-06-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210719806.0，技术领域涉及：G06F16/35；该发明授权预训练模型的推理加速方法、设备及介质是由何克晶;梅宇聪设计研发完成，并于2022-06-23向国家知识产权局提交的专利申请。

本预训练模型的推理加速方法、设备及介质在说明书摘要公布了：本发明公开了一种预训练模型的推理加速方法，包括以下步骤：S1：在预训练模型的每个中间层之后分别添加一个分类器；S2：根据推理任务将训练集输入预训练模型，通过训练集对预训练模型进行微调训练，获取经训练后的预训练模型；S3：将样本输入预训练模型进行推理，根据设定的信心阈值和耐心值，利用早期退出策略确定是否提前退出推理。本发明通过早期退出的设计，在推理时样例不用经过预训练模型所有的中间层，而是在信心足够的中间层提前退出，从而在保证准确率的情况下达到加速推理的目的；本发明可以通过调整耐心超参数和置信度阈值来动态调整准确性和效率，能够灵活的调整加速率来满足用户对模型推理加速的需求，以适应不同的设备和资源约束。

本发明授权预训练模型的推理加速方法、设备及介质在权利要求书中公布了：1.一种预训练模型的推理加速方法，其特征在于，包括以下步骤：S1：在预训练模型的每个中间层之后分别添加一个分类器，采用自然语言推断任务相关数据集，进行自然语言推理任务；S2：根据推理任务将对应训练集输入预训练模型，通过训练集对预训练模型进行微调训练，获取训练后的预训练模型；S3：基于问题段落对组成的问答数据集，通过将问题和上下文中的每一句话进行组合，过滤词汇重叠低的句子对，得到问答数据集的句子对样本，将样本输入预训练模型进行推理，根据设定的信心阈值和耐心值，利用早期退出策略确定是否提前退出推理；步骤S3中，利用早期退出策略确定是否提前退出推理，具体为：根据用户需求，设定信心阈值和耐心值；样本分别经过中间层和分类器，分类器输出预测标签的分布概率，将预测标签的分布概率的最大值设置为当前中间层的信心分数；若信心分数高于设定的信心阈值，当前中间层的耐心值加1；若信心分数低于设定的信心阈值，当前中间层的耐心值归零；当中间层的耐心值达到设定的耐心值时，在当前中间层提前退出推理，以当前中间层的预测值作为预测结果；若始终没有达到设定的耐心值，以最后一层中间层的预测值作为预测结果；分类器输出的预测标签的分布概率根据当前中间层的隐藏状态计算，隐藏状态的计算公式为：hi＝Lihi-1h0＝Embeddingx式中，x为样本，hi为第i层中间层的隐藏状态，hi-1为第i-1层中间层的隐藏状态，h0为初始嵌入向量；预测标签的分布概率的计算公式为：pn＝Classifiernhn式中，pn为第n个分类器输出的标签分布概率，hn为第n层中间层的隐藏状态；中间层的耐心值的计算公式为： 式中，pn为第n个分类器输出的预测标签的分布概率，cnti为第i层中间层的耐心值，cnti-1为第i-1层中间层的耐心值，τ为设定的信心阈值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。