买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学;北京理工大学前沿技术研究院

摘要：本发明公开的一种面向多边缘设备的Transformer模型协同推理方法，属于边缘计算领域。本发明实现方法为：将原数据集划分为多个标签类别数相等的子数据集，根据边缘设备计算性能和资源，切分原始模型为多个仅保留重要结构的子模型，通过子任务蒸馏方法帮助子模型学习原始模型特征，采用模型集成方法聚合所有子模型，提升集成模型的整体性能；将训练好的集成模型中的子模型，分别部署到对应边缘设备上。当边缘设备接收的推理任务请求时，所有边缘设备并行执行子模型的推理，中心节点使用特征融合模块融合所有中间结果得到最终推理结果，实现多边缘设备的模型协同推理，提高边缘设备执行推理任务的推理速度，降低边缘设备执行推理任务的推理能耗。

主权项：1.一种面向多边缘设备的Transformer模型协同推理方法，其特征在于：包括以下步骤，步骤一：根据边缘设备数量，原数据集随机划分为多个标签类别数相等的子数据集；步骤二：根据边缘设备计算性能和资源，切分原始Transformer模型为多个子模型，并只保留原始Transformer模型中最重要的结构，得到多个仅保留重要结构的Transformer子模型；步骤三：使用子数据集分别训练原始Transformer模型，Transformer子模型通过子任务蒸馏方法学习原始Transformer模型中关于子数据集的语义特征，以提升Transformer子模型对子任务的预测精度，即通过子任务蒸馏方法得到训练好的Transformer子模型；步骤四：使用特征融合模块聚合多个Transformer子模型得到集成模型，并用在原数据集上预训练原始Transformer模型，得到预训练好的原始Transformer模型；将预训练好的原始Transformer模型作为监督，采用集成蒸馏方法训练集成模型，使集成模型学习原始Transformer模型中丰富的语义信息，提升集成模型对原数据集样本的预测精度；步骤五：将步骤四训练好的集成模型中的Transformer子模型，分别部署到对应的边缘设备上，并选择任一边缘设备作为中心节点，将特征融合模块部署到中心节点；当边缘设备接收的推理任务请求时，所有边缘设备并行执行Transformer子模型的推理，每个边缘设备推理的中间结果通过网络传输给中心节点，中心节点使用特征融合模块融合所有中间结果得到最终推理结果，实现多边缘设备的Transformer模型协同推理，提高边缘设备执行推理任务的推理速度，降低边缘设备执行推理任务的推理能耗。

全文数据：

权利要求：

百度查询： 北京理工大学 北京理工大学前沿技术研究院 一种面向多边缘设备的Transformer模型协同推理方法