买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广州大学申请的专利基于模型预测的加速AI大模型分布式训练方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117273120B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311119841.X，技术领域涉及：G06N3/098；该发明授权基于模型预测的加速AI大模型分布式训练方法及装置是由刘外喜;陈庆春;罗桂华;蔡君;任晓军;范立生;谭淼泉设计研发完成，并于2023-09-01向国家知识产权局提交的专利申请。

本基于模型预测的加速AI大模型分布式训练方法及装置在说明书摘要公布了：本发明公开一种基于模型预测的加速AI大模型分布式训练的方法及装置，方法包括，构建分层参数数据集；利用基于预测结果的评估方法，训练用于预测目标模型的模型参数的预测模型；计算节点更新目标模型的前面一些层的模型参数，然后将它们推送给参数服务器；在参数服务器，对所接收到的模型参数进行聚合，通过预测模型预测得到目标模型的剩余其他层的模型参数；预测出来和聚合后的模型参数被拼接成一个完整模型参数，并被推送给所有计算节点；计算节点使用接收到的完整模型参数替换本地的模型参数；所述预测模型采用“卷积+通道注意力机制+池化”结构，本发明能够保持目标模型的准确率不变的情况下，大量减少通信量同时不会引入大量计算开销。

本发明授权基于模型预测的加速AI大模型分布式训练方法及装置在权利要求书中公布了：1.基于模型预测的加速AI大模型分布式训练方法，其特征在于，包括下述步骤： 构建分层参数数据集；利用分层参数数据集，通过基于预测结果的评估方法，训练用于预测目标模型的模型参数的预测模型，并部署到PS参数服务器中；所述分层参数数据集中每个样本中，各层各类参数按时间顺序排列；所述数据集为图像数据集； 在目标模型的分布式训练的一次迭代中，计算节点worker更新目标模型的总的Q层中的前L2层的模型参数，然后将前L2层的模型参数推送至PS参数服务器；PS对所接收到的模型参数进行聚合，聚合后的模型参数被整型为多维的分层参数数据；所述目标模型是一个有Q层的神经网络； 利用多维的分层参数数据，预测模型进行一次推理过程，预测得到目标模型的除了前L2层的剩余其他层的模型参数；将预测的模型参数和聚合后的参数数据进行拼接，获得一个完整模型参数，并由PS参数服务器将完整模型参数推送给所有计算节点worker；在计算节点worker中利用接收到的完整模型参数迭代替换本地的模型参数；所述预测模型包括隐藏层和解码器；所述隐藏层包括卷积层、通道注意力层和池化层；所述预测模型的推理过程，具体为， 对多维的分层参数数据进行卷积处理； 对处理结果进行非线性激活，将得到的激活值输入通道注意力模块，得到一组权重参数向量，该组权重参数向量对输入激活值的各个通道进行加权； 将经过通道注意力模块处理后的输出值进行最大池化操作，得到一组预测值； 经过多次迭代，直到目标模型收敛时，分布式训练终止。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州大学，其通讯地址为：510006 广东省广州市番禺区大学城外环西路230号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。