买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:浙江大学
摘要:本发明提供了一种基于模型迁移的分布式图神经网络训练方法与系统,在训练过程的每个迭代中,每个图神经网络模型依据对应的一个批次的训练顶点重新分配后所在位置依次迁移至对应服务器中,并利用对应服务器存储的微图的顶点特征进行训练并累积梯度,不在对应服务器存储的微图的顶点特征从远程获取;当所有图神经网络模型完成最后一个微图的训练时,所有图神经网络模型之间将累积的梯度进行同步,最后更新模型参数;本发明方法在当有特征向量数据在远程时,不把特征数据从远程传输到本地,而是把模型传输到目的服务器上。在不影响训练精度的情况下,通过引入模型迁移的方法消除了大部分的特征向量传输,从而显著缩短训练时间,提高训练效率。
主权项:1.一种基于模型迁移的分布式图神经网络训练方法,其特征在于,包括:对原始数据构建图GV,E,并将数据以边切割的方式分布式存储在分布式集群中;所述分布式集群包含若干个服务器;每个服务器均设有一个初始化的图神经网络模型;基于分布式集群,利用带标签的顶点数据对初始化的图神经网络模型进行训练,训练包括多个周期,每个周期包括多次迭代训练;在每个迭代中,具体包括:每个图神经网络模型被随机分配一个批次的训练顶点,其中每个顶点特征存储所在的服务器为所述顶点的主服务器;每个图神经网络模型的一个批次的训练顶点依据对应主服务器进行分组并分配至相应的主服务器上;重新分配后,每个训练顶点跳邻居采样生成一个微图;每个图神经网络模型依据对应的一个批次的训练顶点重新分配后所在位置依次迁移至对应服务器中,并利用对应服务器存储的微图的顶点特征进行训练并累积梯度,不在对应服务器存储的微图的顶点特征从远程获取;当所有图神经网络模型完成最后一个微图的训练时,所有图神经网络模型之间将累积的梯度进行同步,最后更新模型参数,完成一个批次的迭代训练;重复进行多个批次的训练直至所述图神经网络模型达到迭代次数和周期数。
全文数据:
权利要求:
百度查询: 浙江大学 基于模型迁移的分布式图神经网络训练方法与系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。