买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南开大学

摘要：本发明公开了一种基于图结构级知识互蒸馏的图神经训练方法及装置，构建包含并行的两个图神经网络的的图神经网络训练架构；实现两个图神经网络的一一对应层的选取；构建学习器，对两个图神经网络分别构建节点级知识互蒸馏学习器和图结构级知识互蒸馏学习器；进行图结构级知识互蒸馏的图神经网络训练，在图神经网络训练过程中，两个图神经网络之间互为教师网络、学生网络，对于被选取出的两个图神经网络一一对应的层实现在节点级知识互蒸馏和图结构级知识互蒸馏。与现有技术相比，本发明既实现了两个图神经网络节点级知识互蒸馏，同时实现了利用两个图神经网络的图结构级知识互蒸馏学习器进行图神经网络训练，提高了图神经网络的性能。

主权项：1.一种基于图结构级知识互蒸馏的图神经训练方法，其特征在于，包括：构建包含并行的第一、第二图神经网络的图神经网络训练架构；实现所述第一、第二图神经网络的一一对应层的选取；构建学习器，对所述第一、第二图神经网络分别构建节点级知识互蒸馏学习器和图结构级知识互蒸馏学习器，其中所述图结构级知识互蒸馏学习器基于节点连接子图结构和基于节点聚合图结构，所述的基于节点连接子图结构为每个节点与邻居连接关系构成一个小的子图，所述基于节点聚合图结构为多个有边互连的节点聚合成一个超级节点；进行图结构级知识互蒸馏的图神经网络训练，在图神经网络训练过程中，所述第一、第二图神经网络之间互为教师网络、学生网络，对于被选取出的所述第一、第二图神经网络一一对应的层实现在节点级知识互蒸馏和图结构级知识互蒸馏；构建图结构级知识互蒸馏损失函数，得到训练好的图神经网络应用于所述待应用场景，具体包括以下处理：a.选取一个批次的待应用场景的训练用图数据作为训练样本，输入到所述图结构级知识互蒸馏的图神经网络中，完成一个批次数据的图结构级知识互蒸馏的图神经网络训练，b.获取所有输入数据的在各个图神经网络选取的层中的节点输出；c.依次遍历一一对应层所有节点，计算各个节点级知识互蒸馏迁移方向，计算节点级知识互蒸馏损失；依次遍历一一对应层所有节点，计算所有节点的子图结构相似性，并进行子图结构级知识互蒸馏；d.计算第一、第二图神经网络的训练总的损失函数和每个节点的交叉熵损失；f..联合图结构级知识互蒸馏损失、节点级知识互蒸馏损失和每个节点的交叉熵损失，获得待训练第一、第二图神经网络的总损失，表达式如下： 其中，Lagg代表致性度量损失，Lstruct代表超级节点的结构损失，代表、分别代表第一图神经网络→第二图神经网络、第二图神经网络→第一图神经网络的互蒸馏损失，代表第一图神经网络实体节点到第二图神经网络进行的图结构级知识互蒸馏损失，分别代表第二图神经网络的实体节点到第一图神经网络的实体节点的图结构级知识互蒸馏损失，代表为第一图神经网络的网络节点为教师节点，代表为第二图神经网络的网络节点为教师节点，代表第一图神经网络所有实体节点的交叉熵损失函数，代表第一图神经网络所有实体节点的交叉熵损失函数；使用L1、L2对第一图神经网络和第二图神经网络进行损失函数梯度计算，并使用损失函数梯度下降法，对图神经网络进行一次训练；g.重新随机选取新的训练用图数据，重复a到f过程，往复迭代，直到整个网络损失函数收敛道一个极小值，完成图神经网络训练。

全文数据：

权利要求：

百度查询： 南开大学 基于图结构级知识互蒸馏的图神经训练方法及装置