买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:西南科技大学
摘要:本发明公开了一种三缓存加速GNN推理的方法,该方法包括如下步骤:根据给定参数进行预采样;将确定节点的平均出度;确定邻接数组缓存、节点特征缓存和中间层输出缓存各自的合理容量;分别填充节点特征和邻接数组缓存;在正式推理的过程中制备小批量;在中间层计算完成后,将输出结果存储至中间层输出缓存,重复此操作,逐层推理,直至处理完倒数第二层;进行最后一层的计算,输出最终结果,推理结束。本发明的目的在于提供一种三缓存加速GNN推理的方法,旨在解决目前图神经网络推理过程中,将空闲的GPU内存全部用于缓存节点特征,对空闲内存空间未作合理划分,由此带来GNN推理过程GPU资源实际利用率低的问题,并且通过引入邻接数组缓存和中间层输出缓存,将GPU内存合理利用起来,解决目前GNN推理中未利用到邻接矩阵局部性以及存在冗余计算的问题,该方法通过对邻接数组缓存、节点特征缓存和中间层输出缓存合理分配缓存容量,在采样、特征选择和计算三个环节进行接力式优化,提高系统的整体运行效能。
主权项:1.一种三缓存加速GNN推理的方法,其特征在于,所述的三缓存加速GNN推理的方法包括如下步骤:步骤一:根据给定参数进行预采样;步骤二:确定节点的平均出度;步骤三:确定邻接数组缓存、节点特征缓存和中间层输出缓存各自的合理容量;步骤四:分别填充节点特征和邻接数组缓存;步骤五:在正式推理的过程中制备小批量;步骤六:在中间层计算完成后,将输出结果存储至中间层输出缓存,重复此操作,逐层推理,直至处理完倒数第二层;步骤七:进行最后一层的计算,输出最终结果,推理结束。
全文数据:
权利要求:
百度查询: 西南科技大学 一种三缓存加速GNN推理的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。