买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种降低深度神经网络训练过程中GPU内存占用的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114358267B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210006073.6，技术领域涉及：G06N3/063；该发明授权一种降低深度神经网络训练过程中GPU内存占用的方法是由欧岳枫;杜歆设计研发完成，并于2022-01-05向国家知识产权局提交的专利申请。

本一种降低深度神经网络训练过程中GPU内存占用的方法在说明书摘要公布了：本发明公开了一种降低深度神经网络训练过程中GPU内存占用的方法。该方法适用于基于CPU‑GPU异构计算平台上的深度神经网络DNN框架，提供基础‑通常‑极致三个等级的内存优化选项，通过静态计算图分析实现运行时零开销的内存分配，通过启发式搜索选择适当的算子重计算策略，同时分析并限制Cudnn库卷积算法的额外内存开销。用户仅需通过一个参数的优化等级控制，即可实现神经网络训练过程中的内存占用优化。

本发明授权一种降低深度神经网络训练过程中GPU内存占用的方法在权利要求书中公布了：1.一种降低深度神经网络训练过程中GPU内存占用的方法，其特征在于，包含如下步骤：根据checkpoint集合计算得到实际的内存申请方案；具体包括以下子步骤：（a）根据静态计算图中每个节点输出的数量，初始化相应Tensor的引用依赖：（b）以拓扑顺序考察每个Tensor；（c）检查当前空闲内存块列表是否非空，若不存在空闲内存块，则为当前Tensor申请新的内存块；若存在空闲内存块，检查其大小和当前Tensor的大小之比是否落在合理区间内；若存在空闲内存块且其大小和当前Tensor的大小之比落在合理区间，则将该空闲内存块分配给当前Tensor以避免新的内存申请，否则为该Tensor申请新的内存空间；（d）对当前Tensor的所有输入，减少其引用计数，表示当前Tensor已完成计算，不再依赖输入Tensor；若输入Tensor列表中存在引用计数减少到0的对象，则释放该Tensor的内存，对应的内存块加入到空闲内存块列表中；（e）以重复步骤（c）至（d），直至完成对所有Tensor的考察，输出最终的内存申请方案；所述checkpoint集合为空集或由以下步骤得到；（1）初次训练时启动试运行，收集设备环境信息与神经网络逐层运行情况；（2）checkpoint候选点选择：根据步骤（1）采集的信息，选择合适的节点或层作为重计算checkpoint的候选点；（3）在步骤（2）给出的候选点中选择合适的若干节点作为checkpoints集合；所述步骤（3）中选择checkpoints集合具体包括以下子步骤：（3.1）设初始化阈值为0，启动n轮迭代；（3.2）每轮迭代中，以拓扑顺序考察神经网络中的每个Tensor；将神经网络的输入作为第一个checkpoint，同时也是第一个Block；同时神经网络的参数变量不加入Block；（3.3）检查当前张量Tensor是否为候选点，如果不是则直接加入当前Block；如果当前Tensor是候选点，则检查当前Block是否超过阈值：如果没超过阈值，则将当前Tensor加入当前Block，否则创建新Block并将当前Tensor标记为checkpoint；（3.4）重复步骤（3.3），直至遍历所有Tensor，得到当前的checkpoint集合，以此更新阈值，进行内存申请，得到实际内存占用量；（3.5）以步骤（3.4）更新的阈值重复步骤（3.2）至（3.4），直至完成预定的迭代次数n的搜索，输出使得实际内存占用量最小的checkpoint方案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。