买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东浪潮科学研究院有限公司申请的专利用于嵌入式设备深度学习推理的内存优化方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115357381B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210959602.4，技术领域涉及：G06F9/50；该发明授权用于嵌入式设备深度学习推理的内存优化方法及系统是由陈其宾;刘玉国;段强;李锐设计研发完成，并于2022-08-11向国家知识产权局提交的专利申请。

本用于嵌入式设备深度学习推理的内存优化方法及系统在说明书摘要公布了：本发明公开了用于嵌入式设备深度学习推理的内存优化方法及系统，属于内存优化、深度学习、推理及嵌入技术领域，本发明要解决的技术问题为模型推理阶段，激活值内存占用高，内存的处理不够灵活高效以及内存矛盾，采用的技术方案为：该方法具体如下：解析训练好的深度学习模型：获取网络结构和模型权重，并组织成有向无环图的数据格式；采用宽度优先的方式遍历有向无环图；激活值销毁策略：采用监测是否为该激活值输入最后一个节点的方式，及时销毁激活值的策略；将符合条件的量化节点输出激活值数据保存为int8数据类型。

本发明授权用于嵌入式设备深度学习推理的内存优化方法及系统在权利要求书中公布了：1.一种用于嵌入式设备深度学习推理的内存优化方法，其特征在于，该方法具体如下： 解析训练好的深度学习模型：获取网络结构和模型权重，并组织成有向无环图的数据格式； 采用宽度优先的方式遍历有向无环图；具体为：判断训练好的深度学习模型计算图的节点序列是否按照宽度优先方式排序：若否，则将训练好的深度学习模型计算图的节点序列转成按照宽度优先排序方式排列；推理时，构建一个激活值映射activation_map用于存储激活值，该映射的键为激活值标签集合中所有标签，该映射的值为该标签对应的激活值；初始时，第一个节点标签对应的激活值为模型输入，其他标签对应的激活值为空；按照宽度优先的方式遍历有向无环图：通过input2node获取节点对应输入标签，通过该标签去activation_map中查找相应激活值作为节点输入；执行节点，得到节点的输出，通过node2output获取节点输出标签，使用该标签将节点输出存储到activation_map的相应位置； 激活值销毁策略；具体为：推理遍历有向无环图每个节点时，判断该节点是否为有向无环图对应输入的最后一个节点：若是最后一个节点，则在该节点执行后，销毁activation_map中该节点标签对应的激活值，并释放其占用内存空间；其中，有向无环图对应输入的最后一个节点指的是输入对应节点中最后遍历到的节点；判断在计算过程中，该节点对应的输入激活值是否会生成中间结果：若是，则应在生成中间结果后，立即销毁该节点对应的输入激活值； 将符合条件的量化节点输出激活值数据保存为int8数据类型； 其中，当训练好的深度学习模型为卷积神经网络模型时，在执行需要量化的节点时，则将该节点对应输出激活值保存为int8数据类型，具体如下： 在卷积神经网络模型中，包括二维卷积+线性整流函数的组合；二维卷积输出为int8数据类型，执行下个RELU节点，再执行后面的二维卷积；在二维卷积节点计算时，使用int8权重和int8输入计算二维卷积，再进行逆量化，附带执行下一个二维卷积节点的量化，得到int8数据类型的输出，即将下个量化节点的量化过程在该节点进行。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司，其通讯地址为：250100 山东省济南市高新浪潮路1036号S02号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。