北京工业大学方娟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京工业大学申请的专利一种面向深度神经网络的异构多核系统访存管理方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117591274B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311487081.8,技术领域涉及:G06F9/50;该发明授权一种面向深度神经网络的异构多核系统访存管理方法是由方娟;王悦宁;翟冉设计研发完成,并于2023-11-09向国家知识产权局提交的专利申请。
本一种面向深度神经网络的异构多核系统访存管理方法在说明书摘要公布了:本发明公开一种面向深度神经网络的异构多核系统访存管理方法,属于计算机体系存储系统结构领域。本发明利用CPU‑GPU异构多核系统加速DNN模型训练,并根据其访存特点设计访存控制器,在DNN训练过程中对多核心共享的末级缓存进行卸载、预取和释放操作,细粒度数据传输过程并显著提高了末级缓存利用率。此外,访存控制器还设计了延迟隐藏机制,通过将特征提取层大量中间数据的存取过程和计算过程相重叠,减少了模型计算过程中由于末级缓存未命中、需要等待DRAM访存响应带来的计算性能损耗,优化了训练效率。
本发明授权一种面向深度神经网络的异构多核系统访存管理方法在权利要求书中公布了:1.一种面向深度神经网络的异构多核系统访存管理方法,其特征在于,本方法在DNN的训练的每一个特征提取层中添加了访存控制器逻辑,包括正向传播中的缓存卸载过程、反向传播中的缓存预取过程和内存释放过程和基于优先级的随机缓存替换策略,使DNN在异构多核系统上进行训练时能更效率地利用末级缓存LLC的空间,减少过多等待DRAM访存响应带来的计算性能损耗;具体包括以下步骤: 步骤1,在载入训练数据集时,根据系统中的共享LLC容量,在DRAM中分配同等空间的卸载区域;每当访存控制器在DNN训练过程中分配和释放数据结构时,内存管理器将从该区域中分配和释放内存区域; 步骤2,在数据预处理结束、正向传播过程开始时,访存控制器监听每一层的特征图数据传输与计算过程,在每层的输入特征图X进行正向计算过程时将其复制到内存卸载区域;在DNN的训练过程中,第n层的输出特征图Yn、输入梯度图dYn等同于n+1层的输入特征图Xn+1、输出梯度图dXn+1,所以Y与dY不需占用额外存储空间;当存在卸载时间超过计算时间的情况时,由于正向计算过程占用传输流资源,需要暂停下一层的计算以等待数据被安全卸载;当完成卸载过程后,访存控制器从LLC中释放X的空间; 步骤3,在后续的每层正向传播开始前,访存控制器首先根据数据流图评估层间的数据依赖关系;当DNN模型为前馈线性网络时,上一层的输出特征图Y与本层输入特征图X构成唯一依赖关系,不需要额外条件即可直接进行卸载释放过程;但当DNN模型采用GoogleNet一类的非线性前馈网络时,会存在上下层的Y与X不构成唯一依赖的情况;此时访存控制器会预先构造模型的数据流图并计算每层输出特征图Y的依赖数量,由于依赖于同一个Y的层共享X数据,为了最大化缓存利用率,只有确定当前处理层是其前驱输出特征图Y的最后一个依赖层时,才可以允许进行卸载释放过程; 步骤4,在反向传播过程开始后,访存控制器在每层的输入梯度图dY进行反向计算过程时,将前一层所需要的X值预取回LLC中;与卸载过程类似,当存在预取传输时间超过计算时间的情况时,访存控制器暂停前一层的计算过程以等待数据安全预取;由于反向传播过程需要每一层的X与Y共同参与计算,本步骤中对X的预取会在2层以后才能完全覆盖计算过程的访存请求;为防止反向计算过程中的数据传输冲刷掉预取进LLC的数据,采用一种基于标记优先级的随机缓存替换策略,为LLC中的每个缓存块添加一位寄存器来标记优先级,在访存控制器预取X时将该缓存块标记位赋值为1;在缓存替换过程中从缓冲区随机选择一个缓存块并对标记位进行判定,若选中标记为1的预取数据则重新进行随机选择过程,否则直接在该位置进行替换; 步骤5,在每一层的梯度更新过程完成后,释放当前层的Y与dY即上一层的X与dX所占用的缓存和DRAM卸载区的空间。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京工业大学,其通讯地址为:100124 北京市朝阳区平乐园100号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励