买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利基于强化学习的片上网络自主最优映射探索系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115470889B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211054665.1，技术领域涉及：G06N3/063；该发明授权基于强化学习的片上网络自主最优映射探索系统及方法是由傅玉祥;薛泳琪;李丽;纪津伦;李心怡;黎思越;周世泽;程童;李伟;何书专设计研发完成，并于2022-08-31向国家知识产权局提交的专利申请。

本基于强化学习的片上网络自主最优映射探索系统及方法在说明书摘要公布了：本发明公开了一种基于强化学习的片上网络自主最优映射探索系统及方法。本发明采用强化学习算法，结合软约束和硬约束，将硬件映射配置问题转化为序列决策问题，得到片上网络加速器的自主最优映射探索系统。对比传统的XY方向映射、基于神经网络感知算法映射与基于遗传算法的映射，本发明通过强化学习算法对策略网络与价值网络进行训练，提供的最优硬件映射在通信延迟指标与平均通信吞吐率指标上有不同程度的优化。

本发明授权基于强化学习的片上网络自主最优映射探索系统及方法在权利要求书中公布了：1.一种基于强化学习的片上网络自主最优映射探索方法，其特征在于，包括以下步骤： 步骤1、将片上网络所需计算的神经网络卷积层转化成为类人工神经网络层，并将神经元进行分组得到神经元组；分好组后的神经元组序列号与对应片上网络处理单元序号组成的数组即为简化后的硬件映射表达； 步骤2、对基于强化学习的片上网络自主最优映射探索系统进行动作空间、状态值、奖励值、环境、强化学习算法、价值网络与策略网络的设置与配置； 步骤3、将硬件映射配置问题转化为序列决策问题，自动化进行硬件映射的生成，映射生成时遵循软约束与硬约束； 步骤4、根据强化学习算法策略网络的概率生成映射策略后，将映射文件、神经网络模型文件、神经网络权重与偏置文件、神经网络输入数据文件、片上网络硬件资源参数输入片上网络仿真器； 步骤5、片上网络仿真器作为环境返回智能体所需要的状态值与奖励值，智能体根据返回值计算损失值，更新策略与价值网络参数并优化序列决策过程； 步骤6、重复步骤3～步骤5，策略网络最终学习到如何预测映射配置动作以最大程度优化奖励值，当奖励值收敛时，最优奖励值对应的序列动作为理想的最优硬件映射； 在硬约束条件下，若智能体无法提供有效地硬件映射动作序列，片上网络自主最优映射探索系统会干预动作概率，在每一步抽取动作之前，向策略网络添加掩码，并将之前步骤中选择过的动作的概率设置为零，同时，其他未选择动作按比例增加概率值；故在硬约束模式下，回合中的所有步都是不重复的，智能体从环境中获得最后一步的奖励值，其他步的奖励值均为零； 硬约束条件下，若第n步抽取的计算单元序号为PEm，则第n+1步时智能体为策略网络概率pn+1添加掩膜后变为p′ n+1，并根据调整后的概率抽取第n+1步动作an+1的公式如下： p′ n+1PEm＝0,若an＝PEm, an+1＝samplePE0,…,PEM,AP′n+1＝Mask_APn+1； 其中，TP是除了上一步抽取的计算单元节点外，其他所有计算单元节点被抽取概率的总和；Mask_APn+1为添加掩膜后策略网络抽取第n+1步动作的概率；sample函数限制智能体根据AP′n+1的概率对第n+1步的动作进行抽取； 步骤1中的神经网络卷积层的展开方式如下： 其中，K为卷积神经网络的卷积核的个数，Y′和X′为输出神经元的行数和列数，Oi,j,k为输出神经元；按照三层循环的顺序排列输出神经元阵列，NN代表需要在加速器上进行计算的神经网络，n0到nX′Y′K-1代表将卷积神经网络转化为一维的类人工神经网络后的每个神经元。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210046 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。