买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种基于边缘实时系统的内存协同DNN层级调度方法，属于实时系统调度领域。该方法深入研究任务性能特征、构建优化模型和利用深度强化学习，实现最小化任务延迟、最大化任务满意度的目标。主要包括以下步骤：首先，通过深入研究每个DNN任务的性能特征，包括内存分配大小和执行时间，以确保系统在运行DNN任务时达到最佳性能。其次，根据问题定义，建立优化模型，并将其转化为马尔科夫决策过程，明确状态空间、动作空间和状态转换。最后，采用深度强化学习对问题进行求解，通过学习最佳调度策略，获得最优调度序列，以最大化任务满意度。本发明所述方法能够有效地适应复杂的边缘系统环境，为提升用户体验提供了可行的解决方案。

主权项：1.一种基于边缘实时系统的内存协同DNN层级调度方法，其特征在于，包括以下步骤：1DNN任务资源的需求进行预测分析，包括每个DNN任务对应的内存分配大小及该DNN任务在分配相应内存后的执行时间，得到DNN任务执行时间与内存大小之间的函数关系；2根据问题定义，确定优化的目标，明确问题的约束条件以及确定决策变量的范围，从而建立优化模型，包括如下考虑：21针对边缘系统，至少包括一个CPU和GPU，该边缘系统周期性来一组推理任务对于每个DNN任务所述的DNN任务由Li个DNN层组成，推理任务且DNN任务间存在依赖关系，由有向无环图组织；22将xi，j＝0表示任务Ji的第j层在CPU上执行，xi，j＝1表示DNN任务Ji的第j层在GPU上执行，Si，j表示DNN任务Ji的第j层的开始时间；对于有向无环图组织中的每个节点，表示DNN任务Ji的第j层在CPU上的执行时间，表示DNN任务Ji的第j层在GPU上的执行时间；DNN任务Ji在Si时开始，DNN任务响应时间为Ti，预计截止时间为Di；每个DNN任务开始时，都将分配根据步骤1得到的最优Mi大小的内存，直到DNN任务结束释放相应内存；其中开始时间Si由调度器决定，DNN任务响应时间其中wi，j为DNN层τi，j的等待时间，ei，j为DNN层τi，j根据步骤S1得到的在GPU或CPU上的运行时间，即23为充分利用系统资源，调度器需要生成高效的调度计划，因此使用任务满意度作为评估指标，任务满意度定义为预计截止时间与响应时间的比率，即： 其中Di是预计截止时间，Ti是任务响应时间；该比率越大，任务满意度越高，因此调度器的优化目标为最大化所有的任务满意度，表示为： 因此，得到约束条件如下所示： 以上约束表示不同任务的层之间不能同时在CPU或者GPU上运行； 以上约束表示在同一任务的DNN的不同层中，后一层的任务必须在前一层执行完毕后才能开始执行； 以上约束表示任意的任务Ji只有在其前继结点执行完毕后才能开始执行； 以上约束表示任意时刻同时分配的内存不大于系统最大内存； 以上约束表示所有任务都要在其截止日期之前完成；3将优化模型转化为马尔科夫决策过程，定义状态空间、动作空间和状态转换，使用深度强化学习对优化问题求解，通过学习最佳调度策略以获得最优调度序列，从而最大化DNN任务满意度。

全文数据：

权利要求：

百度查询： 南京航空航天大学 基于边缘实时系统的内存协同DNN层级调度方法