买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:安徽工业大学
摘要:本发明属于移动计算和深度学习技术领域,具体涉及一种面向移动多处理器的深度学习模型协同推理方法。本发明通过实时监控各处理器的状态,结合模型解析器对深度学习模型进行子图划分,使用中央调度器根据处理器负载、温度和运行状态动态优化执行策略。系统包括硬件监视器、模型解析器和调度器三大核心组件,通过这些组件的协作,可以高效地管理和执行多个深度学习模型的推断任务,显著提升了移动设备上的执行效率和能源效率。本发明能够适应各种硬件异构性,特别适用于资源受限的移动和边缘设备,解决了传统移动推理系统在面对多任务协同推理时的性能瓶颈问题。本发明具有调度灵活、响应快速的特点,适用于多种实时应用场景。
主权项:1.一种面向移动多处理器的深度学习模型协同推理方法,其特征在于,包括如下步骤:S1、硬件监控器实时跟踪处理器的状态信息,并将这些信息传递给模型分析器和中央调度器;S2、模型加载器接收深度学习模型,并将其加载到系统中进行进一步处理;S3、模型分析器解析深度学习模型的结构信息,包括层次、操作类型、张量大小和操作的硬件兼容性;S4、模型分析器将模型划分为多个子图,每个子图包含一组相邻的操作,确保子图在特定处理器上高效运行;S5、中央调度器基于硬件监控器提供的实时数据,动态决定子图的执行顺序和资源分配;各处理器根据中央调度器分配的任务,执行相应的子图计算任务,并实时报告任务的进展和状态;S6、硬件监控器持续跟踪处理器的状态,实时调整任务执行顺序,优化系统性能。
全文数据:
权利要求:
百度查询: 安徽工业大学 一种面向移动多处理器的深度学习模型协同推理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。