长沙理工大学张经宇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉长沙理工大学申请的专利一种基于大数据平台的影子计算方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115630004B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211333353.4,技术领域涉及:G06F12/121;该发明授权一种基于大数据平台的影子计算方法是由张经宇;孙永涛;王进;张睿涵;王磊;李文军;何施茗设计研发完成,并于2022-10-28向国家知识产权局提交的专利申请。
本一种基于大数据平台的影子计算方法在说明书摘要公布了:本发明公开了一种基于大数据平台的影子计算方法,包括:接收客户端的处理任务;计算处理任务的数据集大小与处理任务的数据集所需的执行器内存大小之间的比例;若比例大于影子计算启动阈值,根据比例和处理任务生成多个影子任务和多个影子数据集;其中,影子数据集具有同等比例的执行器内存;向从节点发送多个影子任务和多个影子数据集,以使从节点根据每个影子任务应用一种缓存替换算法对影子数据集进行计算;接收从节点的每个影子任务回复的缓存命中率,根据所有影子任务的缓存命中率的高低情况选择一个最优的影子任务的缓存替换算法作为处理任务的数据集的缓存替换算法。本发明自适应选取更合适的缓存替换算法,具有很高的灵活性和优化效果。
本发明授权一种基于大数据平台的影子计算方法在权利要求书中公布了:1.一种基于大数据平台的影子计算方法,其特征在于,所述基于大数据平台的影子计算方法包括: 接收客户端的处理任务; 计算所述处理任务的数据集大小与所述处理任务的数据集所需的执行器内存大小之间的比例; 若所述比例大于影子计算启动阈值,根据所述比例和所述处理任务生成多个影子任务和多个影子数据集;其中,所述影子数据集具有同等所述比例的执行器内存; 向从节点发送多个所述影子任务和多个所述影子数据集,以使所述从节点根据每个所述影子任务应用一种缓存替换算法对所述影子数据集进行计算; 接收所述从节点的每个所述影子任务回复的缓存命中率,根据所有所述影子任务的缓存命中率的高低情况选择一个最优的所述影子任务的缓存替换算法作为所述处理任务的数据集的缓存替换算法; 在所述根据所有所述影子任务的缓存命中率的高低情况选择一个最优的所述影子任务的缓存替换算法作为所述处理任务的数据集的缓存替换算法之后,所述基于大数据平台的影子计算方法还包括: 设立历史库,所述历史库用于存储所述处理任务选择缓存替换算法的记录; 通过如下方式存储所述处理任务选择缓存替换算法的记录: 提取所述处理任务的RDD结构树的DAG图、所述处理任务的数据集大小和所述处理任务的数据集所需的执行器内存大小的比例以及所述处理任务选择的缓存替换算法; 将DAG图以网络数据文本的方式存储于所述历史库,将所述处理任务的数据集大小和所述处理任务的数据集所需的执行器内存大小的比例以及所述处理任务选择的缓存替换算法通过文件地址存储于所述历史库; 在所述根据所述比例和所述处理任务生成多个影子任务和多个影子数据集之前,所述基于大数据平台的影子计算方法还包括: 判断所述处理任务与所述历史库中的历史任务是否相匹配,若所述处理任务与所述历史库中的历史任务相匹配,选择所述历史任务的缓存替换算法作为所述处理任务的缓存替换算法; 所述判断所述处理任务与所述历史库中的历史任务是否相匹配,包括: 若所述处理任务的DAG图存在多个重复的Stage,则将Stage作为特征DAG;若所述处理任务的DAG图不存在多个重复的Stage,则将算法整体作为特征DAG; 从所述特征DAG提取节点数和边数作为算法特征; 计算所述历史任务的数据集大小和所述历史任务的数据集所需的执行器内存大小的历史比例; 判断所述处理任务的算法特征与所述历史库中的历史任务的算法特征是否一致,若所述处理任务的算法特征与所述历史库中的历史任务的算法特征一致,并且所述比例和所述历史比例差距小于阈值,则所述处理任务与所述历史库中的历史任务相匹配。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人长沙理工大学,其通讯地址为:410114 湖南省长沙市天心区万家丽南路二段960号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励