Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)王春晓获国家专利权

山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)王春晓获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)申请的专利基于Alluxio的数据存储和缓存优化方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119200982B

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411264707.3,技术领域涉及:G06F3/06;该发明授权基于Alluxio的数据存储和缓存优化方法及系统是由王春晓;刘秋月;王英龙;臧书昌;郭莹;陈静;赵志刚;温华岗;郝国鹏设计研发完成,并于2024-09-10向国家知识产权局提交的专利申请。

基于Alluxio的数据存储和缓存优化方法及系统在说明书摘要公布了:本发明公开了基于Alluxio的数据存储和缓存优化方法及系统,其中方法,包括:获取待写入的文件,根据所述待写入的文件的四个属性,计算文件的优先级;所述待写入的文件的四个属性,包括:文件访问频率、文件容量、文件重要性等级以及文件新鲜度;根据文件优先级所对应的文件传输策略,将待写入的文件存储到Alluxio缓存和底层存储;获取待读取的数据,判断待读取的数据是否在缓存中,如果是,则将缓存中的数据返回给用户;如果否,则将底层存储中的数据返回给用户;根据关联规则,对待读取的数据以及待读取数据相关联的数据块进行预取操作,如果缓存使用率超过设定的阈值,则执行缓存替换操作。

本发明授权基于Alluxio的数据存储和缓存优化方法及系统在权利要求书中公布了:1.基于Alluxio的数据存储和缓存优化方法,其特征是,包括:获取待写入的文件,根据所述待写入的文件的四个属性,计算文件的优先级;所述待写入的文件的四个属性,包括:文件访问频率、文件容量、文件重要性等级以及文件新鲜度;根据文件优先级所对应的文件传输策略,将待写入的文件存储到Alluxio缓存和底层存储;获取待读取的数据,判断待读取的数据是否在缓存中,如果是,则将缓存中的数据返回给用户;如果否,则将底层存储中的数据返回给用户;根据关联规则,对待读取的数据以及待读取数据相关联的数据块进行预取操作,如果缓存使用率超过设定的阈值,则执行缓存替换操作;所述根据所述待写入的文件的四个属性,计算文件的优先级,包括:假设对于文件而言,原始指标分别为:访问频率、文件大小、文件的重要性和数据的新鲜度,对每个指标进行标准化处理;结合标准化后的指标,按权重配比,计算每个文件的优先级为:,其中,、、和为权重,;根据文件优先级所对应的文件传输策略,将待写入的文件存储到Alluxio缓存和底层存储,包括:如果文件优先级是高优先级,则使用同步写入机制和双副本机制;所述同步写入机制,是指将待写入文件写入Alluxio缓存的同时,也将待写入文件写入底层存储;所述双副本机制,是指将每个数据块复制到另外一个工作节点;数据写入底层存储完成后,开始数据校验,所述数据校验,用于判断写入的文件是否发生损坏,如果校验成功,则表示文件写入完成;如果校验失败,则表示文件需要重新写入;根据文件优先级所对应的文件传输策略,将待写入的文件存储到Alluxio缓存和底层存储,还包括:如果文件优先级是中优先级,则使用异步写入机制和负载均衡机制;所述异步写入机制,是指,先将待写入的文件写入Alluxio缓存,然后将待写入的文件写入底层存储;在写入的过程中,通过检查点机制定期检查保存数据的中间状态;根据文件优先级所对应的文件传输策略,将待写入的文件存储到Alluxio缓存和底层存储,还包括:如果文件优先级是低优先级,则使用异步写入机制和数据压缩机制;所述异步写入机制,是指:先将待写入的文件写入Alluxio缓存,在系统资源空闲时,再将待写入的文件写入底层存储;所述负载均衡机制,包括:基于实时负载情况,采用加权轮询算法来分配传输任务:所述加权轮询算法给每个工作节点分配一个初始权重;在传输任务的轮询过程中,工作节点自身的监控代理子节点按照设定的时间间隔,收集当前工作节点当前的负载数据,并将负载数据上传给中央监控服务器;中央监控服务器判断当前工作节点的负载是否超过设定的第一阈值,如果超过设定的第一阈值,则将当前工作节点的权重进行降低;判断当前工作节点的负载是否低于设定的第二阈值,则将当前工作节点的权重进行提升;如果当前工作节点的负载低于第一阈值且高于第二阈值,则保持当前工作节点的权重不变;根据权重分配任务;所述加权轮询算法给每个工作节点分配一个初始权重,其中初始权重的计算公式为: ;其中,表示工作节点的CPU能力,表示工作节点的内存容量,表示工作节点的网络带宽,表示工作节点的输入输出IO性能,表示工作节点距离中心节点的距离;、、、和是权重系数,用于调整各资源能力和距离对总权重的影响;所述在传输任务的轮询过程中,工作节点自身的监控代理子节点定期收集当前工作节点当前的负载数据,包括:在传输任务的轮询过程中,每分钟收集工作节点的当前负载数据,工作节点的当前总负载计算公式为: 其中,表示工作节点的CPU负载,表示工作节点的内存负载,表示工作节点的网络带宽负载,表示工作节点的输入输出IO负载,根据当前负载调整权;所述中央监控服务器判断当前工作节点的负载是否超过设定的第一阈值,如果超过设定的第一阈值,则将当前工作节点的权重进行降低;判断当前工作节点的负载是否低于设定的第二阈值,则将当前工作节点的权重进行提升,具体包括:如果工作节点的负载超过预设的负载高阈值,则降低工作节点的权重为; 如果工作节点的负载低于设定的低阈值,则增加工作节点的权重为,调整后的权重计算公式为: 其中,和是调整权重的系数。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院),其通讯地址为:250000 山东省济南市历下区科院路19号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。