四川乐为科技有限公司程飞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉四川乐为科技有限公司申请的专利一种多级缓存与文件分批下载方法、系统及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120201089B 。
龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510680156.7,技术领域涉及:H04L67/568;该发明授权一种多级缓存与文件分批下载方法、系统及存储介质是由程飞设计研发完成,并于2025-05-26向国家知识产权局提交的专利申请。
本一种多级缓存与文件分批下载方法、系统及存储介质在说明书摘要公布了:本发明公开了一种多级缓存与文件分批下载方法、系统及存储介质,属于计算机存储技术领域。方法包括:S1:对象存储网关内核加载文件列表,并对文件列表进行组装和去重;S2:设置文件上传阈值,对小文件进行分组处理,对大文件进行分片处理;S3:使用小文件分组线程数加上大文件分片线程数计算出云存储网关所需要开启的线程数;批量开启多线程进行文件下载;S4:云存储服务端获取文件后,根据第一热度阈值进行缓存。可靠性更强,采用NDN+基于IP的CS的系统结构,即使中心服务器发生故障,客户业务系统在边缘网络连接正常时就完全不受影响。安全性更强,文件采用分块去重加密上传,与传统的对象存储相比,大大降低数据被泄漏的风险。
本发明授权一种多级缓存与文件分批下载方法、系统及存储介质在权利要求书中公布了:1.一种多级缓存与文件分批下载方法,其特征在于:包括以下步骤: S1:对象存储网关内核加载文件列表,并对文件列表进行组装和去重; S2:设置文件上传阈值,文件大小小于文件上传阈值的为小文件,大于文件上传阈值的为大文件,对小文件进行分组处理,对大文件进行分片处理; S3:使用小文件分组线程数加上大文件分片线程数计算出云存储网关所需要开启的线程数;批量开启多线程进行文件下载; S4:云存储服务端获取文件后,根据第一热度阈值进行缓存; 所述的S1还包括以下步骤: 对象存储网关内核加载文件列表,通过对象存储网关进行本地Posix磁盘挂载,对象存储网关与操作系统内核调度,获取文件列表,包含文件对应hash值、文件大小,文件属性并发起文件下载; 进行文件列表组装与去重,计算文件总数,根据文件hash值进行整合分析,分析文件重复情况,判断文件中是否有重复文件;若有重复文件hash值,将重复文件进行从下载列表中剔除,本地记录重复文件信息; 所述的S3还包括以下步骤: 计算出云存储网关所需要开启的线程数后,根据存储网关客户端能开启的线程数量,批量开启多线程进行文件下载; 上传线程根据文件hash值,批量检测本地磁盘缓存中是否存在对应hash值文件;本地磁盘缓存若存在则直接使用本地io对打开文件,云存储网关通过系统内核向应用返回文件流;本地磁盘缓存中若不存在,存储网关向云存储网关服务端发起文件批量下载请求; 当云存储服务端接收到批量下载请求时,将下载文件列表进行循环检测;将下载文件列表中文件的hash值与redis高速缓存中的文件进行对比;云存储服务端若存在文件则读取高速临时缓冲区的文件流进行输出,对文件下载次数、下载时间进行记录,并写入到redis高速缓存中;云存储服务端若不存在文件则向对象存储网关发起文件下载请求;对象存储网关根据自身的业务逻辑,通过crash算法获取文件存储位置,通过ssd缓存加速,返回文件流,供云存储服务端下载; 所述的S4还包括以下步骤: 云存储服务端获取到文件后,根据本地记录的文件信息判断是否需要缓存;若热度值高于第一热度阈值,则将文件下载到存储网关高速缓存区;若热度值低于第一热度阈值,则直接通过代理方式输入存储网关客户端; 存储网关服务器根据返回的文件流,将所有文件流按照文件大小range信息组合为一个打包文件流;返回的文件元数据信息记录打包文件流的数据总大小、其中每个文件的大小、文件对应的顺序; 存储网关客户端获取打包文件流,进行解析后下载到本地磁盘,本地磁盘根据文件个数开启多线程,按照文件元数据大小、文件顺序、指针位置对流文件进行文件拆分; 将拆分的每个文件按照对应的元数据信息进行恢复,并通过内核调度给应用流; 本地磁盘记录下文件对应hash值以及文件下载次数、文件下载时间; 本地缓存检测进程根据文件文件下载次数,文件调用次数与文件下载时间计算文件热度值; 根据设置的本地缓存空间大小以及每个文件的文件热度值排序,异步删除文件热度值低于第二热度阈值的缓存文件。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人四川乐为科技有限公司,其通讯地址为:610000 四川省成都市高新区益州大道中段1800号1栋9层901号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。