买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:四川福摩数字科技有限公司
摘要:本发明公开了基于多源异构数据的文件数据迁移方法及系统,属于文件数据迁移技术领域,包括获取待迁移的文件数据源,根据获取的文件数据源,自动识别出待迁移文件数据类型和格式并进行分类,根据识别的文件数据类型和格式,根据定义的转换规则将文件数据转换为统一格式,本发明通过自动化的文件类型识别和格式转换,显著提高了数据迁移的效率,每种数据类型和格式都对应着最优的转换规则,避免了手动转换的繁琐和错误,提高了数据处理的效率和准确性,通过定义了数据转换规则集合和转换成本因子,能够根据识别的文件数据类型和格式,应用最优的转换规则将文件数据转换为统一格式,这种灵活的转换机制能适应不同格式的数据源,提高兼容性和效率性。
主权项:1.基于多源异构数据的文件数据迁移方法,其特征在于,包括以下步骤:S1、获取待迁移的文件数据源;S2、根据获取的文件数据源,自动识别出待迁移文件数据类型和格式并进行分类;S3、根据识别的文件数据类型和格式,根据最优的转换规则将文件数据转换为统一格式;S4、根据文件数据的格式和迁移目标,智能匹配迁移策略;S5、根据文件数据迁移匹配策略进行迁移,将文件数据同步到迁移目标;S6、根据文件数据迁移情况,动态调整文件迁移传输速率和资源优先级分配;所述S2,根据获取校验后的文件数据,自动识别出待迁移文件数据类型和格式并进行分类;设每个文件数据样本中提取的文件数据特征为,每个文件数据特征定义一个文件数据特征提取实现公式为: ,在公式中,表示第i个文件数据样本的特征向量,表示从数据中提取的第j个特征的权重系数,n表示文件特征数量;其中,所述S2,根据提取的文件数据特征进行预测每个文件类别概率,文件分类概率实现公式为: ,在公式中,表示给文件数据定特征向量时,文件数据属于的概率,表示sigmoid函数,将任意实数值映射到[0,1]内,表示一个概率值,表示文件类别的参数向量的转置,表示偏置项,表示第i个文件数据样本的特征向量;根据文件分类概率进行分类结果验证,实现公式为: ,在公式中,表示预测的文件类别,表示选取使最大的k值;所述S3,根据S2识别分类的文件数据进行格式统一转换;每种数据类型定义一个转换规则集合为和转换成本因子为,数据转换规则实现公式为: ,在公式中,表示最优的转换规则,表示规则r是集合中的一个转换规则,表示适用于文件类别的所有转换规则集合,表示第j个转换成本因子,表示规则r和规则在第j个转换成本因子的差异度量,m表示转换成本因子的数量,对每一对规则r和在所有成本因子的差异进行加权求和,选择加权总成本最小的规则为最优规则;根据得到的最优的转换规则进行文件数据转换,文件数据转换实现公式为: ,在公式中,表示转换后的文件数据,表示通过最优的转换规则到文件数据上的转换函数;所述S4,根据文件数据的格式和迁移目标,智能匹配迁移策略;设迁移目标的属性集合为,设每个有一个权重,目标矩阵为,根据格式统一的和目标矩阵生成初步迁移策略,实现公式为: ;根据初步迁移策略进行更新确定,最终迁移策略实现公式为: ,在公式中,表示最终迁移策略,表示学习率,表示迁移策略的更新量,迁移策略调整的幅度。
全文数据:
权利要求:
百度查询: 四川福摩数字科技有限公司 基于多源异构数据的文件数据迁移方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。