买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:国金证券股份有限公司
摘要:本申请的实施例提供了一种基于数据库的迁移方法、装置、介质,所述基于数据库的迁移方法包括:获取待迁移的数据库;根据待迁移的数据库确定待迁移的数据;基于待迁移的数据触发大数据集成工具箱,并匹配对应的功能工具,大数据集成工具箱包括多个功能工具;根据功能工具对待迁移的数据进行对应的迁移处理,此时,根据大数据集成工具箱中的功能工具对待迁移的数据进行针对性处理,并适配各种待迁移的数据,以便于保证了待迁移的数据在大数据集成工具箱中的处理效果,提高了基于数据库的迁移方法的适用性和迁移效率,以完成自动迁移。
主权项:1.一种基于数据库的迁移方法,其特征在于,包括:获取待迁移数据库,根据待迁移数据库确定待迁移数据;基于待迁移的数据触发大数据集成工具箱,并匹配对应的功能工具,大数据集成工具箱包括多个逻辑功能不同的功能工具,根据功能工具对待迁移的数据进行对应的迁移处理;所述大数据集成工具箱包括数据库表导出转换工具,实现的功能是从所需迁移的原始数据库中获取需要迁移的表创建语句,并通过Python程序对建表语句中的表字段类型进行转换,来满足HIVE表的创建,最后将转化后的所述建表语句以文件的形式输出至指定目标目录中;所述大数据集成工具箱中包括存储过程逻辑转换工具,将传统关系型数据库的存储过程逻辑程序内容通过格式化转化成可执行的HIVE执行SQL,来满足HIVE的有效逻辑执行,最后将转化后的传统数据库存储过程逻辑语句以文件的形式输出至指定目标目录中;所述大数据集成工具箱中包括多数据库数据导出工具,所述多数据库数据导出工具将迁移数据库中的表数据与迁移后的HIVE表数据进行导出,并将导出的数据以CSV文件的形式至指定目录;所述大数据集成工具箱中包括调度关系分析工具,所述根据功能工具对待迁移的数据进行对应的迁移处理,还包括:基于转换后的存储过程逻辑程序形成源表及目标表;根据所述源表与所述目标表的加工来源关系确定存储过程逻辑程序的血缘关系;根据所述血缘关系定义层级及层级内的程序间相互的依赖结果;基于所述依赖结果以流程图图片的形式输出,用于指导HIVE逻辑文件调度的执行层级及执行顺序;所述大数据集成工具箱中包括迁移表数据核对工具,所述迁移表数据核对工具用于将迁移前所述源表的总条数进行迁移后所述目标表的总条数进行核对,基于总条数核对成功,读取迁移前所述源表和迁移后所述目标表的字段信息,将所述源表与所述目标表的字段信息进行交集处理,并对交集处理后的所述数据进行字段全外连接关联,并对字段值逐一进行核对,并将字段核对结果输出至目标目录;所述基于数据库的迁移方法还包括:从传统数据库导出的源存储过程文件读取至内存中,获取源存储过程逻辑语句,并获取存储过程语句数据,将源存储过程文件逻辑程序内容读取至系统内存,并执行适配HVIE与SQL语句的转写,依据HIVE可执行语句的规则对原存储过程注释进行转写、对存储过程中的传入参数及自有变量进行转换、对传统数据库与HIVE库具有差异性的函数进行转换、识别删除语句并进行格式转换、识别插入语句并对插入语句进行格式化转换、识别并删除HIVE不支持对于程序主体逻辑没有造成影响的语句、读取表名配置文件,并对配置文件中配置需替换的表名进行统一替换。
全文数据:
权利要求:
百度查询: 国金证券股份有限公司 基于数据库的迁移方法、装置、介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。