买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本申请涉及一种数据迁移方法、装置及系统。方法包括:获取待迁移数据以及配置信息;根据待迁移数据确定目标存储队列,并将待迁移数据存储至目标存储队列;读取目标存储队列中的待迁移数据,并根据配置信息确定待迁移数据的字段类型;根据字段类型确定迁移方式,根据迁移方式将待迁移数据迁移至目标数据表。本申请针对不同的字段类型提供相应的迁移方式,并完成数据迁移,能够覆盖更多的数据类型,迁移方式泛用性更高;另一方面,本申请实施例将传统的数据迁移过程进行拆分,在数据迁移过程中将待迁移数据存储至目标存储队列中,提高了数据迁移的断点续传能力,进而提高了数据迁移的可靠性和迁移效率。
主权项:1.一种数据迁移方法,其特征在于,所述方法包括:获取待迁移数据以及配置信息,所述待迁移数据存储在Cassandra数据库的迁移数据表中;根据所述待迁移数据确定目标存储队列,并将所述待迁移数据存储至所述目标存储队列;读取所述目标存储队列中的待迁移数据,并根据所述配置信息确定所述待迁移数据的字段类型;根据所述字段类型确定迁移方式,根据所述迁移方式将所述待迁移数据迁移至目标数据表;所述读取所述目标存储队列中的待迁移数据包括:确定所述目标存储队列的读取位置信息;所述读取位置信息包括offset信息;根据所述读取位置信息确定所述目标存储队列的读取进度;若所述读取进度为未完成,则读取所述目标存储队列中的待迁移数据;所述根据所述字段类型确定迁移方式,根据所述迁移方式将所述待迁移数据迁移至目标数据表包括:若所述字段类型包括counter,则确定所述迁移方式包括update语句;基于所述update语句将所述待迁移数据迁移至所述目标数据表;所述根据所述字段类型确定迁移方式,根据所述迁移方式将所述待迁移数据迁移至目标数据表还包括:若所述字段类型包括含生存时间的行字段,则确定所述待迁移数据的第一时间戳以及第二时间戳,所述第一时间戳包括获取待迁移数据的时间,所述第二时间戳包括读取所述目标存储队列中的待迁移数据的时间;基于所述第一时间戳以及第二时间戳确定传输时间,若所述传输时间小于或等于所述生存时间,则将所述待迁移数据迁移至目标数据表。
全文数据:
权利要求:
百度查询: 天翼视联科技有限公司 数据迁移方法、装置及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。