买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:平安科技(深圳)有限公司
摘要:本发明涉及大数据技术领域,公开了一种数据血缘分析方法、装置、设备及计算机可读存储介质,用于满足生产实践中对不同类型数据库的数据血缘分析需求。该方法包括:获取当前在大数据平台上执行的结构化查询语言SQL语句的输入表、输出表,以及输入表和输出表之间的血缘关系;将输入表和输出表分别转化为预设类型系统下的实体对象,将实体对象存储至预设的图形数据库中;根据血缘关系,在图形数据库中构建实体对象之间的血缘关系图谱;接收数据接入平台发送的业务源表与大数据表之间的映射关系;根据映射关系,在血缘关系图谱中确定待添加祖先节点的目标实体对象节点;为目标实体对象节点添加对应的祖先节点,得到目标血缘关系图谱。
主权项:1.一种数据血缘分析方法,其特征在于,所述数据血缘分析方法包括如下步骤:获取当前在大数据平台上执行的结构化查询语言SQL语句的输入表、输出表,以及所述输入表和所述输出表之间的血缘关系;将所述输入表和所述输出表分别转化为预设类型系统下的实体对象,将所述实体对象存储至预设的图形数据库中;根据所述血缘关系,在所述图形数据库中构建所述实体对象之间的血缘关系图谱;接收数据接入平台发送的业务源表与大数据表之间的映射关系,其中,所述数据接入平台用于从关系型业务数据库的业务源表抽取业务数据转存至大数据平台的大数据表,并在抽取业务数据的过程中,记录所述业务源表与所述大数据表之间的映射关系;获取所述映射关系中的大数据表的表名;判断所述血缘关系图谱中是否存在与所述表名对应的实体对象节点;若所述血缘关系图谱中存在与所述表名对应的实体对象节点,则将与所述表名对应的实体对象节点确定为待添加祖先节点的目标实体对象节点;为所述目标实体对象节点添加对应的祖先节点,得到目标血缘关系图谱,其中,所述祖先节点用于表示由所述目标实体对象的业务源表转化得到的实体对象;在所述目标血缘关系图谱中确定待分析的实体对象节点;获取所述待分析的实体对象节点所关联的业务,并统计包含所述待分析的实体对象节点的血缘关系链的链条数;将所述链条数分别与第一预设阈值和第二预设阈值进行比较,所述第一预设阈值大于所述第二预设阈值;当所述链条数大于或等于所述第一预设阈值时,将所述待分析的实体对象节点所关联的业务标记为热门业务;当所述链条数小于或等于所述第二预设阈值时,将所述待分析的实体对象节点所关联的业务标记为冷门业务;通过预设的用户交互页面,接收基于所述目标血缘关系图谱的查询指令;根据所述查询指令,将所述目标血缘关系图谱发送至所述用户交互页面进行可视化展示;根据预设的接收频率,接收所述数据接入平台发送的业务源表与大数据表之间的映射关系;判断所述映射关系是否存在更新,并检测所述大数据平台上是否执行了新的SQL语句;若所述映射关系存在更新,或所述大数据平台上执行了新的SQL语句,则对应更新所述目标血缘关系图谱。
全文数据:
权利要求:
百度查询: 平安科技(深圳)有限公司 数据血缘分析方法、装置、设备及计算机可读存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。