北京火山引擎科技有限公司魏中佳获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京火山引擎科技有限公司申请的专利数据混洗的控制方法、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118916681B 。
龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411182670.X,技术领域涉及:G06F18/213;该发明授权数据混洗的控制方法、设备及存储介质是由魏中佳;宋军;程航;师锐设计研发完成,并于2024-08-27向国家知识产权局提交的专利申请。
本数据混洗的控制方法、设备及存储介质在说明书摘要公布了:本公开实施例提供一种数据混洗的控制方法、设备及存储介质,通过根据分布式计算集群的数据混洗过程的历史事件日志,确定数据混洗过程中所有读写阶段之间的相互依赖关系,生成依赖关系树;根据依赖关系树确定数据混洗过程中的瓶颈阶段,并根据瓶颈阶段读写状况调整数据混洗过程的参数;其中瓶颈阶段为所读写的文件数据量小于预设数据量阈值、且读写次数最大的读写阶段;基于调整后的参数控制数据混洗过程。本公开实施例通过分析历史事件日志确定数据混洗过程的瓶颈阶段,基于瓶颈阶段来自动调整数据混洗过程的参数,可提高数据混洗过程参数优化的效率和准确性,保证了不影响分布式计算集群作业稳定性和运行时间的前提下,优化了数据混洗的性能。
本发明授权数据混洗的控制方法、设备及存储介质在权利要求书中公布了:1.一种数据混洗的控制方法,其特征在于,包括: 根据分布式计算集群的数据混洗过程的历史事件日志,确定数据混洗过程中所有读写阶段之间的相互依赖关系,生成依赖关系树; 根据所述依赖关系树,确定数据混洗过程中的瓶颈阶段,并根据所述瓶颈阶段的读写状况确定所述瓶颈阶段成为瓶颈的原因,基于所述瓶颈阶段成为瓶颈的原因调整数据混洗过程的参数,以降低所述瓶颈阶段的读写次数;其中所述瓶颈阶段为所读取的文件数据量小于预设数据量阈值且读写次数最大的读写阶段,所述参数包括第一参数和第二参数中的至少一种,所述第一参数用于表示任一写阶段中每一写任务所写的文件最大数据量,所述第二参数用于表示任一读阶段中读任务的最大数量; 基于调整后的参数控制数据混洗过程, 其中,所述基于所述瓶颈阶段成为瓶颈的原因调整数据混洗过程的参数包括: 根据所述瓶颈阶段中的写阶段的写任务数量和所述瓶颈阶段中的读阶段的读任务数量之间的大小关系来调整所述第一参数和或所述第二参数;或者 根据多个不同的数据混洗过程中的瓶颈阶段确定瓶颈阶段特征指标,以及基于所述瓶颈阶段特征指标以及所述瓶颈阶段成为瓶颈的原因来调整所述第一参数和或所述第二参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京火山引擎科技有限公司,其通讯地址为:100190 北京市海淀区紫金数码园4号楼13层1309;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励