恭喜中国农业银行股份有限公司刘泾洋获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网恭喜中国农业银行股份有限公司申请的专利一种MapReduce内存溢出解决方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114528259B 。
龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210169188.7，技术领域涉及：G06F16/16；该发明授权一种MapReduce内存溢出解决方法及装置是由刘泾洋;刘婷婷;张国伟设计研发完成，并于2022-02-23向国家知识产权局提交的专利申请。
本一种MapReduce内存溢出解决方法及装置在说明书摘要公布了：本发明公开了一种MapReduce内存溢出解决方法及装置，包括：基于预设的联合主键对待加工表中的初始数据文件进行预去重处理，得到至少一个目标数据文件；确定待分表数目，基于待分表数目创建分表路径；基于待分表数目和预设的分表逻辑将对应目标数据文件拷贝至对应分表路径下；在每个分表路径下基于MapReduce接口并行对其中包含的目标数据文件进行处理，得到至少一个分表结果；对分表结果进行合并，得到目标分表结果。上述过程，首先对待加工表中的初始数据文件进行去重处理，进一步，对得到目标数据进行在分表路径下进行并行处理，不但减少了MapReduce处理数据文件的量还采用了并行处理方式提高了处理效率。
本发明授权一种MapReduce内存溢出解决方法及装置在权利要求书中公布了：1.一种MapReduce内存溢出解决方法，其特征在于，包括：基于预设的联合主键对待加工表中的初始数据文件进行预去重处理，得到至少一个目标数据文件，所述预设的联合主键为多维字段，所述预设的联合主键具有重复度低、分布均匀的特点，所述预设的联合主键选取得当即可使得预去重时Map阶段的键值分布均匀，以避免数据倾斜情况的发生，使得去重结束的目标数据文件分布均匀；确定待分表数目，基于所述待分表数目创建分表路径；基于所述待分表数目和预设的分表逻辑将对应目标数据文件拷贝至对应分表路径下；在每个分表路径下基于MapReduce接口并行对其中包含的目标数据文件进行处理，得到至少一个分表结果；对所述分表结果进行合并，得到目标分表结果。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国农业银行股份有限公司，其通讯地址为：100005 北京市东城区建国门内大街69号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号