山东未来网络研究院(紫金山实验室工业互联网创新应用基地)李克学获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东未来网络研究院(紫金山实验室工业互联网创新应用基地)申请的专利一种基于kafka的消息可控优化方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120336370B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510811577.9,技术领域涉及:G06F16/2453;该发明授权一种基于kafka的消息可控优化方法及系统是由李克学;艾永健;蔡蒙蒙;苏黎明设计研发完成,并于2025-06-18向国家知识产权局提交的专利申请。
本一种基于kafka的消息可控优化方法及系统在说明书摘要公布了:本发明涉及消息队列技术领域,尤其是涉及一种基于kafka的消息可控优化方法及系统,所述方法,包括获取数据属性,并根据数据属性计算数据优先级数值;基于优先级数据构建位置索引缓存机制,根据位置索引缓存机制将缓存池中的分区‑偏移量数据持久化到索引表,基于持久化的优先级索引进行高优先级消息的优先消费,包括设置消费控制程序架构,并对消费队列隔离和引入消息去重操作;在高优先级消息的优先消费的前提下进行全链路性能调优,基于调优后的全链路进行业务场景扩展,本发明通过消费控制程序按优先级定向拉取消息,突破了Kafka分区并行消费的无序性,使高优先级消息可直接跳转至对应位置优先处理,显著缩短消费延迟。
本发明授权一种基于kafka的消息可控优化方法及系统在权利要求书中公布了:1.一种基于kafka的消息可控优化方法,其特征在于,包括: 获取数据属性,并根据数据属性计算数据优先级数值; 基于优先级数据构建位置索引缓存机制,包括在Kafka生产者拦截器链中新增优先级处理拦截器; 所述基于优先级数据构建位置索引缓存机制,包括在Kafka生产者的拦截器链中新增优先级处理拦截器,所述拦截器调用优先级判断程序为消息分配优先级等级,在消息发送成功的回调函数中,获取包含分区和偏移量的RecordMetadata对象,并为其添加优先级等级字段,形成扩展元数据,之后构建分层缓存池存储扩展元数据; 所述构建分层缓存池存储扩展元数据,包括构建A-Cache模块和B-Cache模块,其中,A-Cache模块预分配固定大小内存块,每个块存储同一优先级等级的分区-偏移量数据单元,单个分区-偏移量数据单元容量为N条记录,并采用无锁队列实现快速写入,所述B-Cache模块动态分配内存块,用于存储超过A-Cache容量的大数据单元,并采用LRU算法淘汰冷数据,当A-Cache模块中的分区-偏移量数据单元容量满时,触发批量写入数据优先级索引表,单次写入记录数为N; 根据位置索引缓存机制将缓存池中的分区-偏移量数据持久化到索引表,包括定义索引表结构,并设置批量写入策略; 基于持久化的优先级索引进行高优先级消息的优先消费,包括设置消费控制程序架构,并对消费队列隔离和引入消息去重操作; 在高优先级消息的优先消费的前提下进行全链路性能调优,包括对缓存池参数调优; 所述在高优先级消息的优先消费的前提下进行全链路性能调优,包括缓存池参数动态调优、消费者端性能优化和优先级抢占与资源分配,所述缓存池参数动态调,根据业务峰值消息量计算A-Cache模块容量,设定B-Cache模块最大容量为M,当缓存数据超过所设阈值时,触发LRU算法强制淘汰冷数据单元,所述A-Cache模块容量计算公式为: , 其中,N为单个Unit存储记录数,为扩容系数; 基于调优后的全链路进行业务场景扩展,包括利用KafkaMirrorMaker实现优先级索引表的跨数据中心同步。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东未来网络研究院(紫金山实验室工业互联网创新应用基地),其通讯地址为:250002 山东省济南市市中区山东大学国家大学科技园7号楼14层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。