买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜麦乐峰(厦门)智能科技有限公司申请的专利一种基于大数据的信息收集系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118796950B 。

龙图腾网通过国家知识产权局官网在2024-11-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411276655.1，技术领域涉及：G06F16/27；该发明授权一种基于大数据的信息收集系统是由李秋敏;陈俊威设计研发完成，并于2024-09-12向国家知识产权局提交的专利申请。

本一种基于大数据的信息收集系统在说明书摘要公布了：本发明提供一种基于大数据的信息收集系统，涉及数据收集技术领域，所述系统包括：数据源选择模块；数据过滤模块；数据预处理模块；分布式计算模块，包括多个节点，每个节点分别执行数据集中不同数据的处理任务；任务分配模块，用于根据各节点的剩余计算能力和处理任务的计算量，得到第一任务权重，并通过第一任务权重将数据片段的处理任务分配给节点；负载均衡模块，用于将负载均衡权重向任务分配模块反馈，以达到动态调整处理任务的分配；扩容错处理模块，用于通过第二任务权重向任务分配模块反馈，以达到将该节点的任务分配至其他健康节点；数据存储模块；本发明提高了系统处理数据的速度和准确性。

本发明授权一种基于大数据的信息收集系统在权利要求书中公布了：1.一种基于大数据的信息收集系统，其特征在于，所述系统包括：数据源选择模块，用于根据第一预设指标自动选择数据源，得到第一数据源集合，所述第一预设指标包括数据源的更新频率、完整性和可信度；数据过滤模块，用于通过内容质量分析公式对第一数据源集合进行过滤，得到第二数据源集合；内容质量分析公式根据内容相关性、内容准确性和完整性对数据进行评分，然后对评分加权求和得到总评分，根据总评分对数据进行筛选；数据预处理模块，用于对第二数据源集合进行预处理，生成数据集，所述预处理包括数据清洗、数据标准化和数据转换；分布式计算模块，用于对数据集进行实时处理，生成计算结果数据，所述分布式计算模块包括多个节点，每个节点分别执行数据集中不同数据的处理任务，其中，所述节点之间通过消息队列进行数据传输和同步；所述处理任务的区分标准包括处理任务的计算量和重要性；每个节点通过物联网设备分配有不同的计算能力；任务分配模块，用于根据各节点的剩余计算能力和处理任务的计算量，得到第一任务权重，并通过第一任务权重将数据片段的处理任务分配给节点；负载均衡模块，用于根据每个节点的实时计算负荷和处理任务的执行效率，得到每个节点的负载均衡权重，并将负载均衡权重向任务分配模块反馈，以达到动态调整处理任务的分配；扩容错处理模块，用于监控节点的状态，当节点发生故障时，通过权重计算公式计算第二任务权重，并向任务分配模块反馈，以达到将该节点的任务分配至其他健康节点；数据存储模块，用于存储计算结果数据，所述数据存储模块包括分布式数据库系统，能够在多个存储节点之间分布式存储数据；所述数据预处理模块包括：数据分片单元，用于在数据清洗和转换之前，根据预设阈值将第二数据源集合的数据分成若干数据片段，得到第一数据集；所述预设阈值基于数据类型和数据量动态调整；所述数据片段的大小通过以下计算公式计算： ，其中，为数据片段的大小，为第二数据源集合的总大小，为节点的计算能力，为预设的负载因子，为数据片段的标准差，为数据片段的相关性因子；所述第一任务权重通过以下公式计算： ，其中，为第一任务权重，为节点的剩余计算能力，为数据片段的大小，为处理任务的计算量，为第j个节点的计算能力，为第j个节点的剩余计算能力，m为节点总数；所述负载均衡权重通过以下公式计算： ，其中，为负载均衡权重；为节点的计算负荷量，为节点对应处理任务的执行效率，执行效率通过节点的计算能力与处理任务的计算量的比值计算得到，为第k个节点的处理任务执行进度，执行进度通过剩余计算量与计算量的比值计算得到，为第k个节点的计算负荷量，m为节点总数；所述第二任务权重通过以下权重公式计算： ，其中，为第二任务权重，为故障节点的计算能力，为故障节点的状态，为故障节点的状态指数函数，为故障节点的处理任务重要性，为第c个节点的处理任务重要性，为第c个节点的状态指数，为第c个节点的状态，为第c个节点的状态指数函数，为第c个节点的计算能力，m为节点总数；其中，，为节点c的常数，为节点c的无故障运行的时间。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人麦乐峰(厦门)智能科技有限公司，其通讯地址为：361000 福建省厦门市思明区塔埔东路171号1401单元；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。