买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云南神经元信息技术有限公司

摘要：本发明涉及分布式集群技术领域，特别涉及分布式集群数据生产系统，包括：数据接收模块，用于接收n个提交数据，提交数据包括提交APP信息与任务类型数据，任务类型数据包括请求内容与多媒体数据；第一数据处理模块，用于将提交APP信息与请求内容输入训练完成的任务识别模型，获得第n个提交信息对应的信息类型，节点服务器的类型与信息类型一一对应；第二数据处理模块，将第n个请求内容与多媒体数据输入训练完成的处理时间预测模型中，获得第n个提交信息对应的预测处理时间；处理时间预测模型与信息类型一一对应；基于处理时间预测的节点选择和任务分配方法能更有效地提高任务处理效率。

主权项：1.分布式集群数据生产系统，其特征在于，所述分布式集群包括多种类型的节点服务器，所述节点服务器包括多个节点，所述系统包括：数据接收模块，用于接收n个提交数据，所述提交数据包括提交APP信息与任务类型数据，所述任务类型数据包括请求内容与多媒体数据；第一数据处理模块，用于将提交APP信息与请求内容输入训练完成的任务识别模型，获得第n个提交信息对应的信息类型，所述节点服务器的类型与信息类型一一对应；第二数据处理模块，将第n个请求内容与多媒体数据输入训练完成的处理时间预测模型中，获得第n个提交信息对应的预测处理时间；处理时间预测模型与信息类型一一对应，不同信息类型使用对应的处理时间预测模型；所述处理时间预测模型的训练方法包括：预先收集k组处理时间数据集，k为大于1的整数，所述处理时间数据包括处理特征数据，以及与处理特征数据对应的预测处理时间；所述处理特征数据包括请求内容与多媒体数据；将处理时间数据转换为特征向量；将处理时间数据集划分为训练集与测试集，构建分类器，将训练集中的处理特征数据向量作为分类器的输入，将训练集中的处理时间向量作为分类器的输出，对分类器进行训练，得到初始分类器，利用测试集对初始分类器进行测试，输出满足预设准确度的分类器作为所述处理时间预测模型，所述处理时间预测模型为朴素贝叶斯模型或支持向量机模型；在预先收集处理时间数据时，在每个节点服务器正常稳定运行情况下，采集相应任务类型数据处理所需时间的平均值；通过节点系数判断节点服务器是否稳定正常稳定运行；若节点系数不超过预设系数阈值时，则判定节点服务器正常稳定运行；通过节点CPU利用率、节点内存使用率、节点响应时间、节点负载、节点硬盘利用率、节点带宽利用率、节点总内存、节点硬盘总容量与节点总带宽进行综合分析得到所述节点系数；第三数据处理模块，将请求内容、多媒体数据与处理时间输入训练完成的节点资源评估模型中，获得处理第n个任务类型数据对应的所需节点资源数据；节点选择模块，根据所需节点资源数据，在所述信息类型对应的节点服务器中选择满足要求的节点，对所述任务类型数据进行处理；选择满足要求的节点的方法为：选择与所述所需节点资源数据差异最小的节点对所述任务类型数据进行处理。

全文数据：

权利要求：

百度查询： 云南神经元信息技术有限公司 分布式集群数据生产系统