买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：帝杰曼科技股份有限公司

摘要：本申请具体地公开了一种大数据分布式任务调度系统及其调度方法，其通过对所述预定业务应用系统内的各批量作业的作业描述和各个业务应用系统的系统描述进行编码，以在编码后得到的所述特征向量中包含所述各批量作业之间的依赖关系以及所述不同的业务应用系统之间的依赖关系的信息，并且还采用编码器的注意力机制，以基于所有编码器状态和解码器的隐状态来裁剪所述解码器的输入，以实现所述解码器的上下文回归解码。通过这样的方式，可以在确定业务调度和处理顺序时考虑所述同一业务应用系统内的各批量作业之间的依赖关系以及所述不同的业务应用系统之间的依赖关系，进而使得业务调度的效果更好，批量作业的时效性更高。

主权项：1.一种大数据分布式任务调度系统，其特征在于，包括：第一语义编码单元，用于对预定业务应用系统内的各批量作业的作业描述进行基于语义理解模型的语义编码以获得作业特征向量的序列；第二语义编码单元，用于对各个业务应用系统的系统描述进行基于所述语义理解模型的语义编码以获得系统特征向量的序列；参考特征向量选取单元，用于从所述系统特征向量的序列中选择所述预定业务应用系统对应的系统特征向量作为参考特征向量；注意力单元，用于计算所述作业特征向量的序列中各个作业特征向量与所述参考特征向量之间的相似性值以获得由所有作业特征向量的相似性值组成的相似性向量；初解码单元，用于将所述作业特征向量的序列中各个作业特征向量通过解码器以获得所述作业特征向量的序列中每个所述作业特征向量的类别概率值，所述类别概率值表示各个所述作业特征向量归属于最大概率的重要性标签的概率值；修正系数确定单元，用于计算所述作业特征向量的序列中每个所述作业特征向量的类别概率值与所述相似性向量之间的交叉熵值作为各个所述作业特征向量的修正系数，以获得由各个所述作业特征向量的修正系数组成的修正系数向量；修正单元，用于将由各个所述作业特征向量的修正系数组成的修正系数向量与所述作业特征向量的序列中每个所述作业特征向量进行相乘以获得由修正作业特征向量组成的修正作业特征向量的序列；二次编码单元，用于将所述修正作业特征向量的序列中各个所述修正作业特征向量输入所述解码器以获得各个所述修正作业特征向量归属于各个重要性标签的概率值；重要性确定单元，用于从各个所述修正作业特征向量归属于各个重要性标签的概率值中选取最大概率值对应的重要性标签作为所述修正作业特征向量的序列对应的批量作业的重要性；以及调度结果生成单元，用于基于所述批量作业的重要性，确定所述各批量作业的调度和处理顺序；其中，所述第一语义编码单元，包括：第一词嵌入子单元，用于将每个所述作业的作业描述分词后通过所述语义理解模型的词嵌入模型以获得每个所述作业的作业描述对应的输入向量的序列；以及第一上下文编码子单元，用于将每个所述作业的作业描述对应的输入向量的序列通过所述语义理解模型的基于转换器的Bert模型以获得每个所述作业的作业描述对应的所述作业特征向量的序列；其中，所述第二语义编码单元，包括：第二词嵌入子单元，用于将每个所述业务应用系统的系统描述分词后通过所述语义理解模型的词嵌入模型以获得每个所述业务应用系统的系统描述对应的输入向量的序列；以及第二上下文编码子单元，用于每个所述业务应用系统的系统描述对应的输入向量的序列通过所述语义理解模型的基于转换器的Bert模型以获得每个所述业务应用系统的系统描述对应的所述作业特征向量的序列。

全文数据：

权利要求：

百度查询： 帝杰曼科技股份有限公司 大数据分布式任务调度系统及其调度方法