买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浪潮软件集团有限公司

摘要：本发明公开一种基于国产CPU和OS的人工智能加速卡调度方法及装置，涉及资源调度技术领域，为更好的调度加速卡，采用方案涉及基于国产CPU和OS的服务器、部署于服务器的多张人工智能加速卡、部署于集群管理工具的调度中心；首先，将服务器作为推送视频流的客户端，人工智能加速卡作为监听客户端端口的tcp服务端；随后，建立tcp连接池，调度中心监控tcp连接池的剩余连接数；最后，客户端需要处理数据时，向调度中心发起请求，调度中心根据用户选择的调度策略给客户端分配tcp连接，客户端即可通过分配的tcp连接将采集的图像发送至相应的人工智能加速卡。本发明可以提高人工智能加速卡处理图像数据的效率。

主权项：1.一种基于国产CPU和OS的人工智能加速卡调度方法，其特征在于,其实现过程涉及基于国产CPU和OS的服务器、部署于服务器的多张人工智能加速卡、部署于集群管理工具的调度中心；首先，将服务器作为推送视频流的客户端，人工智能加速卡作为监听客户端端口的tcp服务端；随后，建立tcp连接池，调度中心监控tcp连接池的剩余连接数；最后，客户端需要处理数据时，向调度中心发起请求，调度中心根据用户选择的调度策略给客户端分配tcp连接，客户端即可通过分配的tcp连接将采集的图像发送至相应的人工智能加速卡；这一过程中，所述调度策略包括最少资源占比策略、加速卡亲和策略，其中：A所述最少资源占比策略由人工智能加速卡的利用率和模型数来决定，采用以下分段函数对人工智能加速卡的利用率进行处理： 其中，usage表示人工智能加速卡的利用率，其范围是0-1，这里只用sin函数部分，所以需要对利用率进行变换；当人工智能加速卡利用率大于80％时，速度会急速下降，系数是根据测试得到的；B采用加速卡亲和策略时，数据会依次发送给每张人工智能加速卡，人工智能加速卡在返回结果时会将计算时间返回给调度中心；调用中心会根据上一次的计算时间给出相应的概率，然后选取概率最大的人工智能加速卡作为目标加速卡；但当某张指定人工智能加速卡的利用率高于80％时，调度中心会为其更换目标加速卡；当所有人工智能加速卡利用率都高于80％时，调度中心会选择最初的概率最大的人工智能加速卡。

全文数据：

权利要求：

百度查询： 浪潮软件集团有限公司 一种基于国产CPU和OS的人工智能加速卡调度方法及装置