买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种数据自采集的模型推理服务系统及方法，包括：按照异步推理服务器部署模型环境场景，自适应选择系统可识别的模型依赖库文件，获取训练后持久化存储模型；根据推理任务选择调用设定格式规范；设定异步推理输入接口源，配置接口相应参数，进行异步推理接口数据输入；配置准备接入的数据库及接口源，在输入数据库连接信息后进行连接测试；自动判定连接测试结果，进行异步推理数据库表数据输入；根据异步推理接口数据输入及异步推理数据库表数据输入，选择多个训练后持久化存储模型所在容器资源配额及每个模型的部署节点数，判定是否有重复数据字段，进行数据自采集模型部署异步推理服务；具备良好的扩展性和并发处理能力。

主权项：1.一种数据自采集的模型推理服务系统，其特征在于，包括：持久化模型创建分系统，按照异步推理服务器部署模型环境场景，自适应选择系统可识别的模型依赖库文件，进行模型训练后持久化存储，获取训练后持久化存储模型；根据推理任务选择调用设定格式规范，按照设定格式规范制定模型基本描述文件；异步推理接口数据输入分系统，设定异步推理输入接口源，配置接口相应参数，进行模型的异步推理接口数据输入；异步推理数据库表数据输入分系统，配置准备接入的数据库及接口源，在输入数据库连接信息后进行连接测试；自动判定连接测试结果，进行模型的异步推理数据库表数据输入；配额部署异步推理分系统，根据异步推理接口数据输入及异步推理数据库表数据输入，选择多个训练后持久化存储模型所在容器资源配额及每个模型的部署节点数，判定是否有重复数据字段，进行数据自采集模型部署异步推理服务；异步推理接口数据输入分系统包括：异步推理输入接口源子系统，根据模型基本描述文件，设定异步推理输入接口源；异步推理输入接口源包括：实时接口及异步接口；设定异步推理输入接口源包括：对于实时接口，提供同步接口所返回的数据demo进行系统平台解析；对于异步接口，提供异步接口所返回的数据demo进行系统平台解析，增设ID列，指定ID列以供推理服务确定数据走向；接口相应参数配置子系统，根据异步推理输入接口源和模型接口要求，获取接口相应参数；配置接口相应参数；接口相应参数包括：接口请求参数、接口请求头及接口身份验证凭据；异步推理接口数据子系统，配置接口相应参数，进行异步推理接口数据输入；当系统收到用户在解析设置处输入的接口报文后，系统将直接把报文全部进行解析，列出用户在数据结构列表中删除和修改所需挑选字段；接口源的权限逻辑与数据库的权限逻辑保持一致，交互操作保持一致；执行后端数据拼接逻辑步骤，分别从实时接口获取数据、从数据库获取数据及从异步取数平台获取数据并向模型预测平台发送请求，进行数据合并和预处理，执行模型部署异步推理服务；从实时接口获取数据包括：构建请求；发送请求同时等待接口的响应；等待响应；接收响应；应用程序解析响应，提取所需的数据；数据处理：获取到的数据进行数据处理；提取所需字段，并将数据添加到中间数据结构中；从数据库获取数据包括：连接到数据库；构建查询；执行查询；获取查询结果数据集；数据处理：将查询结果数据集数据转换为待推理数据结构；从异步取数平台获取数据并向模型预测平台发送请求包括：发送异步请求到异步取数平台；异步取数平台处理请求；等待数据取数完成；获取数据取数结果；构建请求到模型预测平台；通过模型预测平台处理请求，模型预测平台接收到请求后，开始处理数据，提取所需字段，并将数据添加到中间数据结构中；处理数据包括：解析JSON或XML响应；配额部署异步推理分系统包括：流量分配资源配额子系统，根据异步推理接口数据输入及异步推理数据库表数据输入，设置多个训练后持久化存储模型之间的流量分配方式，选择多个训练后持久化存储模型所在容器资源配额；节点数部署参数映射子系统，选择每个模型的部署节点数；根据数据来源选择异步推理接口数据输入与异步推理数据库表数据输入；对异步推理接口数据输入与异步推理数据库表数据输入设置参数映射以通过主键获取相应数据，并选择是否在结果中输出参数；采集部署异步推理子系统，在输出卡片中选择所需数据，判定是否有重复数据字段；当不存在重复数据字段，直接进行模型推理输出；当存在重复数据字段，选择其中一个数据字段作为模型推理最终输出；进行数据自采集模型部署异步推理服务；流量分配方式包括：按概率随机分配或根据接口请求头信息指定分配；异步模型所在容器资源配额包括：CPU核心数及内存用量。

全文数据：

权利要求：

百度查询： 深圳市魔数智擎人工智能有限公司 一种数据自采集的模型推理服务系统及方法