龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：建信金融科技有限责任公司
摘要：本申请提供了一种推理框架的调用方法和调用装置，可以用于人工智能技术领域，有利于降低人工智能推理模型的应用难度，减少用户使用人工智能推理模型的时间，提高人工智能推理模型的应用效率。该方法应用于包括API的推理设备，包括：推理设备基于API，获取推理模型的运行参数；推理设备基于API，初始化推理设备；推理设备利用推理模型的运行参数，生成计算图，并根据计算图，得到输入张量；推理设备获取输入数据，并利用输入数据对输入张量赋值，得到赋值后的输入张量；推理设备将赋值后的输入张量输入至计算图，得到输出张量，并根据输出张量得到推理结果。
主权项：1.一种推理框架的调用方法，其特征在于，应用于包括应用程序接口API的推理设备，所述API是对推理框架的推理过程进行封装得到的，所述方法包括：所述推理设备基于所述API，获取推理模型的运行参数；所述推理设备基于所述API，获取初始化所述推理设备；所述推理设备利用所述推理模型的运行参数，生成计算图，并根据所述计算图，得到输入张量；所述推理设备获取输入数据，并利用所述输入数据对所述输入张量赋值，得到赋值后的输入张量；所述输入数据是图片；所述推理设备将所述赋值后的输入张量输入至所述计算图，得到输出张量；所述推理设备根据所述输出张量，得到推理结果；所述根据所述计算图，得到输入张量，包括：所述推理设备根据所述计算图，获取所述输入张量的以下至少一个信息：个数、形状、数据布局、数据类型或者存储位置；所述推理设备根据所述至少一个信息，创建所述输入张量；或者，所述推理设备根据所述至少一个信息，获取所述输入张量的引用句柄；所述推理设备根据所述输入张量的引用句柄，得到所述输入张量；所述方法还包括：所述推理设备判断所述输入数据中是否存在未推理的数据；在不存在所述未推理的数据的情况下，所述推理设备释放生成所述计算图对应的资源；其中，所述输入张量和所述输出张量统一通过句柄表示；所述API以以下至少一种形式存在：动态链接库、静态链接库或者可执行文件。
全文数据：
权利要求：
百度查询： 建信金融科技有限责任公司 推理框架的调用方法和调用装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号