龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：云从科技集团股份有限公司
摘要：本发明涉及深度神经网络的量化推理，具体提供一种用于深度神经网络的混合精度量化策略确定方法和系统，旨在解决现有方法不能针对特定神经网络模型准确地自动筛选出最佳混合精度量化策略的问题。为此目的，本发明的方法包括：设定深度神经网络的推理精度阈值和推理时间阈值；确定硬件能够支持的多个不同的量化精度；用每一种量化精度迭代所有层并记录每次迭代的实际推理精度和实际推理时间，针对每一层筛选出实际推理精度大于推理精度阈值且实际推理时间小于推理时间阈值的所有量化精度；将筛选出的量化精度的组合中的一个确定为最终的混合精度量化策略。使用本发明的方法可以简单快速地完成最佳量化策略的搜索，极大地减少人力和降低时间成本。
主权项：1.一种用于深度神经网络的混合精度量化策略确定方法，其特征在于，所述方法包括下列步骤：设定所述深度神经网络的推理精度阈值和推理时间阈值；确定运行所述深度神经网络的硬件能够支持的多个不同的量化精度；在将测试数据输入所述深度神经网络进行推理的过程中，用每一种量化精度迭代所述深度神经网络的所有层并记录每次迭代时所述深度神经网络的实际推理精度和实际推理时间，针对每一层筛选出实际推理精度大于所述推理精度阈值且实际推理时间小于所述推理时间阈值的所有量化精度；将针对所有层筛选出的量化精度的多个不同组合中的一个确定为所述混合精度量化策略；其中，“用每一种量化精度迭代所述深度神经网络的所有层”的步骤具体包括：在用最高量化精度对其他层进行推理的前提下，用每一种量化精度对所述深度神经网络的每一层分别进行推理；“将针对所有层筛选出的量化精度的多个不同组合中的一个确定为所述混合精度量化策略”的步骤具体包括：用针对所有层筛选出的量化精度的多个不同组合中的每一个分别对所述深度神经网络进行推理，并记录每次推理的实际推理精度和实际推理时间；筛选出实际推理精度大于所述推理精度阈值且实际推理时间小于所述推理时间阈值的一个或多个组合，作为所述混合精度量化策略。
全文数据：
权利要求：
百度查询： 云从科技集团股份有限公司 用于深度神经网络的混合精度量化策略确定方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号