恭喜北京麟卓信息科技有限公司钟阳宇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜北京麟卓信息科技有限公司申请的专利一种基于芯片架构感知算子实测反馈的智能模型优化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119378630B 。
龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411960626.7,技术领域涉及:G06N3/08;该发明授权一种基于芯片架构感知算子实测反馈的智能模型优化方法是由钟阳宇;温研;杜凯;刘忠新;邓强;季欣然设计研发完成,并于2024-12-30向国家知识产权局提交的专利申请。
本一种基于芯片架构感知算子实测反馈的智能模型优化方法在说明书摘要公布了:本发明公开了一种基于芯片架构感知算子实测反馈的智能模型优化方法,将通用算子在目标硬件平台上进行性能测试选择其中执行时间短的算子建立优选通用算子库,将待优化模型中各算子在目标硬件平台上进行实测,根据反馈的结果形成剔除算子列表,采用优选通用算子库中的算子替换剔除算子列表中的算子;采用构建的测试数据对待优化模型进行测试形成第一算子序列及第二算子序列,对待优化模型进行常量融合及冗余算子移除,最后再基于第一算子序列及第二算子序列对待优化模型执行算子重构完成优化,在目标硬件平台内算子实测反馈的基础上实现了能够感知芯片架构的智能模型优化。
本发明授权一种基于芯片架构感知算子实测反馈的智能模型优化方法在权利要求书中公布了:1.一种基于芯片架构感知算子实测反馈的智能模型优化方法,其特征在于,包括以下步骤:步骤1、在目标硬件平台上执行智能模型通用算子,由同类算子中执行时间最短的算子形成优选通用算子库;将待优化模型中从输入节点到输出节点所需执行的算子集合作为主干序列,由其中的算子形成算子列表,算子列表中保存算子名称、算子输入、算子输出、算子参数及目标硬件平台显存容量;步骤2、记录算子列表中算子在目标硬件平台上的执行时间,由无法执行的算子形成剔除算子列表,将剔除算子列表中的算子从算子列表中删除;根据剔除算子列表中算子的类型在优选通用算子库中选取同类算子作为替代算子,将替代算子添加到算子列表中;为算子列表中的算子增加算子参数构建测试数据集,每轮测试遍历测试数据集中的所有数据,将测试轮数r及测试次数t均设置为0,设定算子输入的数据访问方式;步骤3、选取测试数据集中测试数据作为当前测试数据,更新当前测试数据的取值、扩展各算子输入的尺寸;若当前测试数据中算子输入的尺寸不大于第一尺寸则使用目标硬件平台的L1缓存加载当前测试数据,若当前测试数据中算子输入的尺寸大于第一尺寸且小于第二尺寸则使用目标硬件平台的L3缓存完成加载,若当前测试数据中算子输入的尺寸大于或等于第二尺寸则将算子输入分割为多个尺寸较小的算子输入后使用目标硬件平台的L2缓存完成加载;然后完成算子列表Lop中各算子的测试,记录各算子的执行时间,令t自加1;步骤4、若t小于设定次数则执行步骤3;否则改变数据访问方式后,令r自加1,执行步骤5;步骤5、若测试数据集中存在未被选择的数据则执行步骤3;否则,当r不大于设定轮数时执行步骤3,当r大于设定轮数时执行步骤6;步骤6、根据得到的各算子的执行时间,将功能及算子输入尺寸均相同的算子按照执行时间由小到大排序得到第一算子序列,将具有不同算子输入及不同算子参数的同一算子按照执行时间由小到大排序得到算子对应的第二算子序列;步骤7、将待优化模型中算子输入为常量的算子记为常量算子,将起始算子和终止算子均为常量算子且起始算子与终止算子之间的算子不改变起始算子的输出的算子序列记为常量算子序列,采用起始算子替换常量算子序列;将待优化模型中主干序列之外的位于算子序列末端且不影响模型输出的算子记为冗余算子,将最接近主干序列的算子记为近主干算子,剔除以冗余算子和近主干算子为端点的算子序列;步骤8、遍历待优化模型,根据第一算子序列采用排序靠前的算子替换排序靠后的算子,然后根据排序靠前算子对应的第二算子序列选择最佳的算子输入及算子参数替换当前采用的算子输入及算子参数,得到中间模型;对中间模型进行训练,若精度未达到设定阈值则执行步骤9,否则该中间模型即为完成优化的模型记为结果模型,结束本流程;步骤9、选择主干序列上的算子,采用算子组合替换或增加算子参数提高该算子的计算精度,再对模型进行训练,若精度未达到设定阈值则执行步骤8,否则该中间模型即为已完成优化的模型记为结果模型,结束本流程。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京麟卓信息科技有限公司,其通讯地址为:100085 北京市海淀区西三旗昌临801号27号3层310、312;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。