恭喜北京时代民芯科技有限公司;北京微电子技术研究所孟晓获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜北京时代民芯科技有限公司;北京微电子技术研究所申请的专利一种面向深度学习编译器的算子优化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN112598121B 。
龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202011519732.3,技术领域涉及:G06F8/41;该发明授权一种面向深度学习编译器的算子优化方法是由孟晓;陈雷;于立新;秦智勇;华阳;庄伟;陈勃旭设计研发完成,并于2020-12-21向国家知识产权局提交的专利申请。
本一种面向深度学习编译器的算子优化方法在说明书摘要公布了:本发明一种面向深度学习编译器的算子优化方法,基于深度学习框架ONNX定义中间表示的数据结构,并对所述中间表示的数据结构进行解析,得到中间表示IR,用于表示不同的运算算子;根据中间表示IR,进行面向硬件的修改,解析出面向深度学习芯片的硬件融合结点,作为硬件融合算子;根据中间表示IR和解析出的算子,依次进行算子融合、算子调度和算子分组,得到优化后的算子,实现面向深度学习编译器的高效算子优化。通过本发明中的中间表示的定义和解析,才能将不同深度学习框架中的模型转化中相同的数据结构表示的算子,通过算子融合,算子调度和算子分组的优化方法,实现神经网络模型的算子在芯片中的高效执行。
本发明授权一种面向深度学习编译器的算子优化方法在权利要求书中公布了:1.一种面向深度学习编译器的算子优化方法,其特征在于步骤如下:1基于深度学习框架ONNX定义中间表示的数据结构,并对所述中间表示的数据结构进行解析,得到中间表示IR,用于表示不同的运算算子;2根据中间表示IR,解析出面向深度学习编译器的硬件融合结点,作为硬件融合算子;具体为:将中间表示的Graph和Node数据结构中相邻的算子融合成一个硬件算子,作为硬件融合算子,该相邻的算子中不包含任何分支结构;除Graph中第一个算子外其他包含在硬件算子里的算子都有且只有一个父结点,除最后一个算子外其他包含在硬件算子里的算子都有且只有一个子结点;3根据步骤1的中间表示IR和步骤2解析出的算子,依次进行算子融合、算子调度和算子分组,得到优化后的算子,实现面向深度学习芯片的编译器的高效算子优化;进行算子融合,具体为:使用一个有限状态机实现硬件融合算子的生成,其初始状态定义为fused1,当下一个点可以融合时跳到状态fused2,再下一个点可以融合时跳到状态fused3,再下一个点可以融合时跳到fused4;中间任意一步发现不能融合以及在fused4状态时都会跳回fused1;从其他状态跳到fused1时,生成一个硬件融合结点,作为硬件融合算子,从而实现算子融合;进行算子调度,具体为:采用深度优先的拓扑排序算法,将经过算子融合的中间表示Graph和Node作为输入,输出一个包含所有结点的列表,其中包括输入结点,列表当中的先后次序代表了各个结点被执行的次序;进行算子分组,具体为:将经过算子调度的结点列表作为输入,算子分组的输出是一个结点组构成的列表,每个结点组由若干个CPU类型的结点或若干个NPU类型的结点构成,输入结点不被放到结点组当中。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京时代民芯科技有限公司;北京微电子技术研究所,其通讯地址为:100076 北京市丰台区东高地四营门北路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。