恭喜之江实验室王芬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜之江实验室申请的专利一种众核环境下自适应的dw类型算子数据分布方法和装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119166948B 。
龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411629645.1,技术领域涉及:G06F17/10;该发明授权一种众核环境下自适应的dw类型算子数据分布方法和装置是由王芬;张吴越;尤春波;陈敏珍;江宇薇;顾宬;毕磊;周超设计研发完成,并于2024-11-15向国家知识产权局提交的专利申请。
本一种众核环境下自适应的dw类型算子数据分布方法和装置在说明书摘要公布了:本发明公开一种众核环境下自适应的dw类型算子数据分布方法和装置,通过获取参与计算的硬件设备参数以及计算任务参数,根据x和dy的形状搜索适应硬件设备参数的数据分布;根据数据分布和单次取数大小,将输入数据划分为多个块进行计算,最后根据得到的数据分布选择规约维度和连接写回维度写回。本发明能够针对计算芯片和参与计算的数据参数,自适应的搜索适应计算的数据分布,从而减少了因数据分布不合理导致的额外数据传输的开销,从而优化了算子性能。
本发明授权一种众核环境下自适应的dw类型算子数据分布方法和装置在权利要求书中公布了:1.一种众核环境下自适应的dw类型算子数据分布方法,其特征在于,包括:步骤一:获取参与计算的硬件设备参数以及计算任务参数;步骤二:根据所述计算任务参数中的前向传播的输入特征图x和反向传播的输入特征图dy的形状搜索适应硬件设备参数的数据分布;步骤三:根据步骤二的硬件设备参数的数据分布和单次取数大小,将输入数据划分为多个块进行计算;步骤四:根据所述步骤二得到的数据分布选择规约维度和连接写回维度写回;所述步骤一中,参与计算的硬件设备参数包括计算芯片核组包含的计算资源个数、计算资源编号、计算资源的行列分布参数;计算任务参数包括输入特征图x和dy的维度和形状、卷积核的尺寸、步长,以及x和dy共同的累加维度、x和dy各自的非累加维度;所述步骤二具体包括首先比较计算资源核组列上的计算资源个数COL与计算资源核组行上的计算资源个数ROW的大小,然后在COLROW和COL=ROW这两种情况下均继续执行如下操作:首先判断是否切分输入特征图x的通道大小C维度,然后判断是否切分输入特征图dy的通道大小M维度,最后判断是否切分累加维度N*H*W和N*E*F*R*S;其中,N表示BatchSize批次大小,H表示输入特征图x的高度,W表示输入特征图x的宽度,E表示输入特征图dy的高度,F表示输入特征图dy的宽度,R表示输入卷积核的高度,S表示输入卷积核的宽度;当COLROW时,判断是否切分C维度具体包括:判断C与乘法计算单元左矩阵行MXU_LEFT_ROW的大小,若CMXU_LEFT_ROW,则不切分C的维度;否则,切分C维度,具体的切分策略为:判断CMXU_LEFT_ROW与ROW的关系:若CMXU_LEFT_ROW=ROW,则切分C维度,对x进行列广播,各列上计算单元持有大小为ceilCMXU_LEFT_ROW*N*H*W的x;其中,ceil为向上取整函数;若CMXU_LEFT_ROWROW,进一步判断C与M的关系:若CM,则对x进行列广播,各列上计算单元持有大小为ceilCMXU_LEFT_ROW*N*H*W的x;若C=M,不切分C维度;从而完成C维度切分情况的判断;当COLROW时,判断是否切分M维度的具体包括:若C*M=max(N*H*W,N*E*F*R*S),则不切分M的维度;若C*Mmax(N*H*W,N*E*F*R*S),则进一步判断MMXU_RT_COL与COL的关系;其中,MXU_RT_COL表示乘法计算单元右矩阵列;若MMXU_RT_COLCOL,则不切分M维度;若MMXU_RT_COL=COL,则切分M维度,行广播dy,使得各行上计算单元持有大小为ceilMMXU_RT_COL*N*E*F*R*S的dy;从而完成M维度切分情况的判断;当COLROW时,判断是否切分累加维度N*H*W和N*E*F*R*S的子步骤具体包括:若C和M维度皆被切分,则不切分累加维度N*H*W和N*E*F*R*S;若C和M维度均未被切分,则同时切分累加维度N*H*W和N*E*F*R*S;切分后每列计算单元持有大小为N*H*WCOL的x和N*E*F*R*SCOL的dy;进一步判断C、M大小,若CM,列广播存储x,列分布存储dy,反之,则列广播存储dy,列分布存储x;若C和M有且只有一个维度没有切分,则同时切分累加维度N*H*W和N*E*F*R*S;切分后,每列计算单元持有大小为N*H*WROW的x和N*E*F*R*SROW的dy;当COL=ROW时,判断是否切分C维度具体包括:判断C与MXU_LEFT_ROW的大小,若CMXU_LEFT_ROW,则不切分C维度;否则,切分C维度,具体的切分策略为:判断CMXU_LEFT_ROW与COL的关系:若CMXU_LEFT_ROW=COL,则切分C维度,对x进行行广播,各行上计算单元持有大小为ceilCMXU_LEFT_ROW*N*H*W的x;若CMXU_LEFT_ROWCOL,则进一步判断C与M的关系,若CM,则对x进行行广播,各行上计算单元持有大小为ceilCMXU_LEFT_ROW*N*H*W的x;若C=M,不切分C维度;从而完成C维度切分情况的判断;当COL=ROW时,判断是否切分M维度具体包括:若C*M=max(N*H*W,N*E*F*R*S),则不切分M维度;若C*Mmax(N*H*W,N*E*F*R*S),则进一步判断MMXU_RT_COL与ROW的关系;若MMXU_RT_COLROW,则不切分M维度;若MMXU_RT_COL=ROW,则切分M维度,列广播dy,使得各列上计算单元持有大小为ceilMMXU_RT_COL*N*E*F*R*S的dy;从而完成M维度切分情况的判断;当COL=ROW时,判断是否切分累加维度N*H*W和N*E*F*R*S的子步骤具体包括:若C和M维度皆被切分,则不切分累加维度N*H*W和N*E*F*R*S;若C和M维度均未被切分,则同时切分累加维度N*H*W和N*E*F*R*S;切分后每列计算单元持有大小为N*H*WROW的x和N*E*F*R*SROW的dy;进一步判断C、M大小,若CM,行广播存储x,行分布存储dy,反之,则行广播存储dy,行分布存储x;若C和M有且只有一个维度没有切分,则同时切分累加维度N*H*W和N*E*F*R*S;切分后,每列计算单元持有大小为N*H*WCOL的x和N*E*F*R*SCOL的dy。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人之江实验室,其通讯地址为:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。