昆仑芯(北京)科技有限公司冯晨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉昆仑芯(北京)科技有限公司申请的专利数据处理方法、训练注意力计算的方法、装置、设备和介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118113225B 。
龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410324562.5,技术领域涉及:G06F3/06;该发明授权数据处理方法、训练注意力计算的方法、装置、设备和介质是由冯晨;高大珩;何严广;李宇鹏设计研发完成,并于2024-03-20向国家知识产权局提交的专利申请。
本数据处理方法、训练注意力计算的方法、装置、设备和介质在说明书摘要公布了:本公开提供了一种数据处理方法、训练注意力计算的方法、装置、设备和介质,涉及芯片技术领域,尤其涉及人工智能技术领域。实现方案为:将第一数据块集合加载到第二存储器中,其中,第一数据块集合包括第一查询数据块、第一键数据块和第一值数据块;将第一查询数据块和第一键数据块分别划分为多个查询子数据块和多个键子数据块;对于每个查询子数据块,基于该查询子数据块与对应于该查询子数据块的各个下部子数据块,生成对应于该查询子数据块的各个分数子数据块;对于各个分数子数据块中的一个或多个对角子数据块,生成对应于该对角子数据块的掩码子数据块;以及基于第一分数数据块和第一值数据块,生成对应于第一数据块集合的输出数据块。
本发明授权数据处理方法、训练注意力计算的方法、装置、设备和介质在权利要求书中公布了:1.一种数据处理方法,用于对存储在第一存储器中的查询数据、键数据和值数据进行注意力计算,所述查询数据包括多个查询数据块,所述键数据包括多个键数据块,所述值数据包括多个值数据块,所述方法包括: 将第一数据块集合加载到第二存储器中,其中,所述第一数据块集合包括第一查询数据块、第一键数据块和第一值数据块,所述第二存储器的访问速度大于所述第一存储器的访问速度; 将所述第一查询数据块和所述第一键数据块分别划分为多个查询子数据块和多个键子数据块,其中,所述多个查询子数据块和所述多个键子数据块的尺寸相同; 对于每个查询子数据块,基于该查询子数据块与对应于该查询子数据块的各个下部子数据块,生成对应于该查询子数据块的各个分数子数据块,其中,对应于该查询子数据块的下部子数据块为所述多个键子数据块中的数据的索引小于或等于该查询子数据块中的数据的索引的键子数据块; 对于所述各个分数子数据块中的一个或多个对角子数据块,对每个对角子数据块中的列索引大于行索引的数据进行掩码,以生成对应于该对角子数据块的掩码子数据块,其中,所述对角子数据块在所述各个分数子数据块中的行索引等于所述对角子数据块在各个分数子数据块中的列索引;以及 基于第一分数数据块和所述第一值数据块,生成对应于所述第一数据块集合的输出数据块,其中,所述第一分数数据块包括所述各个分数子数据块中的除所述一个或多个对角子数据块之外的分数子数据块和对应于所述一个或多个对角子数据块的掩码子数据块。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人昆仑芯(北京)科技有限公司,其通讯地址为:100101 北京市海淀区上地十街10号1幢4层CW区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。