深圳鲲云信息科技有限公司焦黎获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳鲲云信息科技有限公司申请的专利基于多芯片并行计算的大语言模型的推理系统及方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121413779B 。
龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511971811.0,技术领域涉及:G06N5/04;该发明授权基于多芯片并行计算的大语言模型的推理系统及方法是由焦黎;蔡权雄;牛昕宇设计研发完成,并于2025-12-25向国家知识产权局提交的专利申请。
本基于多芯片并行计算的大语言模型的推理系统及方法在说明书摘要公布了:本发明提供一种基于多芯片并行计算的大语言模型的推理系统及方法,涉及人工智能技术领域。该系统包括:前置计算模块用于处理输入的指令信息,以生成待推理数据,其中,所述待推理数据为矩阵形式;专家并行模块用于将所述待推理数据发送到其中的加速器芯片中并确定所述加速器芯片各自对应的激活专家单元处理的子推理数据,以使所述激活专家单元基于对应的所述子推理数据进行计算,并确定完整的并行计算结果数据。本发明将输入数据广播给所有加速器芯片,每个加速器芯片根据设置的激活专家单元选取对应的输入数据进行计算,并通过所有加速器芯片之间的全局规约操作获得相同的完整计算结果,提升了整体运行的性能和效率。
本发明授权基于多芯片并行计算的大语言模型的推理系统及方法在权利要求书中公布了:1.一种基于多芯片并行计算的大语言模型的推理系统,其特征在于,包括: 前置计算模块,用于处理输入的指令信息,以生成待推理数据,其中,所述待推理数据为矩阵形式; 专家并行模块,包括多个加速器芯片,每个所述加速器芯片均设置有激活专家单元,所述专家并行模块基于所述待推理数据确定每个所述激活专家单元处理的子推理数据,以使所述激活专家单元基于对应的所述子推理数据进行计算,并确定并行计算结果数据; 所述专家并行模块中的所述多个加速器芯片之间能够进行信息交互; 所述加速器芯片用于检测基于所述待推理数据生成的专家标识符并根据所述专家标识符确定所述子推理数据对应的激活专家单元,并用于将每个所述子推理数据按照其对应的所述专家标识符分配至设置有对应的所述激活专家单元的加速器芯片上; 所述加速器芯片还用于执行其对应的运算,并将运算结果拆分为所述待推理数据对应的专家运算结果和待融合子结果,每个所述加速器芯片将所述专家运算结果发送至对应的其他加速器芯片,并接收所述其他加速器芯片发送的专家运算结果,将所述待融合子结果和所述其他加速器芯片发送的专家运算结果进行融合,以生成所述并行计算结果数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳鲲云信息科技有限公司,其通讯地址为:518048 广东省深圳市福田区福保街道福保社区市花路南侧长富金茂大厦1号楼1408;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励