龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京大学
摘要：本发明公开了一种基于忆阻器的大模型存算一体加速方法及其适配的数据流处理方法，该方法将大模型内的庞大参数量，以分布式的方式卸载到忆阻器存算一体架构上，该架构将存储分为多个层次，存算一体模块、计算核心、单片和忆阻器阵列级别，以使用相同的架构承载不同的网络结构。在这一架构的基础上，本发明对以GPT‑3为例的大模型进行算子拆解，并设计数据流最大化并行利用硬件资源，达到大模型加速的效果。本发明公开了上述架构和数据流设计，填补了当前大模型硬件加速在基于忆阻器的存算一体系统上的架构空白和数据流空白，促进存算一体技术和大模型技术的进一步发展。
主权项：1.一种基于忆阻器的大模型存算一体加速方法，其特征在于，1大模型进行算子拆解分为注意力机制部分和前馈神经网络部分，注意力部分拆解为QKV向量的计算、QK乘法、掩模、归一化指数函数、缩放、V乘法、投影、残差和层归一化步骤；前馈神经网络部分拆解为多层感知机的多个层、GeLU激活函数、残差和层归一化步骤；2若干忆阻器阵列组、一块MB量级静态随机存储器、一组近存计算电路和一块交互模块共同组成单裸片，若干裸片与一交互模块组成一个计算核心，若干计算核心、存算模块控制中心和交互模块组成一块存算一体模块，将步骤1中所述的注意力机制和前馈神经网络分别部署在若干块存算一体模块上；3在实际大模型加速过程中，将若干个计算核心编为一组，每个注意力编组和前馈网络编组所能够处理的输入向量大小一致，在大模型的持续推断过程中，每一个或几个编组内部的计算核心各自负责总体推断过程中的一个步骤，将模型推断任务拆分为多步骤、多子向量进行，所有的编组同时工作，不同步骤之间采用流水并行的方式，不同子向量之间采用多个子向量并行进行计算。
全文数据：
权利要求：
百度查询： 北京大学 基于忆阻器的大模型存算一体加速方法及其适配的数据流处理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号