龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：四川无际智慧科技有限公司
摘要：本发明实施例提出一种大语言模型稀疏化方法、装置、电子设备和存储介质，涉及人工智能技术领域。该方法为不同网络层配置不同的预测器，预测器基于不同的输入特征进行预测，充分考虑了不同输入特征以及不同网络层特征分布的差异，可以根据输入特征和网络特征灵活地选择适合的稀疏度。对于可供稀疏化程度高的输入采用较高的稀疏度以提高大语言模型的处理效率，而对于可供稀疏化程度低的输入采用较低的稀疏度以保证大语言模型的准确性，从而在大语言模型处理效率和准确性之间达到均衡效果。
主权项：1.一种大语言模型稀疏化方法，其特征在于，大语言模型包括多个网络层，每个所述网络层包含激活函数；所述方法包括：将输入文本拆分成多个token，并生成每个所述token的特征向量；将所述特征向量作为输入特征，将所述大语言模型的第一个网络层作为目标网络层；当所述目标网络层不存在预测器时，将所述目标网络层的权重矩阵作为稀疏权重；当所述目标网络层存在预测器时，将所述输入特征输入所述目标网络层的预测器得到每个所述输入特征的多个预设稀疏度对应的重要性，根据各所述输入特征的多个预设稀疏度对应的重要性确定目标稀疏度，根据所述目标稀疏度对应的遮罩对所述目标网络层的权重矩阵进行稀疏计算得到稀疏权重；所述遮罩用于稀疏化所述权重矩阵；将各所述输入特征和所述稀疏权重的乘积输入所述目标网络层的激活函数，并将所述激活函数的输出结果作为下一个网络层的所述输入特征，将下一个网络层作为所述目标网络层，逐层处理直至所述大语言模型的最后一个网络层，将最后一个网络层的激活函数的输出结果作为大语言模型的输出结果。
全文数据：
权利要求：
百度查询： 四川无际智慧科技有限公司 大语言模型稀疏化方法、装置、电子设备和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号