龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：四川大学
摘要：本发明公开了一种面向医学大模型压缩的混合动态剪枝方法，采用基于混合稀疏预测的稀疏预测器，相比其他单纯基于动态稀疏预测的动态剪枝方法具有降低性能损失的优势。有效解决目前医学大模型压缩后性能下降严重的问题，并提高模型推理速度，为实现高稀疏化，高性能的大模型在实际应用的推广和应用提供了可行的解决方案。
主权项：1.一种面向医学大模型压缩的混合动态剪枝方法，其特征在于，包括以下步骤：S1、构建医学大模型；所述医学大模型中的每层大模型块包括多头注意力层和前馈神经网络层；S2、对医学大模型的输入文本进行嵌入编码和位置编码后，将其作为医学大模型的第一训练数据进行前向推理，并在前向推理过程中保存注意力头序列和神经元序列；其中，将注意力头序列、神经元序列和输入文本组成第二训练数据；S3、构建混合稀疏预测器，包括动态稀疏预测器和静态稀疏预测器；S4、利用第二训练数据对动态稀疏预测器进行训练，并预测输出各多头注意力层中所有注意力头和前馈神经网络层中所有神经元的动态重要性排序；S5、利用静态稀疏预测器预测输出各多头注意力层中所有注意力头和前馈神经网络层中所有神经元的静态重要性排序；S6、根据动态重要性排序和静态重要性排序，确定各层大模型块的稀疏掩码，并根据其对医学大模型进行剪枝，得到压缩后的医学大模型。
全文数据：
权利要求：
百度查询： 四川大学 一种面向医学大模型压缩的混合动态剪枝方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号