买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利一种基于序列依赖层级传播机制的大模型优化方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120066802B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510541168.1，技术领域涉及：G06F9/50；该发明授权一种基于序列依赖层级传播机制的大模型优化方法及系统是由史玉良;李武;程林;管永明;吕梁;王新军;孔凡玉;陈志勇设计研发完成，并于2025-04-28向国家知识产权局提交的专利申请。

本一种基于序列依赖层级传播机制的大模型优化方法及系统在说明书摘要公布了：本申请提供了一种基于序列依赖层级传播机制的大模型优化方法及系统，涉及大语言模型技术领域，大模型包括表示学习模块和下游任务模块，表示学习模块的具体步骤为：对输入的文本进行自然语言处理，得到词向量序列；基于序列依赖层级传播机制，将词向量序列进行均匀分块，分别使用片段间与片段内的注意力机制，生成Key矩阵和Value矩阵；利用Key矩阵和Value矩阵，进行Transformer的注意力机制计算，得到最终的序列表示，作为下游任务模块的输入。本发明引入序列依赖层级传播机制，将序列划分为多个块，并在这些块内和块间有效学习序列依赖关系，从而显著降低了传统自注意力机制的计算复杂度，并有效减少了内存占用。

本发明授权一种基于序列依赖层级传播机制的大模型优化方法及系统在权利要求书中公布了：1.一种基于序列依赖层级传播机制的大模型优化方法，所述大模型包括表示学习模块和下游任务模块，其特征在于，所述表示学习模块的具体步骤为： 对输入的文本进行自然语言处理，得到词向量序列； 基于序列依赖层级传播机制，将词向量序列进行均匀分块，分别使用片段间与片段内的注意力机制，生成矩阵和矩阵，具体步骤为： 为词向量序列进行高维嵌入和位置编码，得到包含位置信息的嵌入表示； 对包含位置信息的嵌入表示进行填充，将填充后的嵌入表示进行均匀分块，并对每个块进行均值池化，得到初步的片段级表示； 对初步的片段级表示分别使用片段间注意力机制与片段内注意力机制，得到最终的片段间表示与细粒度的片段内表示； 所述片段间注意力机制，是获取片段间依赖关系，通过计算不同段之间的注意力分布，得到最终的片段级表示； 所述片段内注意力机制，是获取片段内依赖关系，通过在各个片段内计算注意力矩阵，获取细粒度的片段内表示； 拼接片段间表示与片段内表示，得到Key矩阵和Value矩阵； 利用矩阵和矩阵，进行Transformer的注意力机制计算，得到最终的序列表示，作为下游任务模块的输入，用于进行具体的下游任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：250000 山东省济南市历下区经十路17923号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。