买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学;上海人工智能创新中心申请的专利一种异构多模态混合专家适配器获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118708381B 。

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410844715.9，技术领域涉及：G06F9/54；该发明授权一种异构多模态混合专家适配器是由夏炎;周洒帅;朱杰明;赵洲设计研发完成，并于2024-06-27向国家知识产权局提交的专利申请。

本一种异构多模态混合专家适配器在说明书摘要公布了：本发明提出了一种异构多模态混合专家适配器，将传统单一类型的多模态MoE架构转变为多种专家类型的组合。该适配器将每个专家的输入从单一模态扩展到多个模态，实现每个专家内部的跨模态交互。具体地，本发明引入了包括交叉注意力专家和通道注意力专家在内的异构专家结构，将不同模态的输入映射到低秩空间，在该空间中进行模态交互融合，再映射回原始维度，使可训练参数能够有效调整冻结预训练模型的梯度，充分利用不同模态间的协同交互。全局路由器为每组专家分配权重，局部组路由器控制每个专家的门控权重。该适配器可集成到多模态预训练模型的编码器层中，在下游任务上仅微调可训练参数，保持推理阶段参数量基本不变。

本发明授权一种异构多模态混合专家适配器在权利要求书中公布了：1.一种异构多模态混合专家适配器，用于对多模态语言模型进行精细调优，其特征在于，所述多模态语言模型包括编码器和解码器，编码器包括多个编码器层，所述异构多模态混合专家适配器插入各个编码器层中；所述异构多模态混合专家适配器由全局路由器、局部路由器和多个专家组组成，所述专家组包括单模态专家组、交叉注意力专家组和通道注意力专家组，每个专家组包含M个相应类型的专家；所述单模态专家组中的单模态专家用于对输入的第一模态嵌入特征或第二模态嵌入特征进行单模态表示学习，所述第一模态特征为文本模态特征，所述第二模态特征为视觉模态特征，所述交叉注意力专家组中的交叉注意力专家用于在低秩空间内对第一模态嵌入特征和第二模态嵌入特征进行交叉注意力融合，所述通道注意力专家组中的通道注意力专家用于对第一模态嵌入特征和第二模态嵌入特征的通道维度进行注意力加权；所述全局路由器用于为不同专家组分配全局路由混合权重系数，所述局部路由器用于激活每个专家组中的K个专家并为该K个专家分配局部路由混合权重系数；所述专家组中被激活的专家的输出通过局部路由混合权重系数进行加权求和，作为该专家组的输出，各专家组的输出通过全局路由混合权重系数进行加权求和，作为所述适配器的输出，适配器的输出结果参与编码器层的运算处理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学;上海人工智能创新中心，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。