龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江大学;上海人工智能创新中心
摘要：本发明提出了一种异构多模态混合专家适配器，将传统单一类型的多模态MoE架构转变为多种专家类型的组合。该适配器将每个专家的输入从单一模态扩展到多个模态，实现每个专家内部的跨模态交互。具体地，本发明引入了包括交叉注意力专家和通道注意力专家在内的异构专家结构，将不同模态的输入映射到低秩空间，在该空间中进行模态交互融合，再映射回原始维度，使可训练参数能够有效调整冻结预训练模型的梯度，充分利用不同模态间的协同交互。全局路由器为每组专家分配权重，局部组路由器控制每个专家的门控权重。该适配器可集成到多模态预训练模型的编码器层中，在下游任务上仅微调可训练参数，保持推理阶段参数量基本不变。
主权项：1.一种异构多模态混合专家适配器，用于对多模态语言模型进行精细调优，其特征在于，所述多模态语言模型包括编码器和解码器，编码器包括多个编码器层，所述异构多模态混合专家适配器插入各个编码器层中；所述异构多模态混合专家适配器由全局路由器、局部路由器和多个专家组组成，所述专家组包括单模态专家组、交叉注意力专家组和通道注意力专家组，每个专家组包含M个相应类型的专家；所述单模态专家组中的单模态专家用于对输入的第一模态嵌入特征或第二模态嵌入特征进行单模态表示学习，所述交叉注意力专家组中的交叉注意力专家用于在低秩空间内对第一模态嵌入特征和第二模态嵌入特征进行交叉注意力融合，所述通道注意力专家组中的通道注意力专家用于对第一模态嵌入特征和第二模态嵌入特征的通道维度进行注意力加权；所述全局路由器用于为不同专家组分配全局路由混合权重系数，所述局部路由器用于激活每个专家组中的K个专家并为该K个专家分配局部路由混合权重系数；所述专家组中被激活的专家的输出通过局部路由混合权重系数进行加权求和，作为该专家组的输出，各专家组的输出通过全局路由混合权重系数进行加权求和，作为所述适配器的输出，适配器的输出结果参与编码器层的运算处理。
全文数据：
权利要求：
百度查询： 浙江大学 上海人工智能创新中心 一种异构多模态混合专家适配器
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号