买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜鹏城实验室申请的专利多模态识别模型训练方法、多模态数据识别方法及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120068973B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510535064.X，技术领域涉及：G06N3/08；该发明授权多模态识别模型训练方法、多模态数据识别方法及相关设备是由蒋冬梅;黄思宏;魏骁勇;王耀威;蔡毅;胡孟豪;梁达勇;曾雨诗设计研发完成，并于2025-04-27向国家知识产权局提交的专利申请。

本多模态识别模型训练方法、多模态数据识别方法及相关设备在说明书摘要公布了：本申请实施例提出的多模态识别模型训练方法、多模态数据识别方法及相关设备，方法包括：获取多条多模态训练样本对；基于多模态识别模型中的多粒度输出模型，将每条多模态训练样本对进行第一特征提取和第二特征提取，得到对应处理粒度不同的第一特征数据和第二特征数据，将每个第一特征数据和对应的第二特征数据进行混合处理，得到多粒度混合输出；基于多模态识别模型中的特征级混合模型，将每条多模态训练样本对进行特征级混合处理，得到每条多模态训练样本对应的特征级混合输出；基于多粒度混合输出和特征级混合输出计算得到多模态损失，并基于多模态损失对多模态识别模型进行更新，有效地提高多模态数据的识别精准性。

本发明授权多模态识别模型训练方法、多模态数据识别方法及相关设备在权利要求书中公布了：1.一种多模态识别模型训练方法，其特征在于，所述方法包括： 获取多条多模态训练样本对，所述多模态训练样本对包括图像训练样本和对应的文本训练样本； 基于多模态识别模型中的多粒度输出模型，将每条所述多模态训练样本对进行第一特征提取，得到第一特征数据，将每条所述多模态训练样本对进行第二特征提取，得到第二特征数据，将每个所述第一特征数据和对应的所述第二特征数据进行混合处理，得到多粒度混合输出，所述第一特征提取和所述第二特征提取的处理粒度不同； 基于所述多模态识别模型中的特征级混合模型，将每条所述多模态训练样本对进行特征级混合处理，得到每条所述多模态训练样本对应的特征级混合输出； 基于所述多粒度混合输出和所述特征级混合输出计算得到多模态损失，并基于所述多模态损失对多模态识别模型进行更新； 所述将每个所述第一特征数据和对应的所述第二特征数据进行混合处理，得到多粒度混合输出，包括： 获取专家选择模型，将所述多模态训练样本对输入所述专家选择模型中进行图文关联处理，得到所述第一特征提取对应的第一特征权重和所述第二特征提取对应的第二特征权重； 基于所述第一特征权重和所述第一特征提取输出的乘积，再加上所述第二特征权重和所述第二特征提取输出的乘积，得到所述多粒度混合输出； 所述多模态识别模型的多层感知机为混合专家模块的多层感知机，所述将每条所述多模态训练样本对进行特征级混合处理，得到每条所述多模态训练样本对应的特征级混合输出，包括： 将所述多模态训练样本对输入所述特征级混合模型进行识别处理，得到多个特征专家模型输出，至少两个所述特征专家模型输出不同； 获取门控权重矩阵，基于所述门控权重矩阵和所述多个特征专家模型输出的乘积，并进行归一化处理得到门控参数； 累加所有的所述特征专家模型输出与对应的所述门控参数的乘积，得到所述特征级混合输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。