买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学;浙江大学滨江研究院申请的专利一种基于交叉监督的多模态数据分类方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115130591B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210773999.8，技术领域涉及：G06F18/241；该发明授权一种基于交叉监督的多模态数据分类方法及装置是由朱心洲;潘晓华;沈诗靖设计研发完成，并于2022-07-01向国家知识产权局提交的专利申请。

本一种基于交叉监督的多模态数据分类方法及装置在说明书摘要公布了：本发明公开了一种基于交叉监督的多模态数据分类方法，包括：步骤1、获取多模态数据，构建包含标已注数据和未标注数据的样本集；步骤2、以同一个网络结构为基础，构建第一分类模型与第二分类模型；步骤3、利用样本集，对第一分类模型与第二分类模型进行训练与参数调整；步骤4、采用已标注数据，分别训练获得的第一分类模型与第二分类模型进行测试，选取测试结果最好的模型作为最终的多模态数据分类模型；步骤5、将待分类的多模态数据输入至多模态数据分类模型，输出多模态数据对应的分类结果。本发明还提供了一种多模态数据分类装置。本发明提供的方法可以在小样本多模态数据的条件下，保证分类模型的鲁棒性、泛化能力及预测准确率。

本发明授权一种基于交叉监督的多模态数据分类方法及装置在权利要求书中公布了：1.一种基于交叉监督的多模态数据分类方法，其特征在于，包括：步骤1、获取多模态数据，并对部分多模态数据以文本，音频以及视频三个维度进行标签标注，构建包含已标注数据和未标注数据的样本集；步骤2、以同一个网络结构为基础，构建第一分类模型与第二分类模型，所述第一分类模型与所述第二分类模型的参数初始化方式不同；步骤3、利用步骤1构建的样本集，对步骤2构建的第一分类模型与第二分类模型进行训练与参数调整，所述训练包括监督训练和交叉监督训练，所述交叉监督训练包括预测结果交叉监督与跨模态交叉监督，所述预测结果交叉监督是使用第一分类模型和第二分类模型分别对无标注数据进行预测，并交换各自的预测结果作为训练数据标签进行监督训练，以最小化两个模型预测结果之间的差距，综合考虑各自交叉损失函数的结果反向传播更新梯度进行模型参数的更新，所述跨模态交叉监督是针对数据的模态进行分离重构，获得部分模态数据，使用第一分类模型和第二分类模型分别对所述部分模态数据进行预测，以最小化两个模型预测结果之间的差距，综合考虑各自交叉损失函数的结果反向传播更新梯度进行模型参数的更新；步骤4、采用已标注数据，分别对步骤3训练获得的第一分类模型与第二分类模型进行测试，根据测试结果筛选出对应F1值更高的模型，作为最终的多模态数据分类模型；步骤5、将待分类的多模态数据输入至多模态数据分类模型，输出多模态数据对应的分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学;浙江大学滨江研究院，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。