买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于知识蒸馏和多模态融合的视频分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115147641B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210609575.8，技术领域涉及：G06V10/764；该发明授权一种基于知识蒸馏和多模态融合的视频分类方法是由伍家松;张家伟;马瑛瑶;孔佑勇;杨冠羽;杨淳沨;董志芳;舒华忠设计研发完成，并于2022-05-31向国家知识产权局提交的专利申请。

本一种基于知识蒸馏和多模态融合的视频分类方法在说明书摘要公布了：本发明涉及一种基于知识蒸馏和多模态融合的视频分类方法，具体步骤如下：步骤1，提取音频、视觉数据集并预处理，步骤2，搭建知识蒸馏架构，步骤3，多模态融合学生网络。本发明在不更改网络结构的前提下，可以充分利用视频中的多模态数据以及使用的网络性能，显著提升视频分类效果。

本发明授权一种基于知识蒸馏和多模态融合的视频分类方法在权利要求书中公布了：1.一种基于知识蒸馏和多模态融合的视频分类方法，其特征在于,将知识蒸馏用于单模态网络并对单模态学生网络进行多模态融合，具体步骤如下： 步骤1，提取音频、视觉数据集并预处理， 步骤2，搭建知识蒸馏架构， 步骤3，多模态融合学生网络； 其中，步骤1具体如下： 1.1，音频数据集构建，采用FFmpeg提取视频数据集中的音频，单通道采样率为16000，格式为wav； 1.2，音频的特征提取，先对音频数据进行傅里叶变换得到频谱图，再进行对数变换，最后经过归一化并转为张量； 1.3，视觉数据集构建，采用FFmpeg提取视频数据集中的图像帧，从中均匀采样出32帧图像表示视频模态，同时使用视频中间的图像帧表示图像模态，一共33帧； 1.4，视觉的特征提取，先对视觉数据随机缩放0.8到1.2倍后，中心裁剪至尺寸为224×224，最后归一化转化为张量； 步骤2具体如下： 2.1，根据1.1至1.4中的方法提取的两个模态数据，选择相同的卷积神经网络，调整参数多次训练，选择最佳的模型作为单模态教师网络； 2.2，采用模型输出作为传递的知识，即使用KL散度损失作为蒸馏损失衡量教师网络和学生网络输出差别； 步骤3具体如下： 3.1，使用与教师网络相同的卷积神经网络作为单模态学生网络，并且采用与教师网络不同的随机初始化； 3.2，在得到各自单模态特征用于知识蒸馏后，对视觉和音频模态学生网络各层特征采用中期融合方式进行融合； 3.3，对视觉和音频模态学生网络的最后一层特征，使用平均后加SE模块的方式进行晚期融合； 3.4，为视觉和音频模态学生网络以及晚期融合后的输出添加各自的分类损失，分类损失采用交叉熵函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210096 江苏省南京市玄武区四牌楼2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。