买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉桂林电子科技大学;桂林安维科技有限公司申请的专利一种基于跨模态时序对比学习的自监督动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116721458B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310490527.6，技术领域涉及：G06V40/20；该发明授权一种基于跨模态时序对比学习的自监督动作识别方法是由徐增敏;王露露;蒙儒省设计研发完成，并于2023-05-04向国家知识产权局提交的专利申请。

本一种基于跨模态时序对比学习的自监督动作识别方法在说明书摘要公布了：本发明涉及视频处理技术领域，具体涉及一种基于跨模态时序对比学习的自监督动作识别方法，通过从无标签的视频样本中生成RGB帧和光流数据，再采用不同的数据增强方法获得输入数据的不同扩增视图，经编码器得到不同视图的编码特征，并建立双路径自监督动作识别网络；进一步通过实例判别的对比学习捕获视频序列的全局语义依赖，通过局部时序对比学习任务建模局部片段间的时序运动特性，初始化训练后得到两分支独立训练的初步模型；基于跨模态自监督动作识别和局部时序对比学习方法协同训练，得到最终模型；最后利用带标签数据对最终模型的参数进行微调，并使用测试数据进行效果评估，得到模型的识别性能。

本发明授权一种基于跨模态时序对比学习的自监督动作识别方法在权利要求书中公布了：1.一种基于跨模态时序对比学习的自监督动作识别方法，其特征在于，包括下列步骤： 步骤1：从无标签的视频样本中生成RGB帧和光流数据； 步骤2：采用不同的数据增强方法获得输入数据的不同扩增视图； 步骤3：通过编码器得到不同视图的编码特征，并建立双路径自监督动作识别网络； 在通过编码器得到不同视图的编码特征，并建立双路径自监督动作识别网络的过程中，所述编码器为深度卷积神经网络S3D，所述双路径自监督动作识别网络为RGB和光流两分支，对于每个分支，将数据增强后的样本数据分别输入到所述编码器得到特征的可视化表示，再通过MLP层将特征投影到低维嵌入空间； 步骤4：通过实例判别的对比学习捕获视频序列的全局语义依赖； 在通过实例判别的对比学习捕获视频序列的全局语义依赖的过程中，对于所述双路径自监督动作识别网络的输出特征，通过最大化同一视频不同视图的语义一致性来进行实例判别，捕获视频的全局语义依赖； 步骤5：通过局部时序对比学习任务建模局部片段间的时序运动特性； 在通过局部时序对比学习任务建模局部片段间的时序运动特性的过程中，所述局部时序对比学习任务包括两个对比学习任务：局部对比任务，学习同一视频不同局部片段之间的相似性，区分来自不同实例的特征，增加表征的细粒度；局部时序对比任务，学习同一视频不重叠局部片段之间的区别，增加表征的时序性； 步骤6：结合步骤4和步骤5对所述双路径自监督动作识别网络进行初始化训练，得到两分支独立训练的初步模型； 所述两分支独立训练的初步模型的获取过程具体为分别将RGB和光流网络独立训练，通过实例对比学习和同一实例上的局部时序对比学习对模型进行迭代优化，得到两种模态的初步训练模型； 步骤7：通过跨模态一致性挖掘方法进行多模态间的信息交互； 在通过跨模态一致性挖掘方法进行多模态间的信息交互的过程中，将光流样本输入到编码器中提取特征；将提取特征和存储库中其他的特征进行相似度比较，选取在光流嵌入空间中前k个相近的实例作为RGB网络的正样本；在使用RGB网络为光流网络选取正样本时采用与上述相似的操作方法； 步骤8：基于跨模态自监督动作识别和局部时序对比学习方法，协同训练两个模态的初步模型，得到最终模型； 步骤9：利用带标签数据对最终模型的参数进行微调训练，并使用测试数据对模型效果进行评估，得到模型的识别性能。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人桂林电子科技大学;桂林安维科技有限公司，其通讯地址为：541004 广西壮族自治区桂林市七星区金鸡路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。