买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉数据空间研究院申请的专利一种基于多模态分析的视频数据行为合规检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120451854B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510376721.0，技术领域涉及：G06V20/40；该发明授权一种基于多模态分析的视频数据行为合规检测方法是由马韵洁;孙威蔚;王佐成;林传文;崔海鹰设计研发完成，并于2025-03-28向国家知识产权局提交的专利申请。

本一种基于多模态分析的视频数据行为合规检测方法在说明书摘要公布了：本发明涉及视频数据分析技术领域，具体地说，涉及一种基于多模态分析的视频数据行为合规检测方法。本发明能够降低误检率，通过动态权重分配机制优化分类模型，在复杂环境下提高检测准确性，显著降低正常行为被误判为异常的概率，同时能够提升多模态信息的融合效率，通过改进多模态特征提取与深度融合算法，充分挖掘图像、音频和文本等模态之间的潜在关系，提高检测性能，并且还能够增强长尾异常行为检测能力，设计生成对抗网络生成稀有行为样本，弥补数据不足，提升模型对低频高风险行为的识别能力，此外，本发明还能够强化行为解释能力，引入可解释分析框架，使模型能够对检测结果进行详细解释，从而增强透明性和应用中的信任度。

本发明授权一种基于多模态分析的视频数据行为合规检测方法在权利要求书中公布了：1.一种基于多模态分析的视频数据行为合规检测方法，其特征在于，包括以下步骤： S1、对视频数据进行多模态特征提取，包括： 图像模态特征提取：基于多尺度特征融合的SwinTransformer生成图像表征向量； 音频模态特征提取：通过短时傅里叶变换与去噪网络处理后输入改进的DeepSpeech网络； 文本模态特征提取：采用领域再预训练的BERT模型提取文本特征； S2、将图像、音频、文本特征拼接为跨模态序列，通过跨模态自注意力机制融合，动态调整各模态权重； S3、使用带目标域约束的生成对抗网络生成长尾异常行为样本，并结合时空扰动增强数据； 所述生成对抗网络GAN的约束条件包括： 对抗损失，用于区分真实与生成样本； 目标域损失，约束生成样本与真实异常数据在高层特征空间的欧氏距离； 联合优化目标为，其中为权重系数，为生成器，为常规对抗判别器，为域判别器； 所述S3还包括： 对生成样本施加时空扰动，包括随机插帧、旋转、光照调整及音频频带遮挡； 在训练完成后，会得到一个兼具多模态融合与长尾异常适应性的合规检测模型，将融合后的特征送入最终的检测头，利用公式： ； 输出行为类别或异常概率，其中是可训练的权重，是融合后特征的维度，是分类数目，是偏置向量，为softmax函数； S4、基于融合后的多模态特征进行行为合规检测，输出异常概率或类别； S5、通过多模态对抗评分与时空因果推理对检测结果进行可解释性分析； 所述S5中多模态对抗评分的实现包括： 将各模态特征映射至CLIP公共向量空间； 添加微小扰动并计算跨模态相似度变化； 加权组合相似度变化生成对抗评分，用于评估模型对特定模态的敏感性； 所述S5中时空因果推理的实现包括： 将视频切分为时序片段，构建时间边与语义边； 通过时空图网络聚合片段特征； 匹配片段特征与合规规则向量，当相似度超过阈值时生成规则边。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人数据空间研究院，其通讯地址为：230000 安徽省合肥市高新区柏堰科技园创新大道288号工投高新智谷B区；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。