买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州市滨江区浙工大人工智能创新研究院申请的专利基于多头加法交叉注意力机制的多模态伪造视频检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120635786B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511117722.X，技术领域涉及：G06V20/40；该发明授权基于多头加法交叉注意力机制的多模态伪造视频检测方法是由宣琦;李澈;俞山青;田甜;谢满德;高德宏;李呈斌设计研发完成，并于2025-08-11向国家知识产权局提交的专利申请。

本基于多头加法交叉注意力机制的多模态伪造视频检测方法在说明书摘要公布了：本发明公开了一种基于多头加法交叉注意力机制的多模态伪造视频检测方法，属于视频伪造检测技术领域。方法包括：预处理视频流分解单帧定位人脸，提取音频生成梅尔频谱图切片；3D卷积网络提取视频时空特征及运动差异，滤波器组结合残差网络提取音频特征；音频特征经非对称投影映射至视频对齐空间，视频特征时序编码后与音频输入多头加法交叉注意力模块双向交互，生成音频主导和视频主导特征并与原始特征级联融合；构建跨模态相似度损失约束特征分布，融合特征动态加权及时序压缩输出视听双真、视听双伪、视频伪‑音频真、视频真‑音频伪四分类概率。提升多模态伪造识别精度，捕捉纹理异常与音视频失配特征。

本发明授权基于多头加法交叉注意力机制的多模态伪造视频检测方法在权利要求书中公布了：1.一种基于多头加法交叉注意力机制的多模态伪造视频检测方法，其特征在于，包括以下步骤： S1、多模态数据预处理： 视频模态处理包括分解视频流为单帧图像序列，定位人脸区域并截取人脸图像； 音频模态处理包括提取音频波形生成梅尔频谱图并分段切片； S2、多模态特征提取： 视频特征提取采用3D卷积网络分块采样，提取时空特征并计算帧间运动差异； 音频特征提取基于滤波器组生成频谱特征，结合残差网络捕获上下文信息； 所述S2中视频特征提取的过程包括： 对视频帧执行水平和垂直双向切片操作； 采用多尺度条带卷积聚合时空信息； 通过方差分析生成注意力图突出眼部微动及唇部失真特征； S3、跨模态特征对齐与融合： 将音频特征映射至与视频维度对齐的潜在空间； 视频特征施加时序编码后与音频特征输入多头加法交叉注意力模块： 以音频特征为查询向量、视频特征为键值对生成音频主导特征； 以视频特征为查询向量、音频特征为键值对生成视频主导特征； 将原始特征与双向交互特征级联融合； 所述S3中多头加法交叉注意力模块的工作过程包括： 将查询向量拆分为多个注意力头独立计算权重； 各头注意力权重与值向量加权融合； 通过残差连接整合原始特征与聚合特征； 以视觉特征为查询向量，音频特征为键值对，计算跨模态相关性，公式如下： ； 其中，为音频查询向量，为视频键向量，为视频值向量，均为多头投影权重矩阵，表示音频特征，表示视频特征，之后，将拆分为个注意力头，每个头独立计算注意力权重，公式如下： ； ； 其中，表示将特征通道C拆分为H个独立子空间，为第h个头的可学习参数向量，用于动态加权查询向量不同维度；表示第h个注意力头的注意力对数分数；表示第h个注意力头生成的权重；表示第h个注意力头的查询向量Query，由音频特征经线性投影生成； 将每个头得到的注意力权重与视频值向量V进行加权融合，得到聚合后的特征，公式如下所示： ； 最后，通过两层激活的全连接网络，对注意力输出进行非线性变换后得到增强后的特征并与原始音频特征聚合后的特征进行残差连接得到最终的融合特征： ； ； 其中，为一个可学习的权重矩阵，用于对视频键向量与注意力权重的逐元素乘积进行线性变换； S4、对比学习与分类决策： 构建音视频余弦相似度损失函数约束特征分布； 融合特征经动态加权优化及时序压缩，输出四分类伪造类型概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州市滨江区浙工大人工智能创新研究院，其通讯地址为：310056 浙江省杭州市滨江区长河街道湖西路575号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。