买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳市万物云科技有限公司申请的专利基于跨模态注意力机制的事件检测方法、装置及相关介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116186635B 。

龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211097944.6，技术领域涉及：G06F18/25；该发明授权基于跨模态注意力机制的事件检测方法、装置及相关介质是由陈嘉维;苏红梅;周长源;袁戟设计研发完成，并于2022-09-08向国家知识产权局提交的专利申请。

本基于跨模态注意力机制的事件检测方法、装置及相关介质在说明书摘要公布了：本发明公开了基于跨模态注意力机制的事件检测方法、装置及相关介质，该方法包括：获取事件视频并进行处理得到音频数据和图像数据；再分别对所述音频数据和所述图像数据进行处理得到音频特征和图像特征；分别将所述音频特征和所述图像特征输入到对应的跨模态注意力模块，得到第一高级特征和第二高级特征；对所述第一高级特征和所述第二高级特征进行拼接处理，输出得到最终高级特征；将所述最终高级特征输入到线性分类层进行分类处理得到紧急事件预测结果，最后根据损失函数和所述紧急事件预测结果进行模型优化得到紧急事件检测模型。本发明能够同时兼顾音频和图像两种模态的信息，从而实现在复杂的环境中对紧急事件进行准确预测。

本发明授权基于跨模态注意力机制的事件检测方法、装置及相关介质在权利要求书中公布了：1.一种基于跨模态注意力机制的紧急事件检测方法，其特征在于，包括： 获取事件视频，对所述事件视频进行音频分离处理得到音频数据，以及对所述事件视频进行抽帧处理得到图像数据； 通过自监督训练音频编码器对所述音频数据进行语音表示得到音频特征； 通过Swin-Transformer模型对所述图像数据进行特征提取得到帧级特征，并对所述帧级特征进行聚合得到特征向量，并通过线性层将所述特征向量降维至与音频特征相同的维度，再通过激活函数进行激活得到图像特征； 将所述音频特征输入到第一跨模态注意力模块，学习从音频到图像的对齐映射关系，得到第一高级特征；将所述图像特征输入到第二跨模态注意力模块，学习从图像到音频的对齐映射关系，得到第二高级特征； 对所述第一高级特征和所述第二高级特征进行拼接处理，并输入至分类网络，输出得到最终高级特征； 将所述最终高级特征输入到线性分类层进行分类处理得到紧急事件预测结果，根据损失函数和所述紧急事件预测结果进行模型优化得到紧急事件检测模型； 所述第一跨模态注意力模块和所述第二跨模态注意力模块的处理过程均包括如下步骤：对待处理特征进行线性变换处理得到多个注意力头的查询向量Qi、键向量Ki和值向量Vi；其中，所述待处理特征为音频特征或图像特征；其中i＝[1,2.....h]，h是注意力头的个数；将所述查询向量Qi、键向量Ki输入到缩放点积注意力层，计算音频特征和图像特征之间的关联性，得到注意力矩阵Ai；通过softmax激活函数对所述注意力矩阵Ai进行激活；将激活后的所述注意力矩阵Ai和值向量Vi进行矩阵乘法，得到第i个注意力头的输出headi；对多个所述注意力进行拼接得到多头注意力；将所述多头注意力输入到前馈神经网络进行特征映射处理，输出得到对应的高级特征； 所述将所述多头注意力输入到前馈神经网络进行特征映射处理，输出得到对应的高级特征，包括：按如下公式计算得到所述第一高级特征或所述第二高级特征： F＝FFNM＝ReLUMW1+b1W2+b2 其中，FFN表示所述前馈神经网络，F表示第一高级特征或所述第二高级特征，M表示所述多头注意力，ReLU表示激活函数，W1表示第一个线性层的权重，b1表示第一个线性层的偏差，W2表示第二个线性层的权重，b2表示第二个线性层的偏差。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳市万物云科技有限公司，其通讯地址为：518000 广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。