买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：陕西瑞欣科技发展有限公司

摘要：本申请公开了一种基于信息融合技术的智慧安防报警系统及其方法，其通过声音传感器和摄像头实时采集监控区域的声音信号和监控视频，并在后端引入基于人工智能的信号分析和数据处理算法来进行该声音信号和该监控视频的语义分析，以结合监控区域的声音语义和视频语义来综合对异常情况进行检测和报警。这样，能够通过对于监控区域的多模态信息的分析和融合表征来综合进行智慧安防监控，从而实现实时的安防监控和报警，提高对监控区域异常情况的准确检测和报警能力。

主权项：1.一种基于信息融合技术的智慧安防报警系统，其特征在于，包括：数据采集模块，用于获取由声音传感器和摄像头采集的被监控区域在预定时间段的监控视频和声音信号；视频语义理解模块，用于通过基于深度神经网络模型的视频编码器对所述监控视频进行特征提取以得到监控区域视频语义理解特征图；声音信号分帧模块，用于对所述声音信号进行分帧处理以得到声音信号帧的序列；声音信号帧幅度谱计算模块，用于计算所述声音信号帧的序列中各个声音信号帧的幅度谱以得到声音信号帧幅度谱向量的序列；声音信号帧幅度谱语义关联分析模块，用于对所述声音信号帧幅度谱向量的序列进行声音信号帧幅度谱特征关联分析以得到声音信号语义理解特征向量；监控区域多模态融合表征模块，用于融合所述声音信号语义理解特征向量和所述监控区域视频语义理解特征图以得到监控区域多模态融合表示特征；区域异常检测模块，用于基于所述监控区域多模态融合表示特征，确定监控区域是否存在异常；其中，所述监控区域多模态融合表征模块，用于：使用基于元网络的信息融合模块对所述声音信号语义理解特征向量和所述监控区域视频语义理解特征图进行处理以得到监控区域多模态融合表示特征图作为所述监控区域多模态融合表示特征；其中，所述监控区域多模态融合表征模块，用于：将所述监控区域视频语义理解特征图通过参数引导跨模态编码器的卷积神经网络模型中进行处理以得到监控区域视频增强语义特征图；将所述声音信号语义理解特征向量通过所述参数引导跨模态编码器的第一卷积层后再通过ReLU函数进行线性修正处理以得到线性修正后声音信号语义理解特征向量；将所述线性修正后声音信号语义理解特征向量通过所述参数引导跨模态编码器的第二卷积层后再通过Sigmoid函数进行处理以得到归一化后声音信号语义理解特征向量；以所述归一化后声音信号语义理解特征向量对所述监控区域视频增强语义特征图进行沿通道维度的加权融合以得到所述监控区域多模态融合表示特征图。

全文数据：

权利要求：

百度查询： 陕西瑞欣科技发展有限公司 基于信息融合技术的智慧安防报警系统及其方法