买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东省建筑设计研究院有限公司;山东金衢设计咨询集团有限公司;山东旅游职业学院

摘要：本发明涉及校园环境火灾风险评估技术领域，具体涉及一种基于多模态事件检测的智慧校园火灾报警方法及系统，步骤如下：模拟校园环境中的火灾情形并获取其中数据其作为数据集，数据集包括音频数据集和图像数据集；建立基于卷积神经网络的火灾音频分类模型，通过卷积神经网络分类单元卷积得到最终分类结果，并对火灾音频分类模型进行训练；建立火灾图像分类模型并训练模型，通过MobieNetV2网络单元得到最终的预测结果，并对火灾图像分类模型进行训练；建立火灾检测报警模型，根据火灾条件定义单元中的火灾条件确定是否触发火灾监测报警单元中的火灾警报。本发明可以快速准确识别校园内火灾等紧急事件，并及时发出报警信号。

主权项：1.一种基于多模态事件检测的智慧校园火灾报警方法，其特征是，包括以下步骤：S1、准备数据集：模拟校园环境中的火灾情形并获取其中数据其作为数据集，数据集包括音频数据集和图像数据集；音频数据集：录制模拟校园火灾场景中音频作为音频数据集，具体通过BehringerUM2声音驱动的Audio-TechnicaAT2020麦克风在离火源2米到10米的距离内录制，每段音频的数据长度为5秒，将收集到的数据合成音频数据集，，其中，，A表示音频数据点的集合，a表示音频类别标签的集合，T表示音频数据点和音频类别标签的数量，表示第i个音频数据点，表示第i个音频类别标签，每个音频数据点对应一个音频类别标签；S2、建立火灾音频分类模型并训练模型：建立基于卷积神经网络的火灾音频分类模型，火灾音频分类模型包括音频特征提取单元和卷积神经网络分类单元，通过卷积神经网络分类单元卷积得到最终分类结果，并对火灾音频分类模型进行训练；音频特征提取单元：将音频数据集中的音频数据点的集合A输入至音频特征提取单元，，分别对音频数据点的集合A中的音频数据点进行短时傅里叶变换，得到其对应的时频矩阵向量，音频数据点在时域上的离散表示为，中共K个离散数据信息，表示第i个音频数据点中的第k个离散数据信息，短时傅里叶变换公式定义如下： ，其中，表示短时傅里叶变换后所得到的时频矩阵向量，j表示虚数，表示频率，h表示窗函数，T表示音频数据点的数量，表示窗函数的滑动位置，窗函数的定义如下： ，其中，n表示窗函数的输入，表示傅里叶变换的点数；最终将得到时频矩阵向量组合成时频矩阵，其中表示第i个时频矩阵向量，第i个时频矩阵向量对应第i个音频数据点；再使用梅尔滤波器对时频矩阵进行滤波，得到梅尔时频矩阵M，其中r表示梅尔滤波器组个数；再对M取对数得到Q=，并做离散余弦变换，Q中第s个向量的离散余弦变换的定义如下： ，其中，表示取对数后的梅尔时频矩阵中的第s个向量，j表示虚数，表示离散余弦变换的点数，离散余弦变化的结果为长度是的向量，取向量中的第2到13个值作为特征，最终的特征表示为，其中为中的第个特征向量，内特征向量长度均为13；火灾音频分类模型中的卷积神经网络分类单元由层卷积层和全连接层组成，卷积层包括卷积核、激活函数、最大池化层和Dropout层；第层卷积层的输入特征图为，其维度为、卷积核大小为、步长为、输出特征图维度为，其维度为，其中，分别表示第层特征的高度、宽度和深度，、和分别表示第l层特征的高度、宽度和深度，计算公式如下： ， ， ，其中，表示第l层卷积核的大小，表示第l层卷积核的数量，表示步长，特别地，当=1时，=，=；对于中的每一个值，使用ReLU作为激活函数进行激活，得到激活后的特征，具体过程如下定义： ，其中，表示中的值，表示第层维度，max表示如果输入大于0，则输出原始值；如果输入小于或等于0，则输出0；第l层最大池化层的池化窗口大小为、步长为；然后将激活函数的输出送入最大池化层，经过最大池化层后的输出特征的维度为： ， ，其中，表示第l层最大池化层的高度，表示第l层最大池化层的宽度，表示第l层最大池化层的步长，得到池化层的输出；再将最大池化层的输出送入Dropout层训随机丢弃练过程中网络的部分神经元，减少过拟合的风险，对于中的第个值，其计算公式如下： ， 表示随机概率，表示设定丢弃的概率，最终Dropout层输出特征图；将Dropout层的输出送入全连接层，全连接层将维度是的展平为维度为1的向量，展平后的特征向量与全连接层的权重矩阵相乘，并加上偏置项，全连接层的操作定义如下： ，将全连接层的输出输入到Softmax激活函数中，最终得到预测的结果，对于第个类别的预测概率其定义如下： 其中，表示分类的数量，表示第个类别；S3、建立火灾图像分类模型并训练模型：火灾图像分类模型包括DW卷积单元和MobieNetV2网络单元，通过MobieNetV2网络单元得到最终的预测结果，并对火灾图像分类模型进行训练；S4、建立火灾检测报警模型：包括火灾条件定义单元和火灾监测报警单元，根据火灾条件定义单元中的火灾条件确定是否触发火灾监测报警单元中的火灾警报；火灾条件定义单元：卷积神经网络分类单元将对输入的音频进行判断并输出是否满足音频火灾报警条件，MobieNetV2网络单元将对输入的图像进行判断并输出是否满足图像火灾报警条件，将满足音频火灾报警条件的情况记作FcA，将满足图像火灾报警条件的情况记作FcP，设置多个连续的推断同时作为判断依据，连续推断的数量记作，表示输入音频样本，表示输入音频样本属于火灾的概率，表示模型的输出属于火灾的音频样本中的最小，TP表示真阳性，FP表示假阳性，为给定的中连续判定为TP的最小数量，为给定的中连续判定为FP的最大数量，*为确定的最大的，则和满足以下公式： ， ， ，出现以上情况则不会产生FP，避免FN假阴性的情况，假阴性指预测为负样本，实际为正样本；在火灾检测场景中，属于最危险的情况为： ， *的准确范围： ，FcAFcP由**、**表示，含义是模型至少需要连续**次输出火灾的高于或等于**概率，计算FcAFcP具体过程是：设定参数或的变化范围和步长，对于每个或，根据计算得到对应的和，并得到满足FcAFcP的**和**；火灾检测集报警单元：运行火灾音频分类模型对接收到的音频信号进行推断，判断模型输出的结果是否满足FcA，如果不满足FcA，则模型继续监听；否则，计算并存储满足FcA音频的模型输出的平均值并暂停运行火灾音频分类模型，随后，运行火灾图片分类模型，计算当前图片结果是否满足FcP，如果不满足则火灾图片分类模型停止运行，唤醒火灾音频分类模型；否则计算并存储满足FcP图片的模型输出的平均值并发出火灾警报。

全文数据：

权利要求：

百度查询： 山东省建筑设计研究院有限公司 山东金衢设计咨询集团有限公司 山东旅游职业学院 一种基于多模态事件检测的智慧校园火灾报警方法及系统