买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东远桥信息科技有限公司;济南高新控股集团有限公司

摘要：本发明涉及城市建筑内安全监督技术领域，具体涉及一种面向智慧建筑高危事件优先监督的方法及系统，通过使用统一设备采集不同建筑内不同位置的音频，对采集到的音频数据进行处理得到数据集，将数据集划分为训练集和测试集；然后构建声音事件检测模型处理数据集中数据；最后将训练集中数据输入至声音事件检测模型中对模型进行训练，再将测试集中数据输入至训练后的声音事件测试模型中，计算输出的预测结果的均值平均精度，根据均值平均精度确定最优预测结果。本发明通过多种数据增强手段可以提升声音事件检测算法对环境噪声的鲁棒性，并通过加权损失函数设计可以实现高风险等级声音事件优先检测。

主权项：1.一种面向智慧建筑高危事件优先监督的方法，其特征是，包括以下步骤：S1、构建智慧建筑音频数据库：使用统一设备采集不同建筑内不同位置的音频，对采集到的音频数据进行处理得到数据集Dataset，然后将数据集Dataset按比例划分为训练集DatasetTrain和测试集DatasetTest；具体步骤如下：为采集到的音频设计声音事件软标签，根据声音事件软标签切割采集到的音频，然后对音频样本进行标准化，将每个音频样本时间固定位7秒，采样率固定位22050Hz，得到数据集Dataset，，其中，，表示采集的音频，表示音频对应的软标签，表示采集的第i个种类的音频，表示所有第i个种类的音频对应的标签，每个种类的音频包含200个样本音频，使用表示第i个种类的音频的第c个样本音频，，N表示采集的音频种类数量；再对每个样本音频标注声音事件硬标签，具体通过开源技术PANNs为每个样本音频标注声音事件的起止时间；然后对采集的每个样本音频进行危险等级划分，根据声音事件涉及的人身、财产安全将危险等级划分为无危险等级事件、低危险等级事件、中危险等级事件、高危险等级事件，其中，表示第i个种类音频的危险等级，=1，，，；最后，将处理后的数据集按照8:2比例划分为训练集DatasetTrain和测试集DatasetTest；S2、构建声音事件检测模型：声音事件检测模型依次包括数据增强层、特征处理模块、多头注意力模块和对比学习损失模块四个部分；声音事件监测模型中的数据增强层具体如下：将数据集Dataset中数据输入至声音事件监测模型中，首先经过数据增强层，数据增强层包括时域遮掩、环境噪声覆盖和异标签样本叠加操作，经过三个操作得到正样本增强音频，具体步骤如下：S2.1.1、将数据集Dataset中的样本音频输入至数据增强层，分别进行数据增强，首先根据PANNs标注的样本音频xic的起始位置对其他非声音事件时间段进行时域遮掩，将非声音事件时间段的音频信号幅度设置为0，从而得到初步增强音频ic；S2.1.2、对时域遮掩后的初步增强音频ic进行环境噪音覆盖操作，通过大模型Make-An-Audio生成不同环境下的噪声音频，将噪声音频与初步增强音频ic叠加得到二次增强音频；S2.1.3、（1）对数据集Dataset中部分二次增强音频进行异标签样本叠加操作，异标签样本叠加的发生概率为15，随机选择与二次增强音频不同安全等级且不同种类的一条样本音频数据xja与二次增强音频叠加，得到对应的最终的增强音频，同时将样本音频数据xjc对应的安全等级和标签赋予给最终的增强音频作为其第二套标签，则最终的增强音频包括两套标签，一套是音频xic本身对应的标签其安全等级为，另一套是音频xja赋予的标签其安全等级为，表示样本音频数据xic的最终增强数据，表示音频数据xic二次增强音频，xja表示随机选择的一条属于第j个种类的音频的第a个样本音频，，，，，；（2）对数据集Dataset中部分二次增强音频不发生异标签样本叠加操作，则随机选择一个不同于二次增强音频种类的标签赋予给二次增强音频作为第二套标签，并将对应安全等级设为无危险等级事件，得到对应的最终的增强音频；声音事件监测模型中的特征提取模块具体如下：特征提取模块依次包括STFT层、初始卷积层、第一残差块、第二残差块、第三残差块、第四残差块、注意力全连接层和ReLU激活函数、平均池化层和最大池化层、第一全连接层和ReLU激活函数以及第二全连接层；声音事件监测模型中的多头注意力模块具体如下：将特征向量E输入至多头注意力模块中，对特征向量E按维度切片，设置注意力头的数量H为8，得到多个特征向量片段Eh，其中，特征向量片段Eh大小为B×64，将特征向量片段Eh输入至多头注意力模块，通过注意力模块Attention计算每个特征向量的注意权重，计算公式如下： ， ， ， ，其中，表示第h个特征向量片段的查询矩阵，表示h个特征向量片段的键矩阵，表示h个特征向量片段的值矩阵，表示第h个特征向量片段的注意权重，表示激活函数，表示第h个特征向量片段的查询矩阵对应的线性变换的权重矩阵，表示第h个特征向量片段的键矩阵对应的线性变换的权重矩阵，表示第h个特征向量片段的值矩阵对应的线性变换的权重矩阵，表示线性变换后的矩阵的特征维度，设置d=64，T表示转置；将每个特征向量片段Eh经过注意力模块处理后输出的第h个特征向量片段的注意权重赋值给对应的自注意模块，具体表示为： ；然后将所有的自注意模块进行拼接融合，得到大小为B×512的特征向量，具体计算如下： ，其中，表示第h个自注意模块，，表示线性变换的权重，Concat表示拼接融合操作；最后将特征向量经过维度为512×N的全连接层进行转换，得到维度为B×N的矩阵C1，数组C1经过Softmax层得到维度为B×N计算分类概率矩阵C2，B表示批BatchSize的大小，N表示采集的音频种类数量，最后将分类概率数组C2结合Weit-Softmax损失进行模型调优，C2矩阵中第b行第n列的值表示将批次中第b个数据划分为第n类的概率值，，；声音事件监测模型中的对比学习损失模块具体如下：假设将对应矩阵C2中第b行第n列，则将的相应参数输入至对比学习损失模块进行对比学习损失Weit-Softmax计算，Weit-Softmax对比学习损失的公式如下: ,其中，表示的第一套标签对应的one-hot形式的标签，表示的第二套标签对应的one-hot形式的标签，表示第一套标签对应的安全等级，表示C2矩阵中第b行第n列的值即将分类为第n类的概率，表示第二套标签对应的安全等级，为判别函数，当成立时则判别函数取1，否则为0，同为判别函数，当时判别函数为1否则为0；最后，根据对比学习损失的结果判断数据增强阶段是否发生了异标签样本叠加操作，当发生异标签样本叠加操作时，即认为多重声音事件出现在了同一段音频内，则对多重声音事件进行优先检测；S3、对声音事件检测模型进行训练和评测：将训练集DatasetTrain中数据输入至声音事件检测模型中对模型进行训练，再将测试集DatasetTest中数据输入至训练后的声音事件测试模型中，然后计算输出的预测结果的均值平均精度，根据均值平均精度确定最优预测结果。

全文数据：

权利要求：

百度查询： 山东远桥信息科技有限公司 济南高新控股集团有限公司 一种面向智慧建筑高危事件优先监督的方法及系统