买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连海洋大学

摘要：本发明提出一种基于Mel声谱图与改进SEResNet的鱼类行为识别方法，包括采集养殖水域中的鱼类音频信号，对鱼类音频信号进行预处理；通过Mel声谱图特征提取方法对预处理后的鱼类音频信号进行声音特征提取，得到鱼类音频的Mel声谱图特征信息；构建TAP‑SEResNet模型，包括SEResNet模块、SE注意力机制模块、TAP模块、全连接层模块和Softmax分类器模块；将Mel声谱图特征信息输入TAP‑SEResNet模型中，得到鱼类声音信息特征；将鱼类声音信息特征输入TAP模块，得到深层声音特征向量；将深层声音特征向量输入全连接层模块得到声音特征整合信息；将声音特征整合信息输入Softmax分类器模块进行分类，输出鱼类行为识别结果。本发明能够能够减少关键信息丢失，且能够处理声音细节特征，使鱼类行为识别精度提高。

主权项：1.一种基于Mel声谱图与改进SEResNet的鱼类行为识别方法，其特征在于，包括如下步骤：S1.采集养殖水域中的鱼类音频信号，对所述鱼类音频信号进行预处理；S2.通过Mel声谱图特征提取方法对所述步骤1预处理后的鱼类音频信号进行声音特征提取，得到鱼类音频的Mel声谱图特征信息；S3.构建TAP-SEResNet模型，所述TAP-SEResNet模型包括SEResNet模块、SE注意力机制模块、TAP模块、全连接层模块和Softmax分类器模块；具体的：所述SE注意力机制模块包括：池化层模块，用于获取Mel声谱图特征信息中的全局信息；第一全连接层模块，用于顺着空间维度对Mel声谱图特征信息中的特征进行特征压缩，降低特征维度；ReLU层模块，用于进行非线性操作；第二连接层模块，用于还原特征维度并拟合通道间的相关性得到卷积特征，激活函数模块，采用Sigmoid函数，与卷积特征进行逐空间位置相乘，得到鱼类声音关键信息；所述TAP模块包括：卷积层模块，用于对鱼类声音信息特征经过卷积处理得到特征向量；平均池化模块，用于将特征向量平均池化，提供区域内特征的整体趋势和背景信息；最大池化模块，用于将特征向量最大池化，捕捉输入区域内的最显著特征，保留重要局部细节并去除冗余信息；拼接模块，用于拼接平均池化和最大池化的输出结果；S4.将所述步骤S2得到的Mel声谱图特征信息输入所述步骤S3构建的TAP-SEResNet模型中，通过SEResNet模块的残差连接，得到鱼类原始声音特征，通过嵌入的SE注意力机制模块对Mel声谱图特征信息进行关键特征加权计算，获得鱼类声音关键信息，将获得的所述鱼类声音关键信息和所述鱼类原始声音特征相加，得到鱼类声音信息特征；具体的：所述SE注意力机制模块通过所述池化层模块进行全局平均池化获取Mel声谱图特征信息的全局信息，通过第一全连接层模块顺着空间维度对Mel声谱图特征信息进行特征压缩，使特征维度降低，通过ReLU层模块进行非线性操作，经过全连接层将特征维度还原并拟合通道间复杂的相关性卷积特征，最后使用Sigmoid函数激活，与所述卷积特征进行逐空间位置相乘，得到所述鱼类声音关键信息；S5.将所述步骤S4得到的所述鱼类声音信息特征输入所述TAP模块，所述鱼类声音信息特征经过卷积处理后得到特征向量，将所述特征向量同时进行平均池化和最大池化，将平均池化和最大池化的输出结果进行拼接，得到深层声音特征向量；具体的：设所述鱼类声音信息特征经过卷积处理后的特征向量为hT，如公式1所示：hT＝h1,h2,...,ht1其中，hii＝1,2,...,t是特征向量分量，t为总时间维度；沿着总时间维度t，将特征向量同时进行平均池化μ和最大池化fx，平均池化μ如公式2所示： 最大池化fx如公式3所示：fx＝max0,hi3其中，max表示取特征向量最大值，将平均池化和最大池化的输出结果进行拼接，得到深层声音特征向量E，如公式4所示：E＝[μ,fx]4其中，[,]表示拼接操作；S6.将所述步骤S5得到的所述深层声音特征向量输入所述全连接层模块进行信息整合，得到声音特征整合信息；S7.将所述步骤S6得到的所述声音特征整合信息输入所述Softmax分类器模块进行分类，输出鱼类行为识别结果。

全文数据：

权利要求：

百度查询： 大连海洋大学 一种基于Mel声谱图与改进SEResNet的鱼类行为识别方法