买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明将迁移学习技术引入暴恐音频的判别中。首先采用公开的TUT音频数据集进行预训练，然后从网络和电影中截取暴恐音频片段组成暴恐音频库，保留模型权重并迁移网络在暴恐音频库上继续训练，最后在fine‑tune后的网络中增加网络的层数，添加了一种类似于残差网络的结构使其能够利用更多的音频信息。实验结果表明，迁移学习方法有效解决了在暴恐音频检测研究中音频数据集过小而带来的训练问题，且改进后的网络具有更好的检测率。

主权项：1.一种基于迁移学习的暴恐音频检测方法，其特征在于包括以下步骤：1将TUT音频数据集作为源音频数据，提取源音频数据的对数梅尔频谱特征，接着将该特征输入到预训练网络得到相应的预训练模型，这里的预训练网络指卷积神经网络；2将暴恐音频数据集作为目标音频数据，提取目标音频数据的对数梅尔频谱特征，接着将该特征输入到步骤1的预训练模型，微调步骤1的网络结构，继续训练预训练模型得到微调后的模型；3在步骤2的网络结构中添加辅助网络，并将辅助网络部分的输出特征与输入特征聚合在一起共同输入分类层；步骤1中在提取TUT数据集音频的对数梅尔频谱特征后，将每段音频输入预训练网络进行预训练，其结构采用三层卷积层，输入层是200×500的特征图，第一层卷积层使用200×50大小的卷积核，通道数为100，第二层和第三层卷积层均使用1×1大小的卷积核，通道数分别为100和15，预训练网络结构学习率为0.01，交叉熵作为损失函数，批大小为64，600次迭代，采用全局平均池化层替代全连接层；步骤2中微调步骤1的预训练网络结构，具体做法是保留步骤1中网络结构的前两层卷积层，第三层采用1×1大小的卷积核，通道数为2，降低学习率，学习率为0.001，交叉熵作为损失函数，批大小为64，减少迭代次数，迭代300次，提取暴恐音频数据集中音频的对数梅尔频谱特征，在步骤1中得到的预训练模型上继续训练；步骤3中以步骤2模型作为基础网络，将基础网络从第二层卷积层与第三层卷积层之间截断之后，在第二层卷积层和第三层卷积层之间追加了几个卷积层，这部分称为辅助结构，辅助网络部分采用三个连续的滤波器大小为1×50、1×1、1×1的卷积层，将这一部分得到的特征图与输入特征图聚合在一起，共同输入分类层：F2＝ω3σω2σω1F11F3＝concatenateF1,F22其中公式1中F1是基础网络的输出，也是辅助网络的输入，F2是辅助网络的输出，σ为激活函数，ωii＝1,2,3为辅助结构中三个卷积层权重，采用均匀分布初始化权重，公式2表示的意思是采用keras中concatenate函数，实现了原始CNN网络特征图与辅助网络特征图的数据叠加。

全文数据：

权利要求：

百度查询： 四川大学 一种基于迁移学习的暴恐音频检测方法