买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了基于尺度变化的车辆行为识别方法及系统，涉及车辆行为识别技术领域。包括：获取视频帧图像序列；通过特征提取骨干网络提取视频帧图像序列的高级语义特征，得到特征向量；对特征向量使用不同尺寸的卷积核进行尺度变化的特征处理得到不同大小的多个特征图；不同大小的多个特征图通过多个双层LSTM进行时序建模；对建模后的特征向量进行概率计算，得到行为类别。本发明将ResNet输出的特征向量作为尺度变化特征构建单元的输入，经过多层次多尺寸感受野卷积特征重构处理，增加模型对车辆尺度变化特征的适应能力，在车辆识别任务中，缓解了车辆尺度变换导致识别精度下降的问题。

主权项：1.基于尺度变化的车辆行为识别方法，其特征在于，包括：获取视频帧图像序列；通过特征提取骨干网络提取所述视频帧图像序列的高级语义特征，得到特征向量；对所述特征向量使用不同尺寸的卷积核进行尺度变化的特征处理得到不同大小的多个特征图；所述不同大小的多个特征图通过多个双层LSTM进行时序建模；对建模后的特征向量进行概率计算，得到车辆行为类别；对所述特征向量进行尺度变化的特征处理，具体包括：采用多分支结构构建尺度变化特征构建单元；将所述特征向量并联输入到所述尺度变化特征构建单元中，依次经卷积层、池化层、融合层、归一化层和激活层处理后输出特征向量；所述卷积层由不同尺寸的卷积核并联构成，使用卷积核尺寸最小的卷积层过滤无用特征，不同的分支使用不同的卷积核获得不同大小的特征图，将所述特征图输入到所述池化层；卷积层输出的特征图经所述池化层最大池化后输出特征向量；对输出后的特征向量进行特征融合，输出具有尺度变化适应性的特征向量；融合公式如下： 其中，ri表示不同分支的输出特征向量，i表示尺度变化特征构建单元中分支序号，i∈[1,n]，n表示卷积层的分支层数，RC表示特征融合后的特征向量，C表示特征向量的通道数；其中，所述特征提取骨干网络通过Resnet-50网络进行特征提取；所述卷积层包括a1、a2、a3和a4四个分支，a1的卷积核包括1×1、3×1、5×1和7×1，a2的卷积核包括1×1、3×1和5×1，a3的卷积核包括1×1和3×1，a4的卷积核包括1×1；通过多个双层LSTM进行时序建模的过程表示为：si＝LSTMi,1zi；mi＝LSTMi,2si；si+1＝LSTMi+1,1si；mi+1＝LSTMi+1,2mi；式中，zi表示将特征序列进行尺度变化特征构建后的结果，si表示第一层第i个LSTM处理后的结果，mi表示第二层第i个LSTM处理后的结果。

全文数据：

权利要求：

百度查询： 内蒙古工业大学 基于尺度变化的车辆行为识别方法及系统