买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆大学

摘要：本发明涉及一种基于深度学习的小样本行为识别方法，该方法包含两个模块来解决多模态小样本行为识别中的问题：时序增强模块和特征聚合模块。其中时序增强模块将三帧连续灰度图像与原始RGB图像在通道上进行平均加权，在保持原有模型参数量不变的情况下，既减少了颜色信息对动作识别的干扰，又可以对时序信息进行增强。另外该方法还提出了一个特征聚合模块，在这个模块中通过聚类算法对帧级特征进行聚类，将其聚合成更高语义信息并用聚类中心代替原始特征，以排除离群点对匹配结果的影响，增强模型的鲁棒性。该方法在多个数据集上得到验证能有效解决多模态小样本行为识别中出现的各种问题。

主权项：1.一种基于深度学习的小样本行为识别方法，包括如下步骤：S101：利用ImageNet预训练的ResNet50网络作为backbone；S102：获取现有有标签的小样本数据集，以随机抽样方式从小样本数据集中挑选N个类别，每个类别中含有K个实例作为支持集S,S＝{s1,1,...sk,n...sK,N}，sk,n表示支持集中种类为n的第k个实例，再从小样本数据集中挑选N个实例作为查询集Q，Q＝{q1,1,...qk',n...qK,N}，qk',n表示查询集中种类为n的第k’个实例，Q中的每个实例均属于S中的N个类别之一，每个实例对应一个视频段，将支持集中实例定义为支持实例，将查询集中实例定义为查询实例；将sk,n和qk',n均匀地分割成T个片段，sk,n＝{sk,n,1,sk,n,p,...sk,n,P},qk',n＝{qk',n,1,qk',n,p,...,qk',n,P}其中sk,n,p和qk',n,p分别表示sk,n的第p个片段和qk',n第p个片段，k＝1,2...K,k'＝1,2...K,n＝1,2...N,p＝1,2...P，将S和Q中的每个视频都均匀的分成P个片段；对于sk,n,p和qk',n,p：随机选择1个RGB帧作为视觉数据，并在该RGB帧的位置选择连续的两帧光流图像以作为运动数据，再在RGB帧的位置选择连续三帧灰度图像与所述RGB帧进行加权；S103：对于sk,n,p和qk',n,p分别通过时序增强模块将各自对应的三帧灰度图像与RGB图像进行加权融合，分别得到sk,n,p对应的新时序灰度加权图像和qk',n,p对应的新时序灰度加权图像，k，k’，n和p遍历其取值；S104：对于sk,n，将所有片段对应的新时序加权图像和所有片段对应的光流图像输入到预训练好的ResNet50中提取特征分别得到支持集时序灰度加权图像特征集支持集光流特征集其中表示sk,n第p个片段的对应的时序灰度加权图像特征，表示sk,n第p个片段的对应的光流特征；对于qk',n，将所有片段对应的新时序灰度加权图像和所有片段对应的光流图像输入到预训练好的ResNet50中提取特征分别得到查询集时序灰度加权图像特征集查询集光流特征集其中表示qk',n第p个片段的对应的时序灰度加权图像特征，表示qk',n第p个片段的对应的光流特征；S105：将sk,n对应的输入到特征聚合模块中，中被聚类到同一类的片段，使用该类的聚类中心代替该片段对应的时序灰度加权图像特征；对sk,n对应的以及qk',n对应的和执行相同操作；最后将得到的更高语义特征输入到联合匹配模块中进行匹配；S106：所述联合匹配模块包括二部图匹配模块和顺序时间匹配模块，对于sk,n分别计算其在二部图匹配模块和顺序时间匹配模块的预测分数，然后将两个预测分数进行加权求和得到最终分数，对于qk',n将其最大预测分数所对应的sk,n的标签k作为qk',n的预测标签；S107：对于每个查询实例，利用最终损失函数计算其真实标签与预测标签的损失，并根据最终损失函数值，反向传播更新backbone的网络参数，当损失不再下降，训练结束；得到最优backbone；S108：对于一个新的没有标签的查询集，先对其中的少量实例进行标注，然后将标注后的实例作为新的支持集，没有标注的其他实例作为待标查询集，输入最优backbone，最优backbone为待标查询集中的每个实例打上标签。

全文数据：

权利要求：

百度查询： 重庆大学 一种基于深度学习的小样本行为识别方法