买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学

摘要：本发明提供一种视频行为识别方法及系统，包括：确定预训练好的识别网络；识别网络包括：时空特征提取模块和集合匹配模块；时空特征提取模块用于提取接收到视频的空间特征和时间特征，集和匹配模块用于基于空间特征和时间特征以及模板视频的时空特征将接收到视频与模板视频进行匹配，识别接收到视频的行为；模板视频包括T类视频；对识别网络进行训练时，从T类视频中循环随机选取S类视频，为每类视频确定K个训练样本，将S类视频对应的训练样本输入到识别网络进行训练；将待识别的视频和模板视频输入到预训练好的识别网络中，以对待识别视频进行行为识别，输出对应的行为识别结果。本发明在小样本场景下，可以实现灵活准确的视频匹配和识别。

主权项：1.一种视频行为识别方法，其特征在于，包括如下步骤：确定预训练好的识别网络；所述识别网络包括：时空特征提取模块和集合匹配模块；所述时空特征提取模块用于提取接收到视频的空间特征和时间特征，所述集合匹配模块用于基于所述空间特征和时间特征以及模板视频的时空特征将接收到视频与模板视频进行匹配，识别接收到视频的行为；所述模板视频包括T类视频，不同类别视频对应的行为不同，所述模板视频中每类视频的时空特征已知；对所述识别网络进行训练时，从所述T类视频中循环随机选取S类视频，为每类视频确定K个训练样本，将所述S类视频对应的训练样本输入到所述识别网络进行训练，S小于T，K小于预设值；所述识别网络的整体损失函数L为：L＝λLlabel+Lsim其中，Llabel为待检测视频和模板视频真实标签的分类损失；Lsim为基于匹配相似度的度量损失；λ为平衡系数，用于平衡两项损失函数； Lsim＝LceD,y其中，代表视频库中模板视频的特征序列，代表待测样本视频的特征；表示视频特征到视频特征的豪斯多夫距离；表示视频特征到视频特征的豪斯多夫距离；表示视频中的第a个特征，即视频第a帧对应的特征；表示视频中的第q个特征，即视频第q帧对应的特征；Ni是其中一个模板视频的帧数；Nq表示待测样本视频的帧数；N表示每个训练批次中所有视频的个数；Lce为交叉熵损失函数；和yi分别表示模型预测的行为类别和真实的行为类别；D表示将待测视频样本预测相似度；表示视频特征到视频特征的单向修正豪斯多夫距离；Db表示双向修正豪斯多夫距离；将待识别的视频和模板视频输入到预训练好的识别网络中，以对待识别视频进行行为识别，输出对应的行为识别结果。

全文数据：

权利要求：

百度查询： 华中科技大学 一种视频行为识别方法及系统