买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:武汉纺织大学
摘要:本发明属于计算机视觉、深度学习技术领域,公开了一种图文关联的目标跟踪网络训练方法,本发明一种图文关联的目标跟踪网络训练方法,该方法包括:每次获取视频序列中的相邻两帧图像,第num帧图像、第num+1帧图像,分别作为训练图像和测试图像,并分别从图像中裁剪出选定目标所在图像块,即第num帧目标图像块、第num+1帧目标图像块;将第num帧目标图像块和第num+1帧目标图像块输入到图文转换模块获得初始文本特征和现有文本特征,提供追踪目标的完整和精确的特征描述;本申请提出的方法能够解决现有的单目标跟踪方法特征提取能力不足、跟踪目标概念模糊、特征提取阶段没有考虑利用相邻键之间的语义上下文的问题,显著提高了单目标跟踪的精度和效率。
主权项:1.一种图文关联的目标跟踪网络训练方法,其特征在于,包括以下步骤:步骤S101:每次获取视频序列中的相邻两帧图像,第num帧图像、第num+1帧图像分别作为训练图像和测试图像,并分别裁剪出目标所在图像块;步骤S102:将第num帧目标图像块和第num+1帧目标图像块输入到图文转换模块获得初始文本特征和现有文本特征;步骤S103:通过特征自适应模块处理初始文本特征和现有文本特征,生成标签权重可以实时更新的动态文本特征;步骤S104:使用改进的transformer特征提取网络提取出第num+1帧图像的特征,所述改进的transformer特征提取网络包括编码器和解码器;步骤S105:通过图文关联模块,关联步骤S103得到的动态文本特征和步骤S104得到的第num+1帧图像的特征之间的相关特征,融合为目标状态预测的最终相关特征;步骤S106:将第num+1帧作为测试图像,通过由4个堆叠的convnbnrelu层组成的预测模块对测试图像上的追踪目标进行状态估计,通过深度学习获得目标边界框的坐标。
全文数据:
权利要求:
百度查询: 武汉纺织大学 一种图文关联的目标跟踪网络训练方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。