买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明公开了一种基于双重稀疏长短期Transformer的视频阴影检测方法，先将第一帧图像输入微调SAM模型生成参考帧伪掩码，并用于初始化长短期记忆库，然后将当前帧图像输入编码器提取查询特征，同时从长短期记忆库读取长短期记忆特征，然后引入阴影分区机制获取仅关注阴影分区的注意力值，将查询特征、长短记忆特征和仅关注阴影分区的注意力值一起输入到双重稀疏长短期Transformer模块，同时学习全局视觉信息和局部阴影信息，最后利用解码器生成当前帧图像的预测掩码，并将查询特征和预测掩码组成新的记忆特征，直接存储进短期记忆库，通过长期记忆库更新模块存储进长期记忆库。本发明方法充分利用了Transformer的强大优势，结合阴影区域上下文和时间一致性来增强阴影外观学习的能力。

主权项：1.一种基于双重稀疏长短期Transformer的视频阴影检测方法，其特征在于：使用DSLSTT-Net网络模型进行视频阴影检测，包括如下步骤：Step1、将视频的第一帧图像输入到预训练的微调SAM模型中，得到参考帧伪掩码使用参考帧伪掩码初始化长期记忆库BL和短期记忆库BS；其中，H、W、C分别表示图像高度、图像宽度、通道尺寸；Step2、将视频的当前帧图像输入到Swin-Tiny编码器，将提取到的特征称为查询特征同时从长期记忆库BL和短期记忆库BS读取所有长期记忆特征对和短期记忆特征对；Step3、对长期记忆特征对和短期记忆特征对实施阴影分区机制，得到仅关注阴影分区的注意力值；Step4、将查询特征Qt、所有长期记忆特征对和短期记忆特征对、仅关注阴影分区的注意力值一起输入到双重稀疏长短期Transformer模块，通过全局视觉分支和局部阴影分支分别提取全局视觉信息和局部阴影信息；Step5、利用FPN解码器生成当前帧图像It的预测掩码Mt，将查询特征Qt和预测掩码Mt组成新的记忆特征对，使用新的记忆特征对更新短期记忆库BS，通过长期记忆库更新模块判断是否将新的记忆特征对存储进长期记忆库BL；Step6、t＝t+1，重复Step2～Step5，得到训练好的DSLSTT-Net网络模型；利用训练好的DSLSTT-Net网络模型在测试集上做测试，得到视频阴影检测结果。

全文数据：

权利要求：

百度查询： 中国矿业大学 一种基于双重稀疏长短期Transformer的视频阴影检测方法