买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：三峡大学

摘要：本发明公开了一种基于STB‑DISF的微小运动放大方法。在特征提取器结构的输出上，使用运动检测器对运动特征和背景特征进行区分和提取；运动检测器使用注意力机制和门控卷积网络，根据两帧图像的差异和相似度，生成一个运动掩码，用于区分运动区域和背景区域；将输入的代表参考帧的特征FAS和代表运动帧的特征FBS经过Edge‑GuidedAttention结构，进行边缘特征学习，加强运动区域边缘，降低生成视频中的振铃伪影，以期提升放大视频的质量，使用CBMA结构，增加对运动区域和背景区域特征的学习，增加运动特征的权重，使网络更加准确地识别运动区域位置。本发明中，使用CBMA结构，增加对运动区域和背景区域特征的学习，增加运动特征的权重，使网络更加准确地识别运动区域位置。

主权项：1.一种基于STB-DISF的微小运动放大方法，其特征在于：所述基于STB-DISF的微小运动放大方法包括以下步骤：步骤1：获取具有连续帧的微小运动视频，并将其分割为连续的帧，选择第一帧图像视为参考帧，第二帧图像视为运动帧，使用绝对差分方法计算两帧之间的差异；差异图像将突出视频中的运动部分；对剩余的帧重复上述步骤，将每一帧作为运动帧，前一帧作为参考帧；这将生成一系列差异图像，捕捉视频中的微小运动；步骤2：将两帧图像依次输入SwinTransformer网络，经过特征提取器结构处理，该结构包含浅层特征提取部分和深层特征提取部分；浅层特征提取部分使用卷积层和池化层对图像进行低级别的特征提取，深层特征提取部分使用多个SwinTransformer模块对图像进行高级别的特征提取；步骤3：经过ConvolutionalBlockAttentionModuleCBMA注意力结构，对运动区域和背景区域的进行特征加权，增加重要区域的权重；步骤4：在特征提取器结构的输出上，使用运动检测器对运动特征和背景特征进行区分和提取；运动检测器使用注意力机制和门控卷积网络，根据两帧图像的差异和相似度，生成一个运动掩码，用于区分运动区域和背景区域；步骤5：将输入的代表参考帧的特征FAS和代表运动帧的特征FBS经过Edge-GuidedAttention结构，进行边缘特征学习，加强运动区域边缘，降低生成视频中的振铃伪影，以期提升放大视频的质量；步骤6：将输入的代表参考帧的特征FAS和代表运动帧的特征FBS进行差值计算，然后将运动特征进行指定的放大因子α倍数放大；具体计算公式如下： 步骤7：将放大的特征经过混合放大Transformer模块，与提取的背景特征在操纵特征空间转回放大的帧；步骤8：最终，生成运动放大视频，输出结果，之后即可结束整个基于STB-DISF的微小运动放大流程。

全文数据：

权利要求：

百度查询： 三峡大学 一种基于STB-DISF的微小运动放大方法