买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州声贝软件技术有限公司

摘要：本申请提出了一种基于掩模自编码器的视频水体分割模型的构建方法及装置，包括以下步骤：获取至少一包含水体的视频帧序列作为训练样本输入到视频水体分割架构中，在所述视频水体分割架构使用场景编码模块将视频帧序列中的每一帧进行编码分别得到与每一帧对应的多尺度图像；使用所述时空特征聚合模块得到当前帧的粗糙水体分割图，再使用掩模自编码‑解码模块对粗糙水体分割图进行细化得到精细水体分割图；再基于根据获取的多张精细水体分割图来预测初始帧的精细水体分割图并计算损失从而得到视频水体分割模型。本方案设计了一种掩模自编码器并以单帧监督的方式对视频水体分割模型进行训练，从减少了视频的标注成本并提高了视频水体分割的精度。

主权项：1.一种基于掩模自编码器的视频水体分割模型的构建方法，其特征在于，包括以下步骤：获取至少一包含水体的视频帧序列作为训练样本，并对每一视频帧序列中的初始帧进行水体标注后输入到构建好的视频水体分割架构；所述视频水体分割架构包括场景编码模块、时空特征聚合模块以及掩模自编码-解码模块，所述场景编码模块对视频帧序列中的每一帧进行编码分别得到与每一帧对应的多尺度图像；所述时空特征聚合模块以输入的当前帧作为查询，以与当前帧的上一帧对应的多尺度图像作为键，以与当前帧的上一帧对应的预测分割结果作为值进行注意力计算得到当前帧的粗糙水体分割图，其中，若当前帧的上一帧为初始帧则以初始帧的水体标注信息作为初始帧的预测分割结果；在所述掩模自编码-解码模块中基于当前帧的粗糙水体分割图、与当前帧对应的多尺度图像以及当前帧得到当前帧的水体特征，将当前帧的水体特征逐步与当前帧对应的多尺度图像进行融合得到当前帧的精细水体分割图，并以当前帧的精细水体分割图为下一帧的预测分割结果来获取下一帧的精细水体分割图直至获取除初始帧外每一帧图像的精细水体分割图；再由所述时空特征聚合模块以初始帧作为查询，并分别以设定数量的精细水体分割图为键，以与键对应的多尺度图像为值进行注意力计算得到初始帧的粗糙水体分割图，再由所述掩模自编码-解码模块对初始帧的粗糙水体分割图进行细化得到初始帧的精细水体分割图；使用初始帧的精细水体分割图与初始帧的水体标注信息构建损失函数，当损失函数满足设定条件时保留当前视频水体分割架构的参数得到视频水体分割模型。

全文数据：

权利要求：

百度查询： 杭州声贝软件技术有限公司 基于掩模自编码器的视频水体分割模型的构建方法及装置