买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种基于双模态交互和状态反馈的快速实时视频目标分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113807322B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111233607.0，技术领域涉及：G06V20/40；该发明授权一种基于双模态交互和状态反馈的快速实时视频目标分割方法是由刘勇;梅剑标;王蒙蒙设计研发完成，并于2021-10-22向国家知识产权局提交的专利申请。

本一种基于双模态交互和状态反馈的快速实时视频目标分割方法在说明书摘要公布了：本发明公开了一种基于双模态交互和状态反馈的快速实时视频目标分割方法，包括以下步骤：步骤一、模型训练，利用服务器对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于双模态交互和状态反馈的快速实时视频目标分割方法的网络权重；步骤二、模型推断，利用训练阶段获得的网络权重，在新的视频序列中分割第一帧给定的目标。通过双模态特征交互，加强目标外观表示的学习，减弱背景中外形特征相似、颜色相似的目标的干扰，使系统能够在复杂的环境中准确地分割目标；以及通过状态反馈固定存储器有效容量并自适应地更新存储器中的特征，使系统能够有效利用历史帧中的目标信息，并具有较高的推断速度和内存利用效率。

本发明授权一种基于双模态交互和状态反馈的快速实时视频目标分割方法在权利要求书中公布了：1.一种基于双模态交互与状态反馈的快速实时视频目标分割方法，其特征在于，包括以下步骤：步骤一、模型训练，利用服务器对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于双模态交互与状态反馈的快速实时视频目标分割的网络权重；步骤二、模型推断，利用训练阶段获得的网络权重，在新的视频序列分割第一帧给定的目标；所述步骤一的模型训练具体包括以下步骤：S11、利用服务器执行训练视频片段生成单元，生成长度为T的训练视频片段，其中T≥2；S12、利用服务器执行查询编码单元，进行查询图像键值编码对的提取，当前帧图像为It，查询图像键值编码对为t表示时刻，t＞1，Q表示查询图像；S13、利用服务器执行参考编码单元，利用保护图像分支和掩膜分支的不共享参数的双分支残差网络，提取参考帧图像特征和参考帧目标掩膜特征并进行双模态交互，参考帧图像的上一帧图像为It-1，参考帧目标掩膜的上一帧目标掩膜预测结果为Mt-1，输出参考键值编码对并存储于存储器中，R表示参考图像，M是指存储器的等效容量的最大值；S14、利用服务器执行掩膜重建单元，对输入到步骤S13中的掩膜分支的目标掩膜预测结果进行重建，输出重建后的目标掩膜；S15、利用服务器执行状态估计单元，对所述步骤S13中输入的目标掩膜预测结果进行状态估计，提供状态反馈，输出预测的状态分数st-1；S16、利用服务器执行匹配单元，根据查询图像键值编码对来检索存储器中历史帧特征中的信息，得到最终的匹配特征；S17、利用服务器执行解码单元，输出查询帧最终的分割结果Mt；S18、利用服务器进行网络训练，采用端到端的方式训练；具体为，将分割损失函数Ls、重建损失函数Lr和状态评估损失函数Le进行联合，并使用自适应权重来自动平衡各部分损失函数，得到最终的总损失函数Ltotal；S19、利用服务器优化目标函数，目标函数采用所述步骤S18中的总损失函数Ltotal，获取局部最优网络参数作为基于双模态融合和状态反馈的快速实时视频目标分割的网络权重；所述步骤二的模型推断包括以下步骤：S21、初始化分割目标，新的视频序列第一帧中会给出待分割的目标的掩膜，分割从视频序列的第二帧开始；S22、将当前帧图像It通过查询编码单元获取当前帧键值编码对S23、将上一帧图像It-1及其目标掩膜预测结果Mt-1通过参考编码单元获取上一帧键值编码对将上一帧键值编码对临时存入在储存器中；S24、将参考编码单元的图像分支输出的特征通过状态估计单元，获取目标掩膜预测结果Mt-1的状态估计分数st-1；S25、执行匹配单元，获取匹配特征；S26、将所述步骤S25中的匹配特征和所述步骤S22中的查询编码特征输入到解码单元，获取当前帧目标掩膜预测结果Mt；S27、执行记忆管理单元，组织存储器中存储的从第一帧到上一帧图像的键值编码对，使所使用的存储空间大小固定在给定等效尺寸，提高空间利用效率以及后续图像中第一帧给定的目标的分割速度；所述步骤S27具体为：设置存储器MB的等效容量|MB|的最大值为M，存储器最多存储M帧图像的特征，M＞1；默认第一帧的特征被放入存储器中；当存储器的等效容量|MB|＜M时，每隔5帧，时刻t-1为5的倍数，所述步骤S23中临时存入的特征和所述步骤S24中的状态估计分数st-1保留在存储器中，否者被移除抛弃；当存储器的等效容量|MB|＝M时，若特征对应的状态分数st-1＜sth，则被移除抛弃，否则进行合并操作：特征与存储器中具有最小状态分数smin的特征 合并，状态估计分数st-1与最小状态分数smin合并， 其中，分别为合并后的特征与状态分数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310063 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。