恭喜北京工业大学王立春获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜北京工业大学申请的专利一种基于排序与语义一致性约束的实例分割改进方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113409327B 。
龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110608265.X,技术领域涉及:G06V10/26;该发明授权一种基于排序与语义一致性约束的实例分割改进方法是由王立春;杨臣;王少帆;孔德慧;李敬华;尹宝才设计研发完成,并于2021-06-01向国家知识产权局提交的专利申请。
本一种基于排序与语义一致性约束的实例分割改进方法在说明书摘要公布了:本发明提出一种基于排序与语义一致性约束的实例分割改进方法,针对如何提高分割实例的掩膜质量问题,主要是提出面向实例分割网络的排序损失与语义一致性损失,前者优化子区域的选择结果,后者优化子区域的语义分割结果。实例分割属于计算机视觉领域的重要任务,既要求区分具体实例,又要求完成分类与定位任务。当前的实例分割方法,存在分割实例的掩膜质量不高的问题,这对很多实际任务有不可忽略的负面影响。提出的排序损失与语义一致性损失,可以应用于目前已有的任意两阶段与单阶段实例分割框架中。在公开数据集上进行的实验表明,增加排序损失与语义一致性损失后,深度网络的实例分割效果均取得一定程度的提升,分割实例的掩膜质量有所改善。
本发明授权一种基于排序与语义一致性约束的实例分割改进方法在权利要求书中公布了:1.一种基于排序与语义一致性约束的实例分割改进方法,其特征在于包括以下步骤:模型训练与测试使用的预训练模型已经在imagenet数据集上进行了训练;预训练模型使用的算法包括Mask-RCNN与Yolact的原始基础模块;Mask-RCNN基础模块:特征提取网络Backbone:ResneXt101+FPN为Backbone,使用的预训练权重为resnet101文件,其在ImageNet数据集上进行了预训练;RPN网络:用于生成regionproposals;通过softmax判断anchors属于positive或者negative,再利用boundingboxregression修正anchors获得精确的ROIs,即子区域;全连接层FC:分类操作得到实例标签,回归操作得到实例框;全卷积网络FCN:掩膜分割操作,得到实例掩膜;Yolact基础模块:特征提取网路Backbone:Resnet101+FPN为Backbone,预训练权重文件仍为resnet101文件;Protonet网络:为每张图像生成k个原型Mask;k=32;接在FPN输出的后面,是一个全卷积结构的网络,预测得到一组原型Mask;PredictionHead:回归分类操作,等同于两阶段方法中的子区域提取过程,输出子区域及其分类;同时预测k个线性组合系数,用于对原型Mask进行线性组合操作,对线性组合结果进行Crop操作获得实例掩膜;使用标准的标签文件annotation包括[id,image_id,category_id,segmentation,area,bbox,iscrowd],类别标签category_id,掩膜标签segmentation,实例框标签bbox;其中的segmentation为polygon格式数据,以相邻一对数据为实例轮廓边缘点的坐标值,bbox数据格式为[x1,y1,x2,y2];在第一阶段,损失函数是RPN网络训练所得,包括RPN前景与背景分类损失lrpn_cls,真实标签t∈{1,0,-1},真实标签为0的anchors不参与损失函数的构建,将标签为-1的转换为0进行交叉熵计算;RPN目标框回归损失lrpn_reg,以及排序损失SRLoss,记为lrpn_rank;子区域排序损失排序损失定义如式1: 其中P为正样本集合,正负样本由先验框或锚框anchor与GTBbox计算交并比后根据阈值确定;高于0.7的样本归为正样本,低于0.3的样本归为负样本,其余样本不予训练与处理;依据交并比对正负样本由大及小进行排序,排序序号即为r值;依据样本的分类置信度评分由大及小进行排序,排序序号即为sortr的值;正样本排序结果越靠前,则SRLoss越小;在第二阶段,损失函数包括分类损失lcls、回归损失lreg、分割损失lseg,以及语义一致性损失SSLoss,记为lsc;子区域语义一致性损失记Mi为掩膜区域内标注为第i类的像素点的数目,最终的损失函数形式为: 其中c为总的类别数量,在MSCOCO数据集上c=80,α为超参数;在其中的分类损失、分割损失为交叉熵损失,而回归损失为Smooth_L1损失;它们的形式是:交叉熵损失:y为真实值,yi为预测概率值,n为样本个数;Smooth_L1损失:y*为预测值,y3为标签,x为两者间差异;总体训练分为两大部分,首先训练RPN网络部分,需要优化的损失函数L1如下:L1=lrpn_cls+lrpn_reg+lrpn_rank5ROI区域筛选进入第二阶段后,需要优化的损失函数L2如下:L2=lcls+lreg+lseg+lsc6在测试部分,使用Mask预测分支对评分最高的前100个检测框进行处理;为了加快推断效率,网络针对于每个ROI预测K个掩膜图像,但此处只需要使用其中类别概率最大的掩膜图即可,将这个掩膜图像resize回ROI大小,并以设定阈值0.5进行二值化,高于阈值的进行保留,最后分割的掩膜与原图像进行图像级add操作获得最终的实例分割可视化结果;列出网络的总损失:L=lcls+lreg+lseg+lsegm+lrank+lsc其中,lcls与lreg为分类损失与回归损失,lseg为分割损失,lsegm为语义分割损失,排序损失记为lrank。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京工业大学,其通讯地址为:100124 北京市朝阳区平乐园100号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。