买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:南京大学
摘要:一种群体和谓词并行预测的群体视觉关系检测方法,首先从输入图像中提取物体,根据物体种类和物体视觉特征计算物体相似度,根据相似度将物体划分到多个候选群体中,并将候选群体一一配对组成候选群体对,接着提取物体层级、群体层级、群体对层级的视觉特征、语义特征和位置特征,之后通过交叉注意力编码群体中的物体特征预测物体是否在群体中,并用物体置信度加权物体特征,与群体特征和群体对特征拼接后预测谓词。最后根据物体构成群体的置信度和谓词可能性生成群体视觉关系。本发明基于群体范围与群体视觉关系谓词相互影响的发现,通过并行预测群体范围和谓词类别,找出谓词和群体范围准确匹配的群体视觉关系,具有良好的广泛性。
主权项:1.一种群体和谓词并行预测的群体视觉关系检测方法,其特征是建立一个群体-谓词并行预测网络,对输入的图像输出图像中的群体视觉关系,群体-谓词并行预测网络包括实体构建模块、特征导出模块和群体关系预测模块:首先通过实体构建模块从输入图像中提取物体,根据物体种类和物体视觉特征计算物体相似度,再根据相似度将物体划分到多个候选群体中,并将候选群体两两配对组成候选群体对;接着在特征导出模块中,提取物体层级的视觉特征和位置特征作为物体特征,提取群体层级的视觉特征、位置特征和语义特征作为群体特征,提取群体对层级的视觉特征作为群体对特征;然后在群体关系预测模块,通过宾语群体对于主语群体或主语群体对于宾语群体的交叉注意力,对候选群体中的物体位置特征和视觉特征联合编码,用于预测物体属于该群体的置信度,并用物体置信度加权物体特征,与群体特征和群体对特征拼接后用于预测谓词,最后根据物体属于群体的置信度和谓词可能性并行预测,生成最终群体视觉关系。
全文数据:
权利要求:
百度查询: 南京大学 一种群体和谓词并行预测的群体视觉关系检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。