买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明提供了一种基于自进化域迁移的目标关系识别方法，利用生成模型生成数据，并通过特征对齐方法来弥合生成数据和原始数据之间的域差异，从而提高目标关系识别基准模型的性能。这种方法显著减少了目标关系识别对大规模高质量真实数据的依赖，通过生成图像来填补数据缺少的问题，为将生成数据用于实际训练和目标关系识别提供了新的思路。本发明提出了场景对齐模块和实例对齐模块来对齐上下文场景特征和人‑物对实例特征，这为将生成数据用于实际训练和目标关系识别提供了新的思路，新的模型框架在精度和可用性方面都取得了进步。

主权项：1.一种基于自进化域迁移的目标关系识别方法，其特征在于包括如下步骤：步骤1：首先，从现有人物关系识别数据集中收集标签，该标签为一个三元组人，关系，物，其中关系代表三元组中的关系类别，物体代表三元组中的物体类别，将文本输入到blip-diffusion模型中，生成对应的图片Igen；步骤2：教师-学生模型包括具有相同架构和相同初始化权重的两个目标关系识别基线模型，教师模型输入弱增强生成图像并生成伪标签，学生模型输入强增强的原始图像和生成图像，并利用教师模型产生的伪标签反向传播进行更新，而教师模型的参数通过对学生模型参数的指数移动平均进行更新，如下公式所示：θt＝αθt+1-αθs1其中θt是教师模型的参数，θs为学生模型的参数，α为超参数，取值范围为0-1；对于教师模型生成的标签，设置一个预先定义的阈值，阈值的取值范围为0-2；因为生成图像没有对应的标签无法进行训练，所以首先将生成图像输入到教师模型，教师模型输出一个标签和其对应的预测分数，如果该预测得分高于阈值，则将教师模型生成的标签作为伪标签用于生成图像的监督；如果教师模型输出的预测得分低于阈值，则舍弃对应的预测；步骤3：对于目标关系识别的基线模型，采用CNN和Transformer编码器实现视觉特征提取；步骤4：为了对图像的场景信息进行对齐，提出了一种条件控制的图像重建方法，通过随机遮掩生成图像的一些区域，并在同一类别的原始图像特征的条件控制下，利用学生模型的编码器和辅助解码器对被遮掩的区域进行重建，有助于提高模型对生成域特征的学习能力，并提高生成域特征向原始域特征迁移的能力；步骤5：步骤4的操作有效的对齐了上下文场景特征，提出了一个实例特征对齐模块去对齐人-物对实例特征；步骤6：计算网络总体损失；利用损失函数进行反向传播，然后通过训练得到多个模型，选取其中在测试集上map达到0.34以上的模型用于应用，最终根据模型的输出即可得到图像中存在的人物关系。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于自进化域迁移的目标关系识别方法