买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京大学

摘要：一种联合检测与生成的循环一致性人‑物交互检测方法，由HOI检测器与文生图模型StableDiffusion构建一个联合训练框架来对HOI检测器进行训练，仅用经过训练的HOI检测器进行人‑物交互检测；所述联合训练框架中，构建循环一致性网络利用StableDiffusion对HOI检测器提取的特征进行反向操作，来重建恢复原始图像的视觉内容，以提高HOI检测器提取实例特征的质量，同时通过知识蒸馏将StableDiffusion的特征知识传递给HOI检测器的编码器，并在训练中通过StableDiffusion对人‑物交互数据进行标签补全和样本扩增。本发明方法能够改善HOI模型的泛化能力，解决了HOI数据集规模较小、数据分布不均匀导致的长尾问题以及标注不完整或缺失的漏标问题，提高检测性能。

主权项：1.一种联合检测与生成的循环一致性人-物交互检测方法，其特征是由HOI检测器与文生图模型StableDiffusion构建一个联合训练框架来对HOI检测器进行训练，在推理阶段去除StableDiffusion，用经过联合训练的HOI检测器进行人-物交互检测；所述HOI检测器为基于DETR的HOI检测器，联合训练框架中，构建循环一致性网络，利用StableDiffusion对HOI检测器提取的特征进行反向操作，来重建恢复原始图像的视觉内容，同时通过知识蒸馏将StableDiffusion的特征知识传递给HOI检测器的编码器，并在训练中通过StableDiffusion对人-物交互数据进行标签补全和样本扩增；联合训练框架的训练包括如下：1循环一致性网络：HOI检测器接收输入图像，经Transformer解码器得到的输出结果作为每个人-物交互对的特征向量；在DETR的二部图匹配过程中，将特征向量中与真实标签匹配上的向量称作积极嵌入，将积极嵌入作为StableDiffusion的提示词嵌入，生成对应原始输入图像的重建图像，将重建图像与原始输入图像的L2损失函数作为循环一致性损失CycleLoss：LCycle＝||DiffHOIDetI-I||2Diff表示StablesDiffusion，HOIDet表示HOI检测器，LCycle损失通过梯度的反向传播，以优化HOI检测器所提取的人-物交互对实例特征；2知识蒸馏与迁移：将StableDiffusion中的U-Net的输出FS用来蒸馏HOI检测器中编码器的输出FD，其中U-Net作为教师模型，编码器作为学生模型，通过在训练过程中施加损失函数，使编码器学习U-Net的输出特征，训练中对编码器的输出做插值处理以对齐U-Net的输出特征，知识蒸馏的损失函数为L1损失：LDistill＝||Fs-FD||1；3标签补全：对于训练集的每张图像，首先通过预训练好的HOI检测器来预测人-物交互对，即预测标签，并将预测标签对应的自然语言的句子与图像一起输入StableDiffusion，得到每个人-物交互对的预测标签损失Li，并将每张图像与真实标签送入StableDiffusion，得到真实标签的损失LGT，然后将预测标签中损失不超过真实标签损失一定量的标签作为伪标签，即满足Li＜LGT+η条件的标签放入训练集中，用于缓解标签漏标问题，参与下一轮的训练，η为控制伪标签选取的阈值；4样本扩增：首先将数据集中图片不足10张的类别选出来，作为尾部类，然后对于每一个尾部类，训练一个DreamBooth模型，以学习每个尾部类中的共有概念，然后使用这些模型，推理生成类似概念的图像，其中每个尾部类别都生成至少10张图像，生成的图像用于样本扩增；5联合训练框架的训练：联合训练框架包括三部分损失，分别是HOI检测器原本的损失LDetect，循环一致性损失LCycle以及知识蒸馏损失LDistill，联合训练框架整体的损失函数为这三部分的加权和，即：L＝λDetectLDetect+λCycleLCycle+λDistillLDistillλDetect，λCycle以及λDistill分别表示这三部分损失的权重。

全文数据：

权利要求：

百度查询： 南京大学 一种联合检测与生成的循环一致性人-物交互检测方法