买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南工商大学

摘要：本申请适用于人工智能技术领域，提供了一种人物交互关系检测方法、终端设备及介质，通过提取待测图像的视觉特征，并将其输入交互编码器和检测编码器，得到交互特征和检测特征；将交互特征向量化后输入人物交互关系分类器，得到交互分类得分；将检测特征输入检测解码器，得到人物对边界框、物体类别以及物体类别得分；计算交互预测查询；将交互特征和交互预测查询输入交互预测解码器，得到交互预测查询的交互预测得分；根据交互分类得分、物体类别得分以及交互预测得分，计算人物交互关系得分；根据人物交互关系得分确定待测图像的人物交互关系。本申请能提高人物交互关系检测方法的准确性。

主权项：1.一种人物交互关系检测方法，其特征在于，包括：提取待测图像的视觉特征，并将所述视觉特征分别输入交互编码器和检测编码器，得到交互特征和检测特征；将所述交互特征向量化后输入人物交互关系分类器，得到交互分类得分；所述人物交互关系分类器包括预先训练后的图像编码器、适配器以及预先初始化后的交互分类器，所述图像编码器用于提取所述待测图像的图像特征，所述适配器用于对所述图像特征进行分割，所述交互分类器用于根据分割后的图像特征计算所述待测图像的交互分类得分，所述交互分类得分用于描述所述待测图像中所有人物交互关系类型的语义信息；将所述检测特征输入检测解码器，得到多个人物对边界框、每个所述人物对边界框中的物体类别以及所述物体类别对应的物体类别得分；所述人物对边界框包括人体边界框和物体边界框；根据经由检测解码器优化后的人和物体的查询向量，计算交互预测查询；所述交互预测查询用于提取和聚合交互关系分类的视觉特征；将所述交互特征和所述交互预测查询输入交互预测解码器，得到所述交互预测查询的交互预测得分；所述交互预测解码器包括第一预设数目的自注意力层和第二预设数目的交叉注意力层，所述自注意力层与所述交叉注意力层之间依次连接，所述交互预测得分用于表征交互分类的置信度向量；根据所述交互分类得分、所述物体类别得分以及所述交互预测得分，计算人物交互关系得分；所述人物交互关系得分用于描述所述待测图像中预先获取的所有候选交互关系三元组的可能性，所述候选交互关系三元组包括人体、物体以及所述人体所述物体二者之间的交互关系类型；将大于等于预设得分阈值的所述人物交互关系得分对应的候选交互关系三元组，作为所述待测图像的人物交互关系；其中，所述交互编码器包括第三预设数目个编码器层，所述检测编码器包括第四预设数目个编码器层，所述编码器层包括自注意力子层和前馈神经网络子层，所述自注意力子层和所述前馈神经网络子层依次连接；所述交互分类得分的表达式如下： W＝softmaxtopkSc其中，Qs表示所述交互分类得分，L·表示线性层，W表示权重，Et表示文本嵌入，所述文本嵌入用于对所述交互分类器进行预先初始化，topk·表示去前k个，Sc表示交互得分，前k个交互得分经过softmax函数激活后得到所述交互分类得分；所述交互分类得分、所述多个人物对边界框以及所述物体类别，计算交互预测查询，包括：通过计算公式得到所述交互预测查询Qact；其中，Qh'表示人查询经过检测解码器后更新以后的向量表征，Qo'表示物体查询经过检测解码器后更新以后的向量表征。

全文数据：

权利要求：

百度查询： 湖南工商大学 一种人物交互关系检测方法、终端设备及介质