买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江核新同花顺网络信息股份有限公司;浙江同花顺智能科技有限公司

摘要：本发明公开了一种虚拟人的衣物检测方法、装置、设备及可读存储介质，应用于目标检测技术领域，包括：基于文本特征和图像特征利用图像‑文本互注意力方法对图像特征进行增强，以及利用文本‑图像互注意力方法对文本特征进行增强，得到融合图像增强特征和融合文本增强特征；对融合图像增强特征进行池化处理，得到全局图像特征，基于对比损失对全局图像特征和每一个融合文本增强特征进行约束处理，得到约束后的图像特征和约束后的文本特征；基于约束后的图像特征和约束后的文本特征预测目标位置和目标类别。本发明在提取图像特征的基础上添加与文本特征交互融合，使图像特征与文本特征都具有更强的特征表达能力，提高衣物检测的准确性。

主权项：1.一种虚拟人的衣物检测方法，其特征在于，包括：基于文本特征和图像特征利用图像-文本互注意力方法对所述图像特征进行增强，以及利用文本-图像互注意力方法对所述文本特征进行增强，得到融合图像增强特征和融合文本增强特征；其中，所述图像特征为包括虚拟人的衣物的图像，所述图像-文本互注意力方法为实现文本模态向图像模态的信息融合的方法，所述文本-图像互注意力方法为实现图像模态向文本模态的信息融合的方法；对所述融合图像增强特征进行池化处理，得到全局图像特征，并基于对比损失对所述全局图像特征和每一个所述融合文本增强特征进行约束处理，得到约束后的图像特征和约束后的文本特征；基于所述约束后的图像特征和所述约束后的文本特征预测目标位置和目标类别；其中，所述对所述融合图像增强特征进行池化处理，得到全局图像特征，并基于对比损失对所述全局图像特征和每一个所述融合文本增强特征进行约束处理，得到约束后的图像特征和约束后的文本特征，包括：对所述融合图像增强特征进行平均池化处理，得到所述全局图像特征；其中，所述全局图像特征为；N为图像特征数量；计算每个全局图像特征与融合文本增强特征之间的相似度，，M表示融合文本增强特征数量，E表示融合文本增强特征，为缩放因子，i表示全局图像特征的角标，j表示融合文本增强特征的角标；基于所述相似度计算所述对比损失L，，所述B表示训练批次大小，exp表示以自然常数e为底的指数函数，表示当前批次的全局图像特征的角标，表示当前批次的融合文本增强特征的角标，所述相似度包括和；基于所述对比损失对所述全局图像特征与每一个文本特征进行约束，得到所述约束后的图像特征和所述约束后的文本特征。

全文数据：

权利要求：

百度查询： 浙江核新同花顺网络信息股份有限公司 浙江同花顺智能科技有限公司 一种虚拟人的衣物检测方法、装置、设备及可读存储介质