买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明公开了一种基于SAM的文本信息驱动的行人检索方法及系统，应用于图像识别技术，方法包括：形成图像编码和文本编码；进行细粒度跨模态对齐，并生成跨模态对比损失函数；构建遮蔽语言建模损失函数和遮蔽图像建模损失函数；构建二元分类任务损失函数；进行行人图像分割并生成图像分割损失函数；进行加权计算生成综合损失函数；根据综合损失函数构建检索模型，并通过检索模型对行人进行检索。本发明通过上述技术方案，不需要额外的训练样本即可实现高效率高精度的多模态识别，不仅考虑了全局的图像与文本匹配，还引入了基于局部嵌入的细粒度对齐机制。这种细粒度对齐能够捕捉到跨模态内容之间的微妙差异，实现更精确的模态对齐。

主权项：1.一种基于SAM的文本信息驱动的行人检索方法，其特征在于，包括：对行人图像进行预处理和编码形成图像编码，并对文本进行预处理和编码形成文本编码；对所述图像编码和所述文本编码进行细粒度跨模态对齐，并最大化正样本对的相似度和最小化最相似的负样本对的相似度生成跨模态对比损失函数；对所述文本编码随机遮蔽单词并预测正确单词构建遮蔽语言建模损失函数，对所述图像编码随机遮蔽区域并预测正确像素值构建遮蔽图像建模损失函数；通过二元分类任务预测所述图像编码和所述文本编码的粒度匹配情况构建二元分类任务损失函数；通过SAM对所述图像编码进行行人图像分割，并根据二元交叉熵损失评估模型预测掩膜与真实掩膜之间的差异生成图像分割损失函数；对所述跨模态对比损失函数、所述遮蔽语言建模损失函数、所述遮蔽图像建模损失函数、所述二元分类任务损失函数和所述图像分割损失函数进行加权计算生成综合损失函数；根据所述综合损失函数构建检索模型，并通过所述检索模型对行人进行检索；最大化正样本对的相似度和最小化最相似的负样本对的相似度生成跨模态对比损失函数包括：根据下式生成跨模态对比损失函数： 式中，为跨模态对比损失，为第i个图像的token数量，为第j个文本的token数量，sim为相似度比较函数，m为表示样本之间的距离的超参数，为第i个图像的第k位token编码，为第j个图像的第l位token编码；根据下式构建二元分类任务损失函数： 式中，为二元分类损失，为二进制似然分布函数，y为匹配结果，B为样本对集合，I为图像，T为文本。

全文数据：

权利要求：

百度查询： 四川大学 一种基于SAM的文本信息驱动的行人检索方法及系统