买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本申请公开了一种目标定位方法及其相关设备,该方法包括:获取待处理图像以及第一文本提示信息,第一文本提示信息是需要从待处理图像中检索的目标的描述信息;基于待处理图像和第一文本提示信息,通过预设的多模态大模型对待处理图像中目标的边界框进行定位,得到定位结果;其中,预设多模态大模型是基于预设边界框定位数据集,对基础多模态大模型进行训练得到的,预设边界框定位数据集中的每条数据包括第一数据集以及与第一数据集对应的边界框标签,边界框标签与第一数据集是N对1的关系,N大于等于0,第一数据集包括第一样本图像和对需要检索的目标进行描述的第二文本提示信息;本申请实现提升任意复杂描述的目标定位的准确度。
主权项:1.一种目标定位方法,其特征在于,所述方法包括:获取待处理图像以及第一文本提示信息,所述第一文本提示信息是需要从待处理图像中检索的目标的描述信息;基于所述待处理图像和所述第一文本提示信息,通过预设的多模态大模型对所述待处理图像中目标的边界框进行定位,并将所述边界框的定位结果作为目标的定位结果;其中,所述预设多模态大模型是基于预设边界框定位数据集,对基础多模态大模型进行训练得到的,所述预设边界框定位数据集中的每条数据包括第一数据集以及与所述第一数据集对应的边界框标签,所述边界框标签与所述第一数据集是N对1的关系,所述N大于等于0,其中,预设多模态大模型中的训练过程存在第一样本图像中没有第二文本提示信息中所描述的目标,或者第一样本图像中只存在一个第二文本提示信息中所描述的目标,或者第一样本图像中有多个第二文本提示信息所描述的目标的情况,所述第一数据集包括第一样本图像和对需要检索的目标进行描述的第二文本提示信息,所述第二文本提示信息为对该第一样本图像的复杂描述,其中,使用三元组作为获取复杂描述的中间步骤;所述目标定位方法还包括:从第一样本图像中裁剪得到边界框标签对应的子图;基于所述子图,完整的第一样本图像以及对应的第一组合数据集和第二组合数据集中的其他数据对基础指代表达匹配专家模型进行训练,得到目标指代表达匹配专家模型,所述目标指代表达匹配专家模型用于确定预设边界框定位数据集。
全文数据:
权利要求:
百度查询: 杭州海康威视数字技术股份有限公司 目标定位方法及其相关设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。