深圳须弥云图空间科技有限公司石雅洁获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳须弥云图空间科技有限公司申请的专利基于多模态的零样本图像分割模型训练方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117788981B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410161421.6,技术领域涉及:G06V10/774;该发明授权基于多模态的零样本图像分割模型训练方法及装置是由石雅洁设计研发完成,并于2024-02-02向国家知识产权局提交的专利申请。
本基于多模态的零样本图像分割模型训练方法及装置在说明书摘要公布了:本申请涉及计算机视觉处理技术领域,提供了一种基于多模态的零样本图像分割模型训练方法及装置。该方法包括:利用图像编码器、提示词编码器以及掩码解码器对基础分割模块进行训练,得到训练后的基础分割模块,并利用语言模型、文本编码器以及显著性检测模块对分割微调模块进行训练,得到训练后的分割微调模块,将训练后的基础分割模块与分割微调模块进行拼接并连接交叉注意力融合模块和预设解码器得到零样本图像分割模型,利用训练集再次对零样本图像分割模型进行训练,便可以得到训练后的零样本图像分割模型。本申请实施例解决了现有技术对于未见过的物体类型以及小物体的分割结果准确性不高的问题。
本发明授权基于多模态的零样本图像分割模型训练方法及装置在权利要求书中公布了:1.一种基于多模态的零样本图像分割模型训练方法,其特征在于,包括: 获取图像训练集中的图像和提示词训练集中的提示词,所述提示词基于所述图像的内容确定; 将所述图像和所述提示词输入至基础分割模块中,利用图像编码器对所述图像进行处理,得到图像编码特征,利用提示词编码器对所述提示词进行处理,得到提示词编码特征; 将所述图像编码特征与所述提示词编码特征经过掩码解码器处理,得到对应的掩码,将所述掩码经过全连接层处理并计算第一损失函数,基于所述第一损失函数对所述基础分割模块进行训练,得到训练后的基础分割模块; 将所述图像输入至分割微调模块中,对所述图像分别进行跨模态处理和显著性检测处理,得到文本嵌入特征和显著特征图,将所述文本嵌入特征和显著特征图进行交叉注意力融合,得到第一融合特征图; 将所述第一融合特征图经过多层感知机和全连接层处理并计算第二损失函数,基于所述第二损失函数对所述分割微调模块进行训练,得到训练后的分割微调模块; 将所述训练后的基础分割模块和所述训练后的分割微调模块进行拼接,并连接交叉注意力融合模块和预设解码器,得到零样本图像分割模型; 将所述图像和所述提示词输入至所述零样本图像分割模型进行处理,并计算第三损失函数,基于所述第三损失函数对所述零样本图像分割模型进行训练,得到训练后的零样本图像分割模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳须弥云图空间科技有限公司,其通讯地址为:518054 广东省深圳市南山区粤海街道海珠社区滨海大道3369号有线信息传输大厦25F2504;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励