恭喜哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)漆舒汉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)申请的专利一种多模态模型视觉感知能力探测方法及终端获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119338013B 。
龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411887056.3,技术领域涉及:G06F16/332;该发明授权一种多模态模型视觉感知能力探测方法及终端是由漆舒汉;靳博涵;吴宇琳;曹正英;张加佳;王轩设计研发完成,并于2024-12-20向国家知识产权局提交的专利申请。
本一种多模态模型视觉感知能力探测方法及终端在说明书摘要公布了:本发明涉及机器学习技术领域,公开了一种多模态模型视觉感知能力探测方法及终端,所述方法包括:获取多张检测图像,检测每张所述检测图像之中包含的对象;针对每张所述检测图像,均根据包含的对象构建正向提示答案对和负向提示答案对,以构成探测数据集;获取待探测模型,根据所述探测数据集探测所述待探测模型的性能,输出探测结果。本发明通过针对每个图像构建正向提示答案对和负向提示答案对,不仅简化了问题的构造,同时也要求模型在理解图像内容及其语境时不能仅依赖随机猜测,迫使模型需要正确理解图案和问题才能得到较好的探测结果,有效解决了在进行探测时,对部分模型无法准确的衡量模型的能力的问题。
本发明授权一种多模态模型视觉感知能力探测方法及终端在权利要求书中公布了:1.一种多模态模型视觉感知能力探测方法,其特征在于,所述多模态模型视觉感知能力探测方法包括:获取多张检测图像,检测每张所述检测图像之中包含的对象;针对每张所述检测图像,均根据包含的对象构建正向提示答案对和负向提示答案对,以构成探测数据集;获取待探测模型,根据所述探测数据集探测所述待探测模型的性能,输出探测结果;所述针对每张所述检测图像,均根据包含的对象构建正向提示答案对和负向提示答案对,具体包括:针对每张所述检测图像,均根据包含的对象构建对象检测视觉感知子任务的正向提示答案对和负向提示答案对;针对每张所述检测图像,均根据包含的对象构建对象属性识别视觉感知子任务的正向提示答案对和负向提示答案对;针对每张所述检测图像,均根据包含的对象构建对象计数视觉感知子任务的正向提示答案对和负向提示答案对;所述针对每张所述检测图像,均根据包含的对象构建对象检测视觉感知子任务的正向提示答案对和负向提示答案对,具体包括:针对每张所述检测图像,根据包含的对象构建如下正向提示答案对:问题:判断是否在图片中,回答:是;其中,表示检测图像中包含的对象;针对每张所述检测图像,根据包含的对象构建如下负向提示答案对:问题:判断是否在图片中,回答:否;其中,表示检测图像中不包含的对象,通过语言模型联想得到,或通过查询存在的对象的相近意向得到;所述针对每张所述检测图像,均根据包含的对象构建对象属性识别视觉感知子任务的正向提示答案对和负向提示答案对,具体包括:针对每张所述检测图像,根据包含的对象构建如下正向提示答案对:问题:判断的object是否在图片中,回答:是;其中,object表示一个检测图像包含的对象,表示对象object的实际颜色;针对每张所述检测图像,根据包含的对象构建如下负向提示答案对:问题:判断的object是否在图片中,回答:否;其中,是从一组常见颜色中随机选取的颜色,在选取时,去除了的颜色;所述针对每张所述检测图像,均根据包含的对象构建对象计数视觉感知子任务的正向提示答案对和负向提示答案对,具体包括:针对每张所述检测图像,根据包含的各个对象的数量对对象进行筛除;针对每张所述检测图像,根据包含的对象构建如下正向提示答案对:问题:判断的object是否在图片中,回答:是;其中,object表示一个检测图像包含的对象,表示对象object的数量;针对每张所述检测图像,根据包含的对象构建如下负向提示答案对:问题:判断的object是否在图片中,回答:否;其中,是从常见的数字中随机选取的,以外的数;所述检测每张所述检测图像之中包含的对象,具体包括:获取对象检测模型,依次将每张所述检测图像输入到所述对象检测模型;所述对象检测模型输出各张所述检测图像的多个对象;所述对象检测模型输出各张所述检测图像的多个对象,之后还包括:所述对象检测模型输出各张所述检测图像的各个所述对象的置信度;针对每张所述检测图像,均根据对应的各个所述置信度对所述对象进行筛除。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院),其通讯地址为:518055 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。