买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:成都考拉悠然科技有限公司
摘要:本发明公开了基于多模态大模型的铁塔鸟窝监测方法及系统,方法包括步骤:获取目标铁塔的监测视频,利用目标检测算法初步识别监测视频中的疑似鸟窝,并上报疑似鸟窝对象;所述疑似鸟窝对象包括监测图像、疑似鸟窝位置、图像时间戳、标签和置信度;将所述疑似鸟窝对象输入微调好的多模态大模型中,按过滤提示词模板库输出铁塔鸟窝识别结果;所述过滤提示词模板库包括组成键值对的事件类型与标准事件提示词列表;若所述识别结果中包含铁塔鸟窝存在的确定结论,则将所述疑似鸟窝对象作为事件对象进行上报。本发明通过结合视觉信息和语义理解,实现了对铁塔鸟窝的准确识别,能够显著降低误报率,确保上报的鸟窝事件更加准确。
主权项:1.基于多模态大模型的铁塔鸟窝监测方法,其特征在于,包括步骤:获取目标铁塔的监测视频,利用目标检测算法初步识别监测视频中的疑似鸟窝,并上报疑似鸟窝对象;所述疑似鸟窝对象包括监测图像、疑似鸟窝位置、图像时间戳、标签和置信度;将所述疑似鸟窝对象输入微调好的多模态大模型中,按过滤提示词模板库输出铁塔鸟窝识别结果;所述过滤提示词模板库包括组成键值对的事件类型与标准事件提示词列表;若所述识别结果中包含铁塔鸟窝存在的确定结论,则将所述疑似鸟窝对象作为事件对象进行上报;所述多模态大模型的微调方法包括:构建包括标注好鸟窝的图像和对应的图像描述文本的正确事件数据集,和包括标注好误报为鸟窝的对象的图像和误报原因描述文本的误报事件数据集,共同作为预训练数据集对所述多模态大模型进行微调,加强所述多模态大模型对铁塔鸟窝的图像和语义理解。
全文数据:
权利要求:
百度查询: 成都考拉悠然科技有限公司 基于多模态大模型的铁塔鸟窝监测方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。