买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜青岛民航凯亚系统集成有限公司申请的专利一种基于多模态的机场围界检测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119152445B 。

龙图腾网通过国家知识产权局官网在2025-06-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411649093.0，技术领域涉及：G06V20/52；该发明授权一种基于多模态的机场围界检测方法及系统是由李福聪;刘晓疆;刘青;郭敬云;杜建国;陶欣设计研发完成，并于2024-11-19向国家知识产权局提交的专利申请。

本一种基于多模态的机场围界检测方法及系统在说明书摘要公布了：本发明属于机场围界安防技术领域，公开了一种基于多模态的机场围界检测方法及系统。该方法通过视频人员检测模块对围界周围的环境进行实时分析，观察是否有人靠近围界；检测提示词与图像的内容是否违法，若违法则不予处理；通过多模态视觉大模型的图像理解能力、文本理解、分析的能力对图像中的内容进行分析并返回分析结果；判断输入的文本内容是否存在破环、入侵围界的意图；没有产生入侵、破环围界的意图，则直接通过异常报警模块。本发明采用大模型与传统深度学习相结合的方法，能够显著提升安防系统的准确性和整体效率。这不仅满足了民航业日益增长的安全需求，更为其持续、健康发展注入了强劲的新动力。

本发明授权一种基于多模态的机场围界检测方法及系统在权利要求书中公布了：1.一种基于多模态的机场围界检测方法，其特征在于，该方法包括：S1，通过视频人员检测模块对围界周围的环境实时分析，检测是否有人靠近围界；S2，检测到靠近围界的人员信息后，将图像与预先设置好的提示词传输给合法性分析模块，检测提示词与图像的内容是否违法，若违法则不予处理；S3，将通过合法性检测的图像与提示词内容，传输给多模态图像分析模块，多模态视觉大模型采用在开源的LLM的输入数据阶段，添加多模态特征融合层，将图像特征和提示词向量进行融合，形成多模态特征表示；通过多模态视觉大模型的图像理解能力、文本理解、分析的能力对图像中的内容进行分析并返回分析结果；S4，将多模态图像分析模块的结果传输给意图识别模块，通过意图识别模块判断输入的文本内容是否存在破环、入侵围界的意图；S5，若没有产生入侵、破环围界的意图，则通过异常报警模块实现围界周围的扩音器播放警告离开的语音；若存在正在破坏、入侵围界的情况，则在上位机系统报警提示机场相关的监管人员，并通过围界周围的扩音器播放制止破坏、入侵行为的语音；在步骤S1中，检测是否有人靠近围界，包括：当发现有人在围界附近时，触发多模态图像分析模块，将图像数据传输给合法性分析模块，基于神经网络的视觉模型判断图像是否为合法的内容，避免因黑客原因将不合法的图像数据传输给多模态视觉大模型，若为合法内容则将图像传输给多模态图像分析模块；在步骤S2中，当图像与提示词通过验证时，将图像与提示词传输给多模态图像分析模块；在步骤S3中，通过多模态视觉大模型的图像理解能力、文本理解、分析的能力对图像中的内容进行分析并返回分析结果，包括：（1）将接收到的图像数据与预先定制的提示词prompt进行组合；（2）对组合后的数据传输至多模态视觉大模型，通过多模态视觉大模型的理解分析能力，对图像中的内容进行分析；根据预设的提升词与输入的图像进行组合，通过提示词与图像数据输入的多模态视觉大模型，返回关于该图像的描述；（3）将多模态视觉大模型输出内容传输给意图识别算法，意图识别算法进行分析传输内容的意图，若存在入侵意图则通过系统对用户进行报警，表达式为： ；式中，表示入侵意图分类模型结果，表示关键词检索的结果，表示向量检索的结果，，，的取值为0或1，0表示没有入侵意图，1表示存在入侵意图；意图识别模块共有三个子模块包括入侵意图分类模型，关键词检索模块以及向量相似度匹配模块，入侵意图分类模型是一个基于trasnformer结构的分类模型用以判断输入的文本是否存在入侵意图，关键词检索模块通过预设的安防入侵类的关键词在输入的文本中进行检索，若存在超过3个及以上则任务存在入侵意图，意图识别向量库通过历史的和收集的各种入侵意图文本通过模型转化成向量存储的向量数据库中，当对输入文本进行校验时首先将输入文本转化成向量，然后将该向量与向量库中存储的数据进行比较若超过阈值则认为存在入侵意图；对这三个模块的输出数据进行投票若存在两票判断存在入侵意图则返回存在破坏、入侵围界的行为；在步骤（2）中，通过多模态视觉大模型的理解分析能力，对图像中的内容进行分析，包括：（2.1）围界图像数据采集，通过无监督方法对多模态视觉大模型进行训练，加强多模态视觉大模型对围界的理解，并采集多个机场周围的围界图像、通过图像增强技术生成的围界图像、通过AIGC技术生成的围界图像与通过爬虫爬取的围界图像数据；（2.2）数据集生成，对收集到的围界的图像数据进行标注，包括图像对应的问题以及答案；（2.3）算法微调对齐，通过生成的数据集多模态视觉大模型进行微调，调整模型超参数，将标注好的数据按批次逐一输入到多模态大模型中进行训练，使多模态视觉大模型输出的结果符合围界安防场景的内容；在步骤S4中，通过意图识别模块判断输入的文本内容是否存在破环、入侵围界的意图，包括：（4.1），意图数据的采集，采集通过提示词prompt与大语言模型生成语料，人工编写，自然语言数据增强的方式生成相应的文本数据；通过人工编写以及设置提示词并通过大模型模仿人工编写的提示词生成近似数据；（4.2），数据标注，为首先设置提示词prompt以预先设置的意图类别通过大语言模型对输入的语料判别其具体属于哪个意图，根据大模语言型返回的结果组织数据集；在生成数据集后进行人工纠错，将识别错误的意图进行改正；（4.3），意图识别算法训练，采用transformer架构多种开源算法进行训练，按照例二进行数据的整理，训练完成后，将模型继承到意图识别模块。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人青岛民航凯亚系统集成有限公司，其通讯地址为：266000 山东省青岛市城阳区棘洪滩街道春阳路西端动车小镇科技馆230室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。