买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京航空航天大学杭州创新研究院;北京航空航天大学申请的专利基于多模态大模型微调的视频行为识别方法、装置和设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119495127B 。

龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510075914.2，技术领域涉及：G06V40/20；该发明授权基于多模态大模型微调的视频行为识别方法、装置和设备是由刘庆杰;何睿;张宗晔;傅泽华;胡征慧;王蕴红;黄迪设计研发完成，并于2025-01-17向国家知识产权局提交的专利申请。

本基于多模态大模型微调的视频行为识别方法、装置和设备在说明书摘要公布了：本公开的实施例涉及视频检测技术领域，具体涉及基于多模态大模型微调的视频行为识别方法、装置和设备。本公开方法的一具体实施方式包括：获取视频行为识别数据集和初始视频行为识别模型；对于每个视频行为识别数据，执行以下步骤：确定视频行为识别数据包括的视频帧序列对应的关键帧图像；将关键帧图像存储至预设图像存储位置；基于标签文本模板、关键帧图像、图像存储路径和视频行为识别数据包括的行为标签，生成训练样本，其中，训练样本包括样本图像和样本标签数据；对初始视频行为识别模型进行训练，以及确定为视频行为识别模型；将目标视频数据输入视频行为识别模型，得到视频行为文本信息。该实施方式可以提高视频行为识别模型的训练时长。

本发明授权基于多模态大模型微调的视频行为识别方法、装置和设备在权利要求书中公布了：1.一种基于多模态大模型微调的视频行为识别方法，包括：获取视频行为识别数据集和初始视频行为识别模型，其中，所述视频行为识别数据集中的每个视频行为识别数据包括视频帧序列和行为标签，初始视频行为识别模型包括多模态大模型、图像映射模块、图像向量嵌入模块、文本映射模块和文本向量嵌入模块；对于所述视频行为识别数据集中的每个视频行为识别数据，执行以下步骤：确定所述视频行为识别数据包括的视频帧序列对应的关键帧图像，所述关键帧图像是视频帧序列中与前后相邻帧之间动作变化最大的视频帧，包括：第一步，对所述视频行为识别数据包括的视频帧序列进行逐帧分组处理，得到视频帧子序列集；第二步，对于所述视频帧子序列集中的每个视频帧子序列，执行以下步骤：第一子步骤，通过以下公式，确定所述视频帧子序列中的各个视频帧之间的帧间差异图像：Dt＝|framet-1-2framet+framet+1|，其中，t表示中间帧的帧号，Dt表示第t帧对应的帧间差异图像，framet-1表示第t-1帧视频帧，framet表示第t帧视频帧，framet+1表示第t+1帧视频帧；第二子步骤，确定所述帧间差异图像对应的能量信息，其中，所述能量信息表征帧间差异图像的变化程度，其中，将所述帧间差异图像中各个像素值的平方加和后的结果确定为图像能量值，将所述帧间差异图像与所述图像能量值确定为能量信息，第三步，从所确定的各个能量信息中选出满足预设能量条件的能量信息作为目标能量信息，其中，所述预设能量条件是各个能量信息中包括的图像能量值为各个图像能量值中的最大值的能量信息；第四步，将所述目标能量信息对应的视频帧子序列确定为目标视频帧子序列，其中，将所述目标能量信息包括的帧间差异图像对应的视频帧子序列确定为目标视频帧子序列；第五步，基于所述目标视频帧子序列，生成关键帧图像，其中，将所述目标视频帧子序列的中间帧确定为关键帧图像；将所述关键帧图像存储至预设图像存储位置，以生成图像存储路径；基于预设的标签文本模板、所述关键帧图像、所述图像存储路径和所述视频行为识别数据包括的行为标签，生成训练样本，其中，所述训练样本包括样本图像和样本标签数据；基于所生成的各个训练样本，对初始视频行为识别模型进行训练，以及将训练完成的初始视频行为识别模型确定为视频行为识别模型；响应于接收到针对目标视频数据的行为识别请求信息，将所述目标视频数据输入所述视频行为识别模型，得到视频行为文本信息，以及将所述视频行为文本信息发送至所述行为识别请求信息对应的用户端。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学杭州创新研究院;北京航空航天大学，其通讯地址为：310056 浙江省杭州市滨江区长河街道炬航弄99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。