买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于多模态提示学习的零样本行为识别方法，将CLIP拓展为细粒度的多模态时空理解模型，通过即插即用的帧级别多尺度时序提示MTP和时空语义增强，同时提高多模态时空理解的特异性和普适性。提出的多模态动态提示框架使用CLIP模型的预训练权重进行初始化，并冻结文本编码器的权重。对于视觉编码器，通过将额外的可学习多尺度时序提示模块插入到视觉编码器的不同层中，以得到精炼的时空视觉特征。对于语义文本，通过拓展和精炼类别表示的语义知识，提升对不同行为类别的理解。本发明方法和主流方法对比表现出很好的性能。

主权项：1.一种基于多模态提示学习的零样本行为识别方法，其特征在于，包括如下步骤：步骤1：对于给定的T帧视频片段其中C、H、W分别表示视频帧的通道数、高度和宽度；通过补丁嵌入层，将每个视频帧划分为N个不重叠的补丁其中N＝HWP2，每个补丁的空间尺寸大小为P×P；此过程中还包括拼接上额外的类别嵌入的操作，以得到第t帧对应编码器第一层的输入D表示嵌入维度；令表示输入到第l层视觉编码器的嵌入特征，得到第l+1层的输入 其中，每个视觉编码层以跳跃连接的方式先通过一个层归一化LN和多头自注意力机制MHSA，然后通过层归一化和前馈网络MLP；步骤2：多尺度时序提示模块MTP首先通过窗口移位掩码WSM和多尺度时序交叉注意力MS-TCA分别对由多头自注意力得到的已去掉类别表示的查询键和值的嵌入进行计算： 其中，是来自第l层视觉编码器的原始映射权重，代表时间尺度δi对应的中间特征，N′和S分别表示经过窗口移位掩码WSM的可见表示符的数量和多尺度时序注意力MS-TCA的时间尺度的数量；步骤3：将通过层归一化和前馈网络建模可见补丁的全局信息，以增强每帧不同空间位置的交互： 步骤4：使用权重矩阵Wδ∈RS×N′×P将映射得到长度为P的帧特定时序提示，表示视频中蕴含的时空信息： 将时序提示与拼接作为下一层的输入多头自注意力分别以为查询表示，为键和值的表示；步骤5：对于语义文本，使用时空文本增强以得到精炼的文本提示Cst＝{Cs,Ct}，通过文本编码器之后得到文本嵌入cst＝{cs,ct}；步骤6：根据和cst计算所有可见类别的细粒度对齐分数，通过最大化正确类别的得分同时最小化其他类别的得分优化模型在多尺度时序提示中的可学习参数；在推理阶段，将模型在未知行为类别上的识别结果与原始CLIP模型根据和cs得到的识别结果进行决策聚合，得到最后的识别结果。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于多模态提示学习的零样本行为识别方法