买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华东理工大学申请的专利一种基于时序对齐和语义增强的多模态视频摘要生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119202313B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411730016.8，技术领域涉及：G06F16/738；该发明授权一种基于时序对齐和语义增强的多模态视频摘要生成方法是由应方立;罗紫月;力雅得设计研发完成，并于2024-11-29向国家知识产权局提交的专利申请。

本一种基于时序对齐和语义增强的多模态视频摘要生成方法在说明书摘要公布了：本发明属于计算机视觉技术领域，涉及一种基于时序对齐和语义增强的多模态视频摘要生成方法，设计了基于时序对齐和语义增强的多模态视频摘要生成模型，根据视频数据输出相应的视频摘要；该模型包括特征提取模块、双尺度注意力模块和视频摘要生成模块，其中，特征提取模块用于提取视觉特征和文本特征，双尺度注意力模块包括条件自注意力网络和协作交互跨模态注意力网络，分别在局部和全局两个尺度上对视觉特征和文本特征进行对齐和融合；该模型利用反向传播算法进行训练，在损失函数中引入了分类损失、基于不同尺度的动态时间规整损失和语义增强铰链损失。与现有技术相比，本发明可以进一步提高视频摘要的生成效果。

本发明授权一种基于时序对齐和语义增强的多模态视频摘要生成方法在权利要求书中公布了：1.一种基于时序对齐和语义增强的多模态视频摘要生成方法，其特征在于，包括以下步骤：获取视频数据，输入训练好的基于时序对齐和语义增强的多模态视频摘要生成模型，输出相应的视频摘要；其中，所述基于时序对齐和语义增强的多模态视频摘要生成模型包括依次相连的特征提取模块、双尺度注意力模块和视频摘要生成模块，所述特征提取模块用于通过预训练模型从输入数据中提取视觉特征和文本特征；所述双尺度注意力模块包括并列的条件自注意力网络和协作交互跨模态注意力网络，所述条件自注意力网络将文本特征作为条件信息，在局部尺度对视觉特征和文本特征进行对齐和融合，生成条件视频表征；所述协作交互跨模态注意力网络通过注意力机制在全局尺度对视觉特征和文本特征进行对齐和融合，生成全局文本表征和全局视频表征；所述视频摘要生成模块用于通过KTS和Knapsack算法，根据所述双尺度注意力模块的输出创建视频摘要；所述基于时序对齐和语义增强的多模态视频摘要生成模型利用反向传播算法进行训练，反向传播算法中的损失函数包括分类损失、基于不同尺度的动态时间规整损失和语义增强铰链损失，所述基于不同尺度的动态时间规整损失基于Soft-DTW构建，在时序上将不同尺度的视频表征，包括所述条件视频表征和所述全局视频表征进行对齐，所述语义增强铰链损失基于语义因子构建，所述语义因子基于困难负样本之间的语义差异信息计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东理工大学，其通讯地址为：200237 上海市徐汇区梅陇路130号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。