买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利一种基于多模态的未修剪长视频识别系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116189053B 。

龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310167318.8，技术领域涉及：G06V20/40；该发明授权一种基于多模态的未修剪长视频识别系统及方法是由田野;杨萌宇;张蓝姗;李九林;王文东;阙喜戎;龚向阳设计研发完成，并于2023-02-27向国家知识产权局提交的专利申请。

本一种基于多模态的未修剪长视频识别系统及方法在说明书摘要公布了：本发明提供了一种基于多模态的未修剪长视频识别系统及方法。本发明系统包括视频采集和预处理模块、待识别视频数据库、识别和检测模块以及结果数据库。本发明方法中利用识别和检测模块中的视频识别模型对视频多个模态的帧序列进行处理，对每个模态的帧序列使用多个采样器进行交互，定位局部事件，通过单模态语义推理模块对局部事件之间的时间因果关系进行推理，由子识别模块输出单模态预测分布，最后由多模态融合模块为不同模态分配注意力权值，进行多模态预测分布融合，输出视频级的多模态类别预测结果。本发明提升了未修剪长视频识别系统的推理效率以及识别精度，识别准确性明显超过了目前最优的视频识别方法。

本发明授权一种基于多模态的未修剪长视频识别系统及方法在权利要求书中公布了：1.一种基于多模态的未修剪长视频识别系统，其特征在于，包括视频采集和预处理模块、识别和检测模块、待识别视频数据库和结果数据库； 视频采集和预处理模块，用于接收视频，对视频进行预处理后存入待识别视频数据库； 识别和检测模块，用于识别待识别视频的类别，并将识别结果写入结果数据库； 所述的识别和检测模块识别视频类别，包括：针对视频的每个模态的帧序列，分别采用N个采样器与对应模态的帧序列进行交互，定位局部事件，通过单模态语义推理模块对局部事件之间的时间因果关系进行推理，以捕获单模态的语义信息，再由子识别模块输出单模态预测分布，最后由多模态融合模块为不同模态分配注意力权值，将所有模态的预测分布进行融合，输出视频级的多模态类别预测结果；N为大于2的整数； 所述的识别和检测模块，在视频每个模态的帧序列中均匀地初始化N个采样器，每个采样器包含四部分，分别是局部采样器、上下文感知网络、策略网络以及评估网络；局部采样器从选定的帧中提取局部信息；上下文感知网络包含一个特征提取器和一个LSTM模块，特征提取器对局部采样器提取的局部信息进行编码输出特征向量，LSTM模块在不同时间步长下对选定的帧之间的时间因果关系进行建模；策略网络由全连接网络组成，用于选取定位局部事件的帧；评估网络由全连接网络组成，用于在训练阶段估计策略网络所选动作的q值，以帮助策略网络的学习；每个采样器内部采用了Actor-Critic结构，并使用集中式评估分散式执行框架来联合所有采样器； 所述的单模态语义推理模块，为基于多层transformer的编码器，在模态k的所有采样器停止后，将模态k的所有采样器中上下文感知网络的LSTM模块当前时刻的隐藏状态拼接起来输入单模态语义推理模块；单模态语义推理模块输出最后一层编码器的隐藏特征； 所述的子识别模块采用一层全连接网络，接受单模态语义推理模块的输出，映射输出单模态的视频类别预测分布； 所述的多模态融合模块将融合权值的动态调整转化为一个马尔可夫决策过程，首先初始化所有模态的融合权值，再利用一个策略网络逐步调整融合权值，利用最终优化得到的融合权值进行单模态预测分布的融合；所述的多模态融合模块采用了Actor-Critic结构，使用评估网络在训练期间帮助策略网络学习。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。