买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学;大连理工大学宁波研究院;大连维视科技有限公司申请的专利一种基于图像和事件的多模态道路场景目标检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116453014B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310296018.X，技术领域涉及：G06V20/40；该发明授权一种基于图像和事件的多模态道路场景目标检测方法是由王东升;卢湖川;何友设计研发完成，并于2023-03-24向国家知识产权局提交的专利申请。

本一种基于图像和事件的多模态道路场景目标检测方法在说明书摘要公布了：本发明属于计算机视觉和事件相机领域，公开了一种基于图像和事件的多模态道路场景目标检测方法。本发明引入了高效注意力机制模块，融合相邻时刻图像的信息，不仅提升了检测的精度，而且模型参数量和计算量几乎不变。采用一种轻量化的特征提取网络对事件进行特征提取，降低模型的内存大小，符合事件数据高时间分辨率的特性。为了重复利用事件数据的时序信息，本发明引入长短期记忆机制模块，通过控制内部门的状态，融合历史时刻的不同事件特征。在进行图像和事件特征融合时，采用特征融合模块，完成对两种模态数据的信息交互，提高了目标检测的准确率。

本发明授权一种基于图像和事件的多模态道路场景目标检测方法在权利要求书中公布了：1.一种基于图像和事件的多模态道路场景目标检测方法，其特征在于，包括步骤如下：步骤1：通过传统相机和事件相机，分别获取连续的彩色图像数据和事件数据；步骤2：对彩色图像数据进行预处理，通过图像特征提取模块对彩色图像数据进行信息编码；图像特征提取模块包括卷积模块、残差模块以及池化模块三部分；卷积模块包括步长为2、卷积核大小为3×3的卷积层、批量归一化层以及LeakyReLU函数；残差模块包括卷积层和跳连结构；池化模块包括1个卷积层以及3个不同大小卷积核的最大池化层；输入的彩色图像数据每次经过一个残差模块后，彩色图像数据特征进行2倍下采样；图像特征提取模块分别输出8倍下采样、16倍下采样以及32倍下采样的彩色图像数据特征；将32倍下采样的彩色图像数据特征输入至高效注意力机制模块，输出时序增强后的彩色图像数据特征；时序增强后的彩色图像数据特征分别输入至图像-事件融合模块和卷积模块，输入至卷积模块后利用双线性插值进行2倍上采样，然后与图像特征提取模块输出的16倍下采样特征沿通道方向进行拼接后，分别输入图像-事件融合模块和卷积模块，拼接后的特征经卷积模块后进行2倍上采样后与图像特征提取模块输出的8倍下采样特征进行拼接，输入至图像-事件融合模块；步骤3：对事件数据沿时间维度划分为多个大小相同的小组，对每个小组内的所有事件进行栅格化操作并映射到一个二维平面，将输入事件数据表示为多通道的事件数据特征；通过通道数减半的特征提取模块对事件数据特征进行信息抽取；通道数减半的特征提取模块整体结构与特征提取模块的整体结构相同，且其卷积模块、残差模块、池化模块的输入通道数均为特征提取模块中各对应模块通道数的一半；输入的事件数据特征每次经过一个残差模块，事件数据特征进行2倍下采样，通道数减半的特征提取模块最终输出32倍下采样的事件数据特征；将32倍下采样的事件数据特征输入长短期记忆机制模块，输出增强后的事件数据特征；增强后的事件数据特征进行4倍上采样；步骤4：将时序增强后的彩色图像数据特征和增强后的事件数据特征，输入至图像-事件融合模块；图像-事件融合模块包括三种不同尺度输入的特征融合模块，每个特征融合模块之间通过1×1大小的卷积层连接；在特征融合模块中，时序增强后的彩色图像数据特征和增强后的事件数据特征拼接成一种特征，沿通道方向进行特征维度打乱；将维度打乱后的特征均匀分为两部分，分别输入至空间注意力模块和通道注意力模块，并利用3×3大小的卷积和sigmoid激活函数，分别计算得到h×w×1和1×1×c的分数图；其中，h和w分别代表分数图的长和宽，c代表分数图的通道数，将这两种分数图分别加权至维度打乱后的特征以完成彩色图像数据和事件数据的信息交互；图像-事件融合模块最终输出两种模态融合后的特征；步骤5：将融合后的特征输入至检测头部，检测头部包括分类分支、回归分支、IoU分支3个分支，分别用于目标的分类、回归以及IoU的计算，每个分支主要由多个卷积模块和激活函数层组成；分类分支输出大小为h×w×cls的特征，其中cls代表目标的类别数量；回归分支输出大小为h×w×4的特征，IoU分支输出大小为h×w×1的特征；三个分支输出的特征经过特征拼接后，输出h×w×5+cls的特征；最后采用非极大值抑制的方法进行冗余框过滤，输出检测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学;大连理工大学宁波研究院;大连维视科技有限公司，其通讯地址为：116024 辽宁省大连市甘井子区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。