买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京工业大学申请的专利基于多模态动态神经网络的无人机在线目标计数方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120032280B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510113505.7，技术领域涉及：G06V20/17；该发明授权基于多模态动态神经网络的无人机在线目标计数方法是由沈航;吴华峰;刘宇;王天荆;白光伟设计研发完成，并于2025-01-24向国家知识产权局提交的专利申请。

本基于多模态动态神经网络的无人机在线目标计数方法在说明书摘要公布了：一种基于多模态动态神经网络的无人机在线目标计数方法，步骤包括：首先，由无人机采用机载的可见光摄像头和热红外摄像头分别航拍可见光图像和热红外图像；然后，经分割后的图像作为目标计数模型的输入。目标计数模型是基于多模态动态神经网络的目标计数模型；在无法获取热红外图像时，基于由模态转换网络把可见光图像转换成热红外图像；多模态门控分析图像所在场景光照；如果光照良好，则仅选择目标计数模型的中可见光模态分支，如果光照不足，则选择可见光模态分支和热红外模态分支，热红外图像作为辅助数据；特征提取网络提取所选模态分支的模态特征，并融合多模态推理流的特征；步骤S3得到的特征经解码器后得到目标计数模型的输出。

本发明授权基于多模态动态神经网络的无人机在线目标计数方法在权利要求书中公布了：1.一种基于多模态动态神经网络的无人机在线目标计数方法，步骤包括：首先，由无人机采用机载的可见光摄像头和热红外摄像头分别航拍可见光图像和热红外图像；然后，这些图像经过基于尺度估计进行分割；经分割后的图像作为目标计数模型的输入，进行目标计数； 其特征是目标计数模型是基于多模态动态神经网络DyNN的目标计数模型；目标计数模型的架构包括特征提取网络、解码器、多模态门控网络以及模态转换网络；在目标计数模型中： S1、在无法获取热红外图像时，基于由模态转换网络把可见光图像转换成热红外图像，为目标计数模型的热红外模态分支提供生成的热红外图像； S2、多模态门控网络分析图像所在场景光照；如果光照良好，则仅选择目标计数模型中的可见光模态分支，如果光照不足，则选择可见光模态分支和热红外模态分支，热红外图像作为辅助数据； S3、特征提取网络提取所选模态分支的模态特征，并融合多模态推理流的特征； S4、步骤S3得到的特征经解码器后得到目标计数模型的输出； 在步骤S1中，模态转换网络是基于密度图损失的模态转换网络DMMT；DMMT包括循环生成对抗网络CycleGAN和预训练的目标计数器模型；在模态转换过程中，预训练的目标计数模型被视为空间映射转换器； 由CycleGAN生成的热红外图像和真实的热红外图像分别被转换到密度图空间中；在额外引入的密度图空间中使用密度图均方损失来迫使生成的图像接近真实图像； CycleGAN的生成器和判别器分别表示为G和D，R和T分别代表可见光域和热红外域，r和t代表可见光域的数据和热红外域的数据； 对抗性损失和循环一致性损失分别表示为： ，和 ； 密度图均方损失表示为： ， 其中，表示通过预训练的计数模型进行的空间映射，表示在密度图空间中生成的图像与真实图像之间的均方误差； 则密度图生成DMG的损失函数表示为： ， 其中，和分别是循环一致性损失和密度图损失的权重； 步骤S2中，多模态门控网络是解码器辅助的多模态门控网络，其中，多模态门控网络是二分类神经网络，用于决断模态分支的打开与关闭；解码器的输出结果作为多模态门控网络训练的依据； S2.1、在解码器中，首先，对S3得到的特征进行上采样操作，将图像恢复到初始大小；然后，可见光模态和热红外模态的密度图分支被分离出，得到可见光模态和热红外模态的密度图；最后，对两张密度图进行卷积操作，得到两种模态信息融合的密度图； 三张密度图分别表示为：可见光图像生成的密度图PRRGB、热红外图像生成的密度图PRT和两种模态图像信息融合后的密度图PRfinal；PRRGB、PRT和PRfinal的对比结果决定多模态门控网络在训练过程中的标签取值； 当只使用可见光模态数据时，PRRGB作为输出；当使用两种模态数据时，PRfinal作为输出； S2.2、在多模态门控网络中，它的输入为可见光图像；浅层卷积提取的特征进入全连接层，输出模态选择的置信度，指导热红外支线的打开与关闭；卷积采用Resnet50的第一个块，用于分析图像中的光照强弱； 多模态门控网络在训练时的标签 ， 其中，代表标签的阈值； 标签p=1，则意味着热红外模态分支可以检测到足够多的可见光分支未识别出的目标； 标签p=0，则关闭热红外模态分支。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京工业大学，其通讯地址为：211899 江苏省南京市江北新区浦珠南路30号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。