买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种基于注意力机制与对抗神经网络的多模态融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116452935B 。

龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310435542.0，技术领域涉及：G06V10/80；该发明授权一种基于注意力机制与对抗神经网络的多模态融合方法是由张平;周俊康;李方设计研发完成，并于2023-04-21向国家知识产权局提交的专利申请。

本一种基于注意力机制与对抗神经网络的多模态融合方法在说明书摘要公布了：本发明提出了一种基于注意力机制与对抗神经网络的多模态融合方法，包括以下步骤：设计模态异常检测与补偿算法，处理信息丢失错乱问题；针对不同的数据源类型，使用不同的特征提取器进行初步的特征提取，获取不同数据的初始语义信息；共享与私有信息提取，针对不同模态互补性和冗余性的特点，设计一个多模态对抗神经网络算法，从初步特征中将每一个模态中的互补信息和冗余信息提取出来，将冗余信息全部去除，降低后续算法的计算成本；针对对于不同的任务不同模态的重要性不一样的特点，设计多模态注意力网络，通过添加专家经验知识，学习不同模态的权重。本发明可以在不停机的情况下通过提取处理后的不同模态数据中的冗余信息和互补信息。

本发明授权一种基于注意力机制与对抗神经网络的多模态融合方法在权利要求书中公布了：1.一种基于注意力机制与对抗神经网络的多模态融合方法，其特征在于，包括以下步骤： S1、使用摄像头、传感器采集到的数据作为数据集，将数据集中的原始数据输入到模态异常检测模块，检测模块使用重建误差进行异常检测，利用正常数据为每种模态训练一个自动编码器，利用自动编码器生成的数据与原始数据的差值进行异常检测；当原始数据发生异常时，利用补偿模块对异常数据进行补偿； S2、将步骤S1的数据输入到不同的特征提取网络初步提取特征，其中不同的数据类型，选择不同的特征提取方法； S3、将步骤S2中输出的不同初步提取特征输入到多模态对抗神经网络提取共享信息和私有信息，包括： 将步骤S2中输出的不同传感器初步提取特征输入到多模态对抗神经网络提取冗余信息； 多模态对抗神经网络基于沃瑟斯坦距离对抗神经网络WGAN进行改进形成n-WGAN，n-WGAN使用Wasserstein距离衡量两个分布的距离，衡量公式如下 其中Pr、Pg表示分布r和分布g，WPr，Pg表示分布r和g的Wasserstein距离，表示分布r中所有x的平均值，表示分布g中所有x的平均值，w表示神经网络中的所有参数，fwx表示输入x经过神经网络fw后的输出值，x表示满足分布Pi的输入，w:|fw|L≤k表示函数fw的Lipschitz常数不超过阀值K，L表示是Lipschitz常数； 先用神经网络fwx对n个分布进行非线性变换，得到新的分布，然后令变换后的新分布两两之间的沃瑟斯坦距离之和最小，让变换后的分布重合，当达到此目标时，经过神经网络变换后的RGB摄像头数据，深度摄像头数据和压力传感器序列满足同一个分布，该分布认为是冗余信息的分布，根据n-WGAN的优化目标，训练的多模态对抗神经网络生成器损失函数为公式4，判别器损失函数为公式5： 其中Lossn-gen表示n-WGAN方法生成器的损失函数，Lossn-dis表示n-WGAN方法判别器的损失函数，n表示输入模态的数量，k表示分布，表示分布Pk的所有x的平均值，x表示满足分布i的输入，fwx表示输入x经过神经网络fw后的输出值； S4、利用步骤S3中提取的私有信息和提取的初步特征学习每个模态的权重，得到最后的多模态融合特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。