买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

申请日：2024-12-31

公开（公告）日：2025-01-28

公开（公告）号：CN119377903A

专利技术分类：..融合技术[2023.01]

专利摘要：本发明一种基于混合通用域自适应算法的开放世界事件检测方法，包括以下步骤：（1）获取开放世界事件数据；进行特征提取得到源域特征和目标域特征，利用MMoE融合得到多模态特征；（2）计算得到源域原型；（3）将目标域特征和源域原型计算余弦相似度获得相似度矩阵，然后输入到不平衡最优传输公式中求解；（4）挑选公共类的样本；（5）对相似度矩阵的每行取最大值，将最大值与模糊界限进行比较；（6）计算公共类损失函数、计算重建损失函数；（7）计算加权聚类网络损失函数、计算子聚类网络损失函数、目标域损失函数、计算对比学习损失函数得到总的训练损失函数；（8）得到有效的事件检测效果；本发明检测出未知类别数据。

专利权项：1.一种基于混合通用域自适应算法的开放世界事件检测方法，其特征在于，包括以下步骤：（1）获取开放世界事件数据包括源域事件数据和目标域事件数据；（2）将源域事件数据和目标域事件数据中所对应的图片和文本分别经过特征提取器进行特征提取得到源域特征和目标域特征，利用MMoE融合两个模态的特征，得到新的多模态特征；（3）将源域特征通过分类器获得预测分量，然后利用源域的标签和分类器的参数计算源域原型交叉熵，得到源域原型；（4）将目标域特征和源域原型计算余弦相似度获得相似度矩阵，然后将相似度矩阵输入到不平衡最优传输公式中求解，得到分配矩阵最优解；（5）将分配矩阵最优解进行归一化得到归一化分配矩阵最优解，然后根据统计均值的属性从归一化分配矩阵最优解得到目标样本的置信度分数和源域原型的置信度分数，再通过统计均值的方法对目标域样本中施加伪标签，挑选出公共类的样本；（6）对相似度矩阵的每行取最大值，将最大值与模糊界限进行比较；（7）重复步骤（4）-（5）直至获取高置信度的目标域样本，并赋予伪标签，计算公共类损失函数；（8）将目标域特征通过训练好的可变自编码器VAE进行降维得到新的目标域特征，并重建的特征计算重建损失函数；（9）将降维后的目标域特征送入聚类网络中，得到聚类软分配；然后每个类簇对应的子网络使用类簇对应的数据产生对应的子类簇软分配；利用叶斯高斯混合模型GMM得到的软分配；利用KL散度去计算加权聚类网络损失函数；利用子类簇软分配计算子聚类网络损失函数；利用加权聚类网络损失函数和子聚类网络损失函数得到目标域损失函数；（10）将目标域特征对应的聚类的近邻样本、与对应的聚类原型和目标域原型计算对比学习损失函数；（11）利用加权源域原型交叉熵、公共类损失函数、目标域损失函数、重建损失函数和对比学习损失函数得到总的训练损失函数；（12）将目标域数据输入到聚类模型得到的标签和所对应的目标域数据更新到队列中；（13）重复步骤（2）-（12）直至达到模型进行收敛稳定，得到有效的事件检测效果。

百度查询： 南京信息工程大学 一种基于混合通用域自适应算法的开放世界事件检测方法