首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于多模态可信渐进融合的分类系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:之江实验室

摘要:本发明公开了一种基于多模态可信渐进融合的分类系统,该系统包括:多模态数据预处理模块,用于对多模态数据进行预处理;特征提取与筛选模块,用于从不同模态中提取特征;神经网络模块,用于进一步处理以获取深层特征表示;特征融合模块,用于从特征层面对不同模态的特征进行渐进融合;不确定性建模模块,用于对各个单模态的深层特征表示和多模态融合特征的不确定性进行建模;证据融合模块,用于融合不确定性建模模块输出的多个模态的分类预测概率和不确定性,获得综合证据度量。本发明有效地提升了多模态数据处理的效率和准确性,提升了特征利用率、分类系统泛化能力和鲁棒性,增强了分类系统的分类性能,有效地识别和降低异常模态的负面影响。

主权项:1.一种基于多模态可信渐进融合的分类系统,其特征在于,包括:多模态数据预处理模块,用于对采集到的待测对象的多模态数据进行预处理,以将其转换成特征提取与筛选模块能够处理的格式,得到预处理后的多模态数据;特征提取与筛选模块,用于从预处理后的多模态数据中提取对应的特征,并对提取到的特征进行筛选,得到与分类任务有关的关键特征;神经网络模块,包括多个全连接层和多个激活函数,每个全连接层后连接有一个激活函数,所述神经网络模块用于处理特征提取与筛选模块输出的关键特征和特征融合模块输出的多模态融合特征,以获取深层特征表示;特征融合模块,用于采用基于注意力机制的融合策略将神经网络模块输出的不同模态的深层特征表示进行融合,获得多模态融合特征;不确定性建模模块,用于采用狄利克雷分布,结合神经网络模块和特征融合模块的输出,对各个单模态的深层特征表示和多模态融合特征的不确定性进行建模,得到多个模态的分类预测概率和不确定性;和证据融合模块,用于采用证据理论融合不确定性建模模块输出的多个模态的分类预测概率和不确定性,得到综合证据度量,并根据综合证据度量确定分类的预测类别;其中,所述综合证据度量包括综合预测概率和总体不确定性。

全文数据:

权利要求:

百度查询: 之江实验室 一种基于多模态可信渐进融合的分类系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。