龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：上海交通大学
摘要：本发明提供带噪多模态开放词汇视觉样本分类方法及系统，包括：将视觉样本编码为信息特征；将带噪文本信息编码为信息特征；根据视觉特征与带噪文本特征对视觉样本进行分类；基于预设词库，提出带噪文本的候选文本；根据候选文本与带噪文本的相似度计算单模态权重；根据候选文本特征与带噪文本对应视觉样本信息特征的相似度计算跨模态权重，获得最终权重；根据最终权重选出最优候选文本，并作为新的带噪文本，反复迭代直至收敛。本发明能够增强多模态视觉样本分类方法在噪声环境下的鲁棒性：通过单模态和跨模态信息优势互补，准确地筛选出候选去噪文本；通过反复迭代，优化去噪文本筛选的准确性，实现更精确的带噪多模态开放词汇视觉样本分类。
主权项：1.一种带噪多模态开放词汇视觉样本分类方法，其特征在于，包括：对于输入的视觉样本，通过特征编码网络提取预设维度的视觉信息特征；对于输入的带噪文本样本，通过特征编码网络提取预设维度的文本信息特征；使用所述文本信息特征对所述视觉信息特征进行初步分类，得到视觉样本分类结果；对于所述带噪文本样本，基于预设词库，根据词形，生成所述带噪文本样本的候选文本；对于所述候选文本，根据词形与所述带噪文本样本的相似度进行投票，形成单模态权重；根据所述视觉样本分类结果，选取对应的视觉样本，根据所述视觉样本与所述候选文本的相似度，对所述候选文本进行投票，形成跨模态权重；将所述单模态权重与所述跨模态权重进行加权整合，得到最终权重，根据所述最终权重，从所述候选文本进行选择最佳文本，从而完成一次去噪；将所述最佳文本作为新的带噪文本样本，重复上述去噪过程，直到收敛；收敛时，最后一次迭代中的视觉样本分类结果，即为该带噪多模态开放词汇视觉样本分类方法的分类结果，最后一次选择的最佳文本则为对应的去噪文本信息样本。
全文数据：
权利要求：
百度查询： 上海交通大学 一种带噪多模态开放词汇视觉样本分类方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号