龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明提供了一种基于多模态融合的艺术品分类方法及系统，属于自然语言处理和计算机视觉领域。该方法首先对艺术品的两种模态的数据进行预处理，然后分别获得文本模态的预测结果和图像的预测结果，并利用学习权重向量得到艺术品分类预测结果。本发明克服了预先定义决策规则不能从数据中学习的缺点，可以对多模态的分类器预测数据进行权重学习，作为决策规则进行决策级的融合，而且，本发明克服了单模态艺术品分类的局限性，有效提升了多模态艺术品分类的准确率和鲁棒性。
主权项：1.一种基于多模态融合的艺术品分类方法，其特征在于：所述方法首先对艺术品的两种模态的数据进行预处理，然后分别获得文本模态的预测结果和图像的预测结果，并利用学习权重向量得到艺术品分类预测结果；所述方法包括：S1、获取多模态艺术品的原始数据集，并分别对两种模态的数据进行预处理，获得归一化处理后的原始图片和词嵌入矩阵；S2、构建文本模态的艺术品分类模型，并利用词嵌入矩阵获得文本模态的分类器预测结果；所述步骤S2中通过对文本卷积神经网络融入多层自注意力机制，构建文本模态的艺术品分类模型；具体的，所述步骤S2包括：S21、对所述词嵌入矩阵进行自注意力计算得到自注意力计算后的特征图；S22、使用三组大小不同的卷积核分别对自注意力计算后的特征图进行卷积操作，获得每组最终激活后的结果；S23、将每组最终激活后的结果分别进行自注意力计算得到特征图；S3、构建图像模态的艺术品分类模型，并利用归一化处理后的原始图片获得图像的分类器预测结果；所述步骤S3的操作包括：S31、将归一化处理后的原始图片分割为多个图片块，获得序列化后的图片块；具体的，所述步骤S31的操作包括：S311、将图片块的边长的一半作为卷积的滑动步长，并利用卷积变换将归一化处理后的原始图片分割成l个图片块；S312、将每个图片块展平为一维向量，获得序列化后的图片块；S4、分别对文本模态的分类器预测结果、图像的分类器预测结果赋权值，进而获得艺术品分类预测结果。
全文数据：
权利要求：
百度查询： 北京化工大学 一种基于多模态融合的艺术品分类方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号