买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌理工学院

摘要：发明提供了一种基于人工智能的视觉问答方法和装置，所述方法包括获取图像及问题，利用提取模型分别对所述图像及所述问题进行特征提取，以得到所述图像的特征图像及所述问题的特征文字；对所述特征文字及所述特征图像进行注意特征计算，以得到所述特征文字的文字注意特征及所述特征图像的图像注意特征；将所述图像注意特征和所述文字注意特征分别输入至预设关注模型中，以分别得到关注图像特征和关注文字特征；基于所述关注图像特征和所述关注文字特征计算得到多个预选数据，并对多个所述预选数据进行分数计算以得到预选答案，提高视觉问答模型的准确度。

主权项：1.一种基于人工智能的视觉问答方法，其特征在于，所述方法包括：获取图像及问题，利用提取模型分别对所述图像及所述问题进行特征提取，以得到所述图像的特征图像及所述问题的特征文字；对所述特征文字及所述特征图像进行注意特征计算，以得到所述特征文字的文字注意特征及所述特征图像的图像注意特征；将所述图像注意特征和所述文字注意特征分别输入至预设关注模型中，以分别得到关注图像特征和关注文字特征；基于所述关注图像特征和所述关注文字特征计算得到多个预选数据，并对多个所述预选数据进行分数计算以得到预选答案；所述对所述特征文字及所述特征图像进行注意特征计算，以得到所述特征文字的文字注意特征及所述特征图像的图像注意特征的步骤包括：给定所述特征图像及所述特征文字的查询、键值对及值，基于比例点积注意计算所述查询和所述键值对的点积，利用第一计算公式基于所述点积计算得到注意评估值；利用第一筛选函数筛选出所述注意评估值中预设数量的筛选值，利用第二筛选函数选出大于第二阈值的所述筛选值；利用第二计算公式基于大于第二阈值的所述筛选值计算，以得到所述特征文字的文字注意特征及所述特征图像的图像注意特征；所述基于所述关注图像特征和所述关注文字特征计算得到多个预选数据，并对多个所述预选数据进行分数计算以得到预选答案的步骤包括：将所述关注图像特征和所述关注文字特征投影至相同的维度，并将投影结果进行线性融合，以得到融合特征；将所述融合特征输入至训练集中，以得到多个相同维度的预选数据，计算每一所述预选数据的分数，利用铰链函数根据所述预选数据的分数计算，以得到预选答案；所述铰链函数包括： ；其中，表示为预选数据的个数，表示为预选答案比其余答案高出的分数，预设答案的分数，表示为第个预选数据的分数；所述关注模型为Multi-LayerPerceptron模型。

全文数据：

权利要求：

百度查询： 南昌理工学院 基于人工智能的视觉问答方法和装置