买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本申请实施例提供了一种图像描述生成方法和装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取原始图像；对原始图像进行目标检测，得到目标区域嵌入向量；对原始图像进行文本检测，得到文本嵌入向量；对文本嵌入向量和目标区域嵌入向量进行拼接处理，得到目标词汇嵌入向量；对文本嵌入向量、目标区域嵌入向量以及目标词汇嵌入向量进行特征融合，得到目标特征向量；通过预先训练的图像描述生成模型对目标特征向量进行语义分析，得到初始图像描述信息；对初始图像描述信息进行筛选处理，得到目标图像描述信息。本申请实施例能够提高生成图像描述信息的准确性。

主权项：1.一种图像描述生成方法，其特征在于，所述方法包括：获取原始图像；对所述原始图像进行目标检测，得到目标区域嵌入向量；对所述原始图像进行文本检测，得到文本嵌入向量；对所述文本嵌入向量和所述目标区域嵌入向量进行拼接处理，得到目标词汇嵌入向量；对所述文本嵌入向量、所述目标区域嵌入向量以及所述目标词汇嵌入向量进行特征融合，得到目标特征向量；通过预先训练的图像描述生成模型对所述目标特征向量进行语义分析，得到初始图像描述信息；对所述初始图像描述信息进行筛选处理，得到目标图像描述信息；其中，所述对所述原始图像进行目标检测，得到目标区域嵌入向量，包括：将所述原始图像输入至预设的目标检测模型；其中所述目标检测模型包括卷积层、RPN层、RoIpooling层以及全连接层；通过所述卷积层对所述原始图像进行全局特征提取，提取m个目标特征，并生成每个所述目标特征对应的目标特征图，其中，目标特征图记为，m是大于0的整数；通过所述RPN层、所述RoIpooling层以及预设的坐标参数对所述目标特征图进行目标检测，得到图像目标检测框；通过所述全连接层将所述图像目标检测框映射到预设的第一向量空间，得到初始检测嵌入向量；通过双线性峰插法对所述初始检测嵌入向量进行变维处理，得到所述目标区域嵌入向量，所述目标区域嵌入向量用于指示所述原始图像的区域特征信息，所述目标区域嵌入向量记为，为学习参数，LN代表层标准化，为预设的目标对应置信度表，为预设的坐标参数，所述坐标参数表示为，分别代表预设图像锚框的中心点的横坐标和纵坐标，代表预设图像锚框的宽度，代表预设图像锚框的高度；所述通过所述RPN层、所述RoIpooling层以及预设的坐标参数对所述目标特征图进行目标检测，得到图像目标检测框，包括：通过RPN层的分类函数对目标特征图的图像锚点进行分类处理，得到标签图像特征；对标签图像特征进行边框回归预测，得到图像锚点的偏移量，根据偏移量和标签图像特征进行目标定位，得到目标特征图对应的初始检测框；通过RoIPooling层在目标特征图上选取每个初始检测框对应的特征，并将特征维度设置为固定值，通过线性回归学习预设的坐标参数，得到图像目标检测框；其中，所述对所述文本嵌入向量、所述目标区域嵌入向量以及所述目标词汇嵌入向量进行特征融合，得到目标特征向量，包括：将所述文本嵌入向量、所述目标区域嵌入向量以及所述目标词汇嵌入向量输入至预设的特征融合模型；其中，所述特征融合模型包括第一解码层、transformer层；通过所述第一解码层对所述目标词汇嵌入向量进行解码处理，得到目标词汇隐变量；通过所述transformer层对所述文本嵌入向量、所述目标区域嵌入向量、所述目标词汇隐变量进行特征融合，得到所述目标特征向量。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 图像描述生成方法和装置、电子设备及存储介质