买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明提供了一种基于词性标注的图像多样化描述可控生成方法，包括训练阶段和测试阶段，采用两阶段的训练方式，第一阶段首先对多样化词性标注序列生成模型进行训练，第二阶段对可控描述生成模型进行训练。采用这种分阶段的训练方式，保证了两个模型之间的相互独立和互不干扰。在测试阶段，先将多样化词性标注序列生成模型生成的离散词性标注序列填充为固定长度，然后将其与图像特征和文本嵌入拼接起来作为控制信号，输入到可控图像描述生成模型中以生成最终的可控描述。

主权项：1.一种基于词性标注的图像多样化描述可控生成方法，其特征在于，包括训练阶段和测试阶段，其中训练阶段和测试阶段均包括对多样化词性标注序列生成模型进行训练和对可控描述生成模型进行训练；具体的对多样化词性标注序列生成模型进行训练包括：对多样化词性标注序列生成模型进行训练包括：步骤S100，给定一张图像I，使用预训练的Faster-RCNN为图像I提取目标特征，并获得全局图像特征；步骤S200，采用双向门控循环单元设计后验模型，获得后验隐变量；步骤S300，建立先验模型，获得下先验隐变量；步骤S400，通过KL散度将后验隐变量和先验隐变量对齐；对可控描述生成模型进行训练包括：将离散的词性序列作为控制信号与全局图像特征、文本嵌入共同传入到自上而下的注意力LSTM中控制描述语句生成；步骤S200中所述的双向门控循环单元包括两个方向相反的单向门控循环单元，其中后验模型的输入和输出分别为 ，其中，[·]为向量拼接操作，pos表示T长度的词性序列；步骤S300中，先验模型采用单向门控循环单元进行建模，其中先验模型输入和输出为， ；步骤S400中KL散度为 ，其中，t表示之前所有时刻，≤t表示当前和之前所有时刻，为词性解码器模型，表示解码器生成语句的对数条件似然的期望；所述词性解码器模型采用经典的Up-Down注意力模型，该模型由两个LSTM组成，分别为自上而下的注意力LSTM和语言LSTM，此时词性解码器的输入和输出可以定义为： ， ， ，其中，Att·代表注意力机制，t-1表示前一时刻，v表示Faster-RCNN提取图像I的区域特征；将映射到词性类别维度并通过Softmax函数得到t时刻的词性预测结果，即描述语句，具体计算过程如下： ，其中在训练阶段的中，在测试阶段的中。

全文数据：

权利要求：

百度查询： 中国矿业大学 基于词性标注的图像多样化描述可控生成方法