买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门窝赚科技有限公司

摘要：本发明公开了一种用于体现用户意图和风格的个性化图像描述方法，包括：构建一个包含三类抽象节点的空间关系图；利用图注意力机制获取用户所希望描述的内容和顺序，并通过添加控制阀门调节图流动的方向，利用图语义注意力机制结合上下文的关联度使语句更为流畅；加入动态访问节点，记录所访问过的节点，加入没有访问过的节点，并擦除废词，使描述更具多样性且不遗漏或者重复描述；在解码器中加入基于用户画像的字幕风格因子，输出符合用户期望的风格化语句。本发明可以控制图像描述生成中的不同细节，使描述语句更贴合图像且更流畅，生成的描述具有特定风格，从而实现生成结果的个性化和多样性。

主权项：1.一种用于体现用户意图和风格的个性化图像描述方法，其特征在于，包括：构建一个包含三类抽象节点的空间关系图，所述三类抽象节点分别代表目标、特征、目标之间的关系，每个抽象节点在图中有具体区域的定位；利用图注意力机制获取用户所希望描述的内容和顺序，并通过添加控制阀门调节图流动的方向，利用图语义注意力机制结合上下文的关联度使语句更为流畅；加入动态访问节点，记录所访问过的节点，加入没有访问过的节点，并擦除废词，使描述更具多样性且不遗漏或者重复描述；在解码器中加入基于用户画像的字幕风格因子，输出符合用户期望的风格化语句；所述包含三类抽象节点的空间关系图包括，构建角色感知图编码器，在所述编码器中嵌入了一个角色感知节点体现用户意图，并使用一个多关系图卷积网络进行上下文编码，所述角色感知节点的编码方法为：对第i个节点，将其目标节点和特征节点均初始化为其对应图像区域的视觉特征vi，将关系节点的特征初始化为两相关目标的并集区域的图像特征，使用角色嵌入进一步增强每个节点，获得如下列公式所示的嵌入了角色感知的节点 其中，为角色嵌入矩阵，d为特征维度，Wr[k]为Wr的第k行，pos[i]为一种位置嵌入，用于区分同一目标的同属性节点，r表示关系节点，o表示目标节点，f表示特征节点；采用多关系图卷积神经网络在Gm中编码图的上下文信息，用下列公式进行计算： 其中，和为多关系卷积神经网络中需要学习的参数，σ为RELU激活函数，表示相关联的第i个节点，x表示用户意图，i、j表示不同的目标，l表示层数；所述图注意力机制包括，为了同时考虑图形结构与语义内容的相关性，把图内容注意力和图流动注意力相结合形成图注意力机制，用节点xt和查询之间的上下文的语义相关性计算出图内容注意力向量计算公式如下： 其中，Wxc、Whc和ωc表示网络训练参数，表示计算生成，表示注意力得分向量；因为两节点间的连接可忽略不计，内容注意力在不同的解码时从一个节点传送到图中更远距离的另一个节点，图流动注意力用下列公式来表示： 其中，Ws、Wsh、Wsz都表示网络训练参数，表示图流动注意力，Zt表示第t步预测单词的上下文向量；利用下列公式将上述图内容注意力与图流动注意力进行动态融合，得到最终的图注意力αt： 其中，参数ωg、Wgh、Wgz是可学习参数，第t步预测单词的上下文向量为βt是图内容注意力权重参数；所述动态访问节点包括，为了解不同节点访问的情况，在每个解码阶段进行了记录，用αt表示每个节点的注意力得分，并加入视觉哨兵门实现注意力强度的修改，使模型更专注于重点单词而不是一些不可视的虚词，其计算公式为： 其中，fvs是一个有由θvs参数化的全连接网络，其生成的一个标量表示是否生成节点相关的词，αt表示每个节点的注意力得分；为了保证图中所有节点都应被文本描述所表达，不能出现缺失或者重复的现象，则采用一种图节点动态更新机制，通过动态增加和动态擦除来实现动态节点更新，对于已表达过的节点采用下式进行动态擦除，对第i个节点表示为xt,i，根据其强度ut,i更新： xt+1,i＝xt,i1-ut,iet,i如果一个节点并不需要再表达，则可置为0，采用下式对新加入的节点进行更新，包括节点的特征： 其中，fers、fadd为擦除和添加，该式表示具有不同参数的全连接网络。

全文数据：

权利要求：

百度查询： 厦门窝赚科技有限公司 一种用于体现用户意图和风格的个性化图像描述方法