买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种多模态实体关系联合抽取方法，先下载原始图像及原始图像对应的文本描述，然后提取文本描述与原始图像的特征；接着，计算图像特征在文本特征上的投影分量，并选出每个像素点的最大投影值进行归一化；然后根据归一化结果对对图像特征进行加权处理，并将加权处理的结果与文本特征进行跨模态特征融合，最后根据融合结果提取实体关系三元组。

主权项：1.一种多模态实体关系联合抽取方法，其特征在于，包括以下步骤：1、文本、图像特征提取；在社交媒体平台上下载原始图像，以及原始图像对应的文本描述，文本描述简称文本；通过VGG-16模型提取原始图像的图像特征，通过BERT模型提取文本的文本表示；随后，将图像特征和文本表示均通过非线性映射至统一的向量空间，得到图像特征V和文本特征H；2、计算图像特征在文本特征上的投影分量；设图像特征V中共计包含M个特征向量，每个特征向量为原始图像中某一区域对应的特征，记原始图像中第i个区域对应的特征向量为vi，i＝1,2,…,M；记文本中第j个单词对应的特征向量为hj，j＝1,2,…,N，N表示文本单词个数；计算特征向量vi在文本特征向量hj的投影长度； 其中，Li→j表示vi在hj上的投影长度；计算特征向量vi在文本特征上的最大投影长度： 3、对图像特征中每个像素点的最大投影值进行归一化；利用Sigmoid函数对各像素点的最大投影值projectionlengthi进行归一化处理，将其映射至[0，1]范围内，得到特征向量vi与文本特征H之间的相关系数ModalSimilair：ModalSimilarityi＝Sigmoidprojectionlengthi4、对图像特征V进行加权处理；将相关系数ModalSimilarityi与图像特征V中各特征向量vi按位置对应相乘，得到加权强化后具有文本导向的图像特征Vmatch； 其中，表示特征向量vi加权处理后的结果；5、跨模态特征融合；设跨模态注意力机制模块由L层跨模态注意力机制层组成，每一层跨模态注意力机制层又包含文本到文本的子注意力机制与图像到文本的跨模态注意力机制；其中，每一层跨模态注意力机制层包含两个输入，一个输入为图像特征Vmatch，另外一个输入为上一层输出的文本特征Hk-1，其中第一层跨模态注意力机制层的输入为文本特征H；在每一层跨模态注意力机制层中，先将文本特征H转换为三组矩阵，记为： 其中，k＝1,2,…,L，WQ、WK、WV表示文本特征H转换时的权重矩阵；再将图像特征Vmatch转换为两组矩阵，记为： 其中，表示图像特征Vmatch转换时的权重矩阵；将输入至文本到文本的子注意力机制，同时将输入至图像到文本的跨模态注意力机制，然后通过注意力机制运算，计算出两个子注意力机制拼接而成的特征 其中，T2T表示文本到文本的子注意力机制，I2T表示图像到文本的跨模态注意力机制，Attention表示注意力机制运算；将特征经过残差连接与前馈神经网络后，得到第k层跨模态注意力机制层的输出Hk，最终在第L层得到跨模态融合后的文本特征HL；6、提取实体关系三元组；将文本特征HL映射成大小为K×N×N的特征空间，其中，K表示预先定义的关系数量，N表示文本单词个数，在特征空间中每一个关系对应一个实体关系三元组矩阵；对三元组矩阵中第i行第j列的元素aij对应的数值进行标签映射，若aij≤λ1，则在元素aij处添加标签“HBTB”，表示头实体起始位置以及尾实体起始位置；若λ1＜aij≤λ2，则在元素aij处添加标签“HETE”，表示头实体结束位置和尾实体结束位置；若λ2＜aij≤λ3，则在元素aij处添加标签“IN”，表示头尾实体包围的区域；若aij＞λ3，则在元素aij处添加标签“-”，表示该位置不直接参与头尾实体的定位过程；其中，λ1,λ2,λ3为阈值；随后，每个三元组矩阵中找到标签“HBTB”与标签“HETE”，将标签“HBTB”所在位置记为x1,y1，标签“HETE”所在位置记为x2,y2，x1,y1,x2,y2∈[1,N]；最后将x1,x2所在位置的单词组成头实体，将x2,y2所在位置的单词组成尾实体，三元组矩阵对应的关系作为实体关系，从而提取出实体关系三元组。

全文数据：

权利要求：

百度查询： 电子科技大学 一种多模态实体关系联合抽取方法