买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西南交通大学

摘要：本发明公开了基于子标签增强的多视角评论质量排序方法，包括获取评论质量排序数据集，生成各视角相似度分数作为各视角训练的子标签；将训练的文本和图像输入编码器中得到文本特征和图像特征；将文本特征和图像特征输入信息交互模块，通过融合不同模态的特征以得到五个视角表征；将各视角表征串联以获得多视角表征，并利用评论质量分数标签和子标签监督与视角表征有关的训练参数的更新；训练完成后，将测试文本和图像通过编码器生成文本特征及图像特征；将文本特征和图像特征通过训练后的信息交互模块生成各视角表征，并将其串联后形成的多视角表征输入四层线性神经网络以得到评论质量预测分数。本发明在评论质量排序任务上的性能显著提升。

主权项：1.基于子标签增强的多视角评论质量排序方法，其特征在于，该方法包括：步骤S1、获取评论质量排序数据集，生成多视角下的相似性子标签即各视角的相似度分数作为各视角训练的辅助监督信号；步骤S2、将训练的文本和图像分别输入文本编码器、图像编码器中得到文本特征和图像特征；步骤S3、将文本特征和图像特征通过信息交互模块，对模态内和模态间的特征进行融合以得到五个有关评论产品的视角表征，其中，五个视角对分别是评论图文对、评论-产品文本对、评论-产品图像对、评论文本-产品图像对、评论图像-产品文本对；步骤S4、将各视角表征串联得到多视角表征，利用评论质量分数标签监督与多视角表征有关的训练参数的更新，并同时把生成的子标签分别作为五个不同视角表征训练的监督信号以更新与各视角表征相关的训练参数；步骤S5、训练完成后，将待测试文本和图像通过文本编码器和图像编码器生成待测试文本和图像的文本特征及图像特征；步骤S6、将待测试文本特征和图像特征通过训练之后的信息交互模块生成各视角表征，接着利用串联方法得到多视角表征，再将多视角表征输入四层线性神经网络进行预测，得到评论质量分数；所述步骤S1，子标签利用预训练模型CLIP来生成；所述步骤S2，文本编码器由Fasttext或Glove实现，图像编码器由FasterR-CNN实现；所述步骤S3，信息交互模块为注意力机制，将产品和评论的图文特征输入信息交互模块，即利用注意力机制对齐以得到五个不同的视角表征： 其中是产品和评论文本对视角下的一致性特征表示是评论文本和图像对视角下的一致性特征表示是评论文本-产品图像对视角下的一致性特征表示是评论图像-产品文本对视角下的一致性特征表示是产品和评论图像对视角下的一致性特征表示；所述信息交互模块表达式为： 其中是经过信息交互模块产生的五个视角的最终特征表示是注意力机制操作，为各单模态特征，且分别对应产品文本特征，评论文本特征，产品图像特征，评论图像特征；所述步骤S4，子标签引导模型训练各视角表征并更新与其相关的参数的具体过程为：将五个不同视角表征进行串联得到多视角表征，并将其送入四层线性神经网络以得到预测的质量分数，利用铰链损失函数计算与其真实质量分数之间产生的损失值；同时将步骤S3中生成的各视角表征分别送入五个不同的双层线性神经网络以得到其预测的子标签，利用均方误差损失函数计算与其子标签之间产生的损失值；两者损失值相加得到模型训练时的最终损失值，通过损失梯度回传以更新相关参数；其中双层线性神经网络的输入维度设置为64，四层线性神经网络的输入维度设置为64×5，经过线性变换之后，双层线性神经网络和四层线性神经网络的输出维度都为1；将五个视角特征串联起来得到多视角表征表达式为: 损失值计算及参数更新表达式为： 其中，N表示样本数量；P是两个样本的真实标签之间的差值；表示产品的其中一条评论的质量预测分数，表示该评论的质量分数较大；表示产品的另外一条评论的质量预测分数，表示该评论的质量分数较小；损失值计算及参数更新表达式为： 其中表示均方误差函数是产品的第条评论的视角相似度预测值，是产品的第条评论的视角相似度；损失值最终表达式为： 其中是评论的预测质量分数和评论的真实质量分数之间产生的损失值；是视角的预测子标签和视角的子标签之间产生的损失值。

全文数据：

权利要求：

百度查询： 西南交通大学 基于子标签增强的多视角评论质量排序方法