买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了一种基于多梯度兴趣上下文网络的点击率预测方法，步骤包括：1、用户行为序列建模，采用Transformer结构和多头自注意力机制，捕捉用户兴趣的长短期动态演变，发现复杂兴趣模式；2、广告上下文信息融合，将广告上下文信息嵌入模型，结合本地激活单元，自适应学习用户兴趣表示，增强对广告环境的理解，提高推荐精度；3、特征交互处理，引入因子分解机模块处理低阶特征交互，充分考虑用户和广告属性之间的关系，提升数据建模效果。通过对用户行为序列、广告上下文信息和特征交互进行建模和融合，并使用改进算法训练，与传统方法和现有模型相比，该模型显著提高了点击率预测的精度，对在线广告推荐系统的改进具有重要意义。

主权项：1.一种基于多梯度兴趣上下文网络的点击率预测方法，其特征在于：具体包括以下步骤1：用户行为序列建模，采用Transformer结构构建用户行为序列，在输入层中首先将输入模型的原始特征使用独热编码和多热编码转换成对应的向量，包括用户特征、上下文特征、候选广告特征和用户历史行为序列；步骤2：广告上下文信息融合，将广告上下文信息嵌入模型中，结合两个本地激活单元，自适应地学习用户兴趣表示;步骤3：用户兴趣与广告上下文特征的交互，使用Transformer编码器对用户历史行为序列进行建模，引入因子分解机模块处理低阶特征交互；所述步骤3中使用Transformer编码器对用户历史行为序列进行建模，为输入的用户行为序列中每个行为和目标广告引入查询，键和值的概念，自注意力的计算过程如下： ；其中，分别表示查询向量、键向量和值向量，是嵌入向量的维度，=是第个注意力头的表示，是对应的投影矩阵，是最终的输出投影矩阵；加入随机失活Dropout和残差连接，ReLU作为激活函数，表达式如下： ；；其中，，是前馈神经网络的权重矩阵，是偏置向量；再经过多个Transformer编码器层后，将最终的表示向量进行汇总，输入用户行为序列长度，前馈网络输出向量，作为用户兴趣的表示；所述步骤3中：在用户兴趣与广告上下文特征的交互中，在嵌入层之后将用户历史特征嵌入向量、候选项目广告嵌入向量和上下文嵌入向量发送到本地激活单元，以学习注意力权重矩阵； ， ，,其中，为用户历史特征嵌入向量，为候选项目广告嵌入向量，为上下文特征嵌入向量;历史行为特征嵌入向量和候选物品广告嵌入向量进入局部激活单元，对两个向量进行哈达玛积和向量相减，计算两个向量的相似度： ；在获得内积和减法结果后，与原始向量进行拼接;然后，经过Dice激活函数和线性部分的处理，将其传输到DNN模型，得到权重矩阵；；同样，获得用户历史行为特征和上下文特征的权重矩阵;该单元分Hadamard积部分和外积部分两步对原向量进行权值分配;局部激活单元得到的权重矩阵和,用Hadamard积将两个权重组合得到最终的权重矩阵；；得到权重矩阵和用户历史行为特征嵌入向量u的外积，得到用户权重行为序列向量； ；所有加权的用户历史行为特征向量都被添加到池操作中；所述步骤3中：通过因子分解机模块进行用户和广告属性的特征的传递，捕捉它们之间的低阶特征交互关系： ；其中，表示输出，表示输入特征的数量，表示第个特征，表示特征的权重，表示特征与特征交互的隐向量的内积；最终的权重矩阵与历史记录嵌入向量进行点乘，然后执行求和池操作，生成最终的特征表示；步骤4：使用全连接神经网络作为全连接层的核心部分，学习向量之间的非线性管理，并使用ReLU函数作为激活函数，最终使用Softmax函数进行归一化。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于多梯度兴趣上下文网络的点击率预测方法