买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：扬州大学

摘要：本发明提出一种适用于长序列的对数位置编码方法，包括以下步骤：从公共数据库中获取长序列数据，划分为训练集和验证集；构建一个用于定位序列元素的对数位置编码模块，获取序列的对数位置编码；搭建包括整合了对数位置编码的多头注意层，获取序列元素的注意层输出；基于自定义位置编码模块和多头注意层搭建数据编码器，对序列数据进行数据编码；将训练集序列数据输入到构建好的数据编码器模型中进行训练，使用性能指标评估模型性能，并保留表现最佳的模型。本发明在保持对序列内元素相对位置敏感的同时，也允许模型有效地处理长距离的元素关系，提高长序列处理的准确性和效率。

主权项：1.一种适用于长序列的对数位置编码方法，其特征在于，包括以下步骤：S1、从公共数据库中获取长序列数据，划分为训练集和验证集；S2、构建一个用于定位序列元素的对数位置编码模块，获取序列的对数位置编码；S3、搭建包括整合了对数位置编码的多头注意层，获取序列元素的注意层输出；S4、基于自定义位置编码模块和多头注意层搭建数据编码器，对序列数据进行数据编码；S5、将训练集序列数据输入到构建好的数据编码器模型中进行训练，使用性能指标评估模型性能，并保留表现最佳的模型；所述S2中：通过对序列元素索引的对数变换来编码元素之间的相对位置信息，对于序列x＝x1,x2,…,xn，其对数位置编码aijK定义为： 其中，WK是一组可学习的权重向量，k为自定义常数，logl表示以k为底的对数，|j-i|表示元素xi和xj在序列中的距离，当i＝j时，即元素与其自身的距离为0，对数位置编码简化为W1K；同理，对数位置编码aijV类似aijK的定义，分别与不同的模型组成部分键K和值V相关联，且使用不同的权重向量；所述S3中：多头注意层为每一个头分配数据，根据数据在该数据序列中的对数位置给数据分配注意力分数，同样的对于序列x＝x1,x2,…,xn，使用对数位置编码aijK代替简单的相对编码，计算注意力分数eij，表达式为： 其中，WQ和WK分别是查询Q和键K的权重矩阵，此外，aijK是元素xi和xj之间的对数位置编码，反映了元素在序列中的相对位置信息，dz是一个常数，用于缩放点积的结果以防止梯度消失或爆炸；基于元素xi和xj之间的相似度分数eij，进一步计算得到每个元素xi与其他元素xj之间的注意力权重αij，注意力权重αij是通过应用softmax函数对eij进行归一化得到的，表达式为： 结合计算得到的注意力权重αij和对数位置编码值aijV来获得每个头为序列中的每个元素xi的输出zi，输出表示zi不仅取决于相应元素的注意力权重，而且还包括了与其它所有元素的加权贡献，表达式为： 其中WV是值V的权重矩阵，aijV代表元素xi和xj之间的对数位置编码，与aijK类似，用于调整序列元素xj的贡献；多头注意力的每个头分别计算得到了自己的输出zi，在多头注意力机制完成后，所有头的输出zi被拼接在一起，为了将多头注意力的多维信息合并成一个统一的表示，拼接后的输出通过一个全连接层进行线性变换，并使用权重矩阵和偏置来变换数据，最终得到注意力层的输出zout；S4中：在训练集和验证集上，序列数据首先经过特征化处理，转换成模型可接受的向量形式，传入多头注意力层，多头自注意力层实例化后输出得到X:[B,L,D]，B表示自定义的批次大小，L表示序列长度，D表示序列的隐藏层维度；在模型的架构中，序列数据依次通过两个编码层，每个编码层都由一个多头注意力层和一个激活函数为ReLU的前馈神经网络组成，在每个编码层后，进行层归一化操作，稳定学习过程，最终输出一个与输入X维度相同的编码后张量E，保留了输入序列的批次大小B、序列长度L和隐藏层维度D；S5中：模型训练前期，对训练和验证数据集进行随机洗牌，以避免模型学习到数据的特定排序并使用数据加载器生成大型训练和验证数据，增强模型的泛化能力；使用稀疏分类交叉熵作为损失函数，并使用SGD作为优化器对整个模型进行训练，自定义度量回调函数使用了稀疏分类准确率，精确率，召回率，F1指数，马修斯相关系数性能指标监控验证集上的性能；S1中长序列数据为氨基酸数量超过1000个的新冠病毒序列数据，并对其进行预处理；预处理包括：只保留人类宿主相关序列；只选择新冠病毒蛋白质序列刺突蛋白的部分；筛选掉刺突蛋白序列长度小于1000个氨基酸残基的序列；对蛋白质序列作去重处理；去除具有十个以上连续氨基酸突变的序列。

全文数据：

权利要求：

百度查询： 扬州大学 一种适用于长序列的对数位置编码方法