买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河南大学

摘要：本发明公开一种基于自监督学习和Kronecker积分解的参数高效蛋白质语言模型设计方法。基于transfomer模型，采用自监督学习技术从大规模蛋白质序列数据中学到有用的生物信息。为了降低蛋白质语言模型对显存的需求以方便部署，本发明首先把全连接层的权重矩阵表示成多个小矩阵的Kronecker积的和，然后设计了一种基于Eckhart‑Young定理的奇异值分解方法对小矩阵参数集进行初始化。本发明提出的设计方法可以在维持蛋白质语言模型建模能力的同时显著减少参数的数量。此外，基于本发明获得的预训练蛋白质语言模型可以为蛋白质结构预测、蛋白质折叠识别和蛋白质功能预测等任务提供富含生物信息的嵌入特征。

主权项：1.一种基于自监督学习和Kronecker积分解的参数高效蛋白质语言模型设计方法，其特征在于，包括：步骤1：采用UniRef50数据集作为训练数据，并进行训练数据预处理；步骤2：基于预处理后的训练数据构建进行自监督学习的小批量数据；步骤3：设计基于Kronecker积分解的参数高效蛋白质语言模型；所述蛋白质语言模型由多个transformer块堆叠而成，最后一个所述transformer块的输出被送入到全连接层和Softmax以进行多类分类，每个transformer块由一个多头注意力模块和一个前馈模块组成，所述多头注意力模块采用旋转位置嵌入方式为查询和键引入相对位置信息，所述前馈模块包括前馈网络，所述前馈网络通过堆叠两层全连接层和非线性激活函数而构成；将每个全连接层的权重矩阵表示成多个小矩阵的Kronecker积的和：令表示全连接层的权重矩阵，则基于Kronecker积将其表示为： 其中，和是需要学习的参数矩阵，p和q都能被超参数整除，m表示控制参数矩阵的个数；步骤4：初始化模型参数；所述步骤4包括：对于每个全连接层，首先基于均匀分布随机生成一个矩阵然后基于W初始化和 其中表示矩阵Frobenius范数的平方；对上式进行转化： 其中矩阵是由矩阵W进行permute构造得到，vec.表示将矩阵按行优先顺序转化为向量；根据Eckhart-Young定理进行求解，若矩阵的奇异值分解为其中奇异值为σi，且σ1≥σ2≥…≥σmin{p,q}，向量ui、vi分别为σi的左奇异向量、右奇异向量，则矩阵Ai和Bi的初始值为： 其中φ·表示将向量按行优先顺序转化为对应形状的矩阵；步骤5：基于自监督学习训练蛋白质语言模型。

全文数据：

权利要求：

百度查询： 河南大学 一种基于自监督学习和Kronecker积分解的参数高效蛋白质语言模型设计方法