买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明公开了一种基于Transformer的声速剖面长期预测方法，属于海洋观测技术领域。本发明通过并行处理方式和注意力机制充分捕捉了不同海深声速时间序列的分布规律，进而实现了未来全海深声速剖面的长期预测；通过引入位置编码和时间信息编码进一步加强了模型提取历史声速数据之间时空依赖关系的能力，从而提高全海深声速剖面的预测精度；这些改进显著提升了全海深声速剖面的预测精度，从而增强了模型进行声速剖面长期预报时的可靠性。本发明与其他现有声速剖面预测方法相比，首次将时间信息融入到了声速序列预测问题中，显著提升了模型的预测精度和时间性能，为后续海洋声学研究提供了重要的指导意义。

主权项：1.一种基于Transformer的声速剖面长期预测方法，包括以下具体步骤：S1：收集海域的月平均或日平均声速剖面数据，并进行数据预处理；所述数据预处理包括：声速剖面数据进行时间排序处理、将每条声速剖面进一步表示为空间垂直分布声速值数据向量，再进行分层处理，最后进行归一化处理；所述S1具体为：S1-1：以月平均为例，则数据集中共含12M条声速剖面，进行时间排序处理，排序后的数据集表示为：S＝{S1,S2,…,Si},i＝1,2,...,12M1；其中，S1～Si表示按时间排序的12M条声速剖面；将每条声速剖面进一步表示为空间垂直分布声速值数据向量，以S1为例： 其中，s1，dF表示第1条声速剖面在F米海深时的声速值，F表示全海洋深度；S1-2：对全海深声速剖面根据表面等温层、季节跃变层、主跃层、深海等温层进行不等间隔分层处理，共划分为K层，分层处理后的数据集表示为： 其中，S12M，lK表示按时间排序的第12M条声速剖面在第K深度层的声速值，12M是时间索引，lK是深度层索引；对数据集S进行归一化处理： S2：对数据预处理后的模型输入数据进行位置编码处理；位置编码具体执行方式如下： 其中，pos表示待编码数据的位置，i表示维度，dmodel表示嵌入向量的维度；S3：对位置编码完毕后的输入数据进行时间信息编码，将位置编码和时间信息编码处理后的模型输入记为具体编码方式如下： 其中，TE是时间信息编码值，index表示按时间先后顺序排列的声速序列索引值，index＝0，1，2，...，12M-1-1，％表示取余数处理；S4：搭建Semi-Transformer模型，在该模型中：采用X维序列输入层，引入L头的多头注意力层，在多头注意力层之后添加了一个前馈网络FFN；另外，模型采用N层堆叠结构，在模型输出端添加一个线性全连接层；模型中的多头注意力层是基于自注意力机制实现的，自注意力的具体计算方式如下：将位置编码和时间信息编码处理后的模型输入通过三个权值矩阵WQ、WK、WV进行矩阵变换，得到计算自注意力值所需的Q、K、V矩阵： 利用矩阵变换得到的Q、K、V，计算自注意力值： 其中，KT是K矩阵的转置，dk是K矩阵的维度；多头注意力则是由多个独立运行的自注意力层组成，即分别使用多组WQ、WK、WV得到多组Q、K、V矩阵，分别计算每个注意力头的自注意力值，然后将得到的多个结果进行加权组合，最后经过线性变换形成多头注意力的输出；具体计算方式如下：Hi＝SelfAttentionQi，Ki，Vi12；MultiHeadQ，K，V＝ConcatH1，...，HnW013；其中，i＝1，2，...，n，n是多头注意力头的个数；Hi是第i个注意力头的输出；Qi，Ki，Vi分别是第i个注意力头对应的Q、K、V矩阵；W0是线性变换矩阵；带掩码的多头注意力层与多头注意力层计算方式一致，区别仅在于其在多头注意力的基础上加了一个掩码处理；另外，输入数据在经过堆叠模块中的多头注意力层和FFN之后并没有直接传入下一层，而是经过了残差块和层归一化处理；S5：使用经过编码处理的训练集对Semi-Transformer模型进行训练；S6：在训练过程中，对于Semi-Transformer模型进行收敛验证；S7：利用训练完成的Semi-Transformer模型进行声速剖面长期预测，输出预测结果。

全文数据：

权利要求：

百度查询： 中国海洋大学 基于Transformer的声速剖面长期预测方法