买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种基于Transformer的多频点多步频谱预测方法，包括构建并训练基于Transformer的多频点多步频谱预测网络，包括编码器和解码器，编码器包括多个编码器层，每一个编码器层包括多头注意力模块和堆叠Bi‑LSTM模块，且每个模块后紧跟一个归一化层；解码器包括多个解码器层和一个单独的层归一化的线性层，每一个解码器层包括掩码多头注意力模块、多头注意力模块和堆叠Bi‑LSTM模块，且每个模块后紧跟一个归一化层；采用训练后的所述网络进行多频点多步频谱预测。本发明可帮助无线用户提前获知未来多频段的频谱态势变化情况，进而作出合理的频谱决定。

主权项：1.一种基于Transformer的多频点多步频谱预测方法，其特征在于，包括：构建并训练基于Transformer的多频点多步频谱预测网络，包括编码器和解码器；其中，编码器包括多个编码器层，每一个编码器层包括多头注意力模块和堆叠Bi-LSTM模块，且每个模块后紧跟一个归一化层；解码器包括多个解码器层和一个单独的层归一化的线性层，每一个解码器层包括掩码多头注意力模块、多头注意力模块和堆叠Bi-LSTM模块，且每个模块后紧跟一个归一化层；采用训练后的所述网络进行多频点多步频谱预测；所述编码器的第n个编码器层实现过程为： 将上述过程表述为： 其中，Encoder·代表第n个编码器的实现过程，n∈{1,...,N}，代表第n个编码器层的输出,N代表编码器层数；当n＝1，为嵌入的编码器输入pen； i∈{1,2}，代表在第n个编码器层经过第i个R-Norm·的所提取的特征信息；R-Norm·代表一个残差连接后紧跟归一化层；Mul-HeadAtt·和Stack-BiLSTM·分别代表多头注意力模块和堆叠Bi-LSTM模块；所述解码器的第e个解码器层实现过程为： 将上述过程表述为： 其中，Decoder·代表第e个解码器的实现过程，e∈{1,...,E}，代表第e解码器层的输出，E代表解码器层数；当e＝1，为嵌入的解码器输入pde； i∈{1,2,3}，代表在第e个解码器层经过第i个R-Norm·模块后所提取的特征信息；R-Norm·代表一个残差连接后紧跟归一化层；Mul-HeadAtt·代表掩码多头注意力模块或多头注意力模块，掩码多头注意力模块或多头注意力模块结构相同，仅输入不同；Stack-BiLSTM·代表堆叠Bi-LSTM模块；解码器输出为： 其中，代表第E个解码器层的输出；Linear·代表一个线性层；Norm·代表一个层归一化操作；所述多头注意力模块和掩码多头注意力模块，均包括多个单头注意力单元，其中单头注意力单元采用规范点积注意力机制；模块的输入包括查询Q，键K和值V，Q，K的维度为dk，V的维度为dv；规范点积注意力机制为： 其中，Softmax·代表Softmax归一化函数；多头注意力模块为：Mul-HeadQ,K,V＝WoutConcathead1,...,heado其中，i∈{1,...,o}，o表示多头注意力的头数； 代表最后线性层的投影； 是经过线性层的投影；dmodel代表模型的输入维度；Concat·代表将张量拼接在一起。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于Transformer的多频点多步频谱预测方法