买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川海太克科技有限责任公司

摘要：本发明公开了一种基于掩码自编码器的时空预测方法，属于时空数据预测领域，致力于解决长时预测困难。该方法包括以下方面：整体为四个阶段级联的分层架构，将多层次特征融合到预测结果；每个阶段内部使用两个连续的时空Transformer块，同时捕捉长期和短期时空依赖关系；采用随机片段掩码策略，将前两个阶段构建为预训练自编码器；采用带有辅助分支的预测头，让模型学习空间域更多的细节特征。本发明构建了一个基于掩码自编码器的时空网络预测模型，有效捕捉了长短期时空依赖关系同时也学习了丰富的时空特征表示，从而提升了时空数据整体建模能力。

主权项：1.一种基于掩码自编码器的时空预测方法，其特征在于，包括以下方面：整体为四个阶段级联的分层架构，将多层次特征融合到预测结果；每个阶段内部使用两个连续的时空Transformer块，同时捕捉长期和短期时空依赖关系；采用随机片段掩码策略，将前两个阶段构建为预训练自编码器；采用带有辅助分支的预测头，让模型学习空间域更多的细节特征；所述整体为四个阶段级联的分层架构，具体为：第一和第二阶段组成编码器，第三和第四阶段构成译码器；上一阶段的输出是下一阶段的输入，依次形成级联结构；每一阶段进行空间尺寸压缩，通过特征融合模块将多层次特征融合到预测结果；所述每个阶段内部，包括一个前置空间线性嵌入模块加上两或六个时空Transformer组，时空Transformer组的内部为使用两个连续的时空Transformer块，同时捕捉长期和短期时空依赖关系；所述两个连续的时空Transformer块，具体为：第一个时空Transformer块的内部由一个基于时空窗口的多头自注意力模块、一个多层感知机和两个归一化层组成；第二个时空Transformer块的内部由一个基于时空移位窗口的多头自注意力模块、一个多层感知机和两个归一化层组成；所述随机片段掩码策略，具体为从原始输入中随机地去除部分片段，去除片段的长宽高分别为时空移位窗口长宽高的二分之一；所述带有辅助分支的预测头，包括一个辅助分支，将各预测帧以及多级特征信息统计近辅助损失，让模型学习空间域更多的细节特征；预测头还包括一个主分支，将各预测帧统计近主损失，让模型学习全面的时空特征；辅助损失和主损失共同构成训练损失函数。

全文数据：

权利要求：

百度查询： 四川海太克科技有限责任公司 一种基于掩码自编码器的时空预测方法