买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜大连理工大学申请的专利一种通过注意场景和状态的多模态轨迹预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114707630B 。

龙图腾网通过国家知识产权局官网在2024-09-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210142283.8，技术领域涉及：B60W60/00；该发明授权一种通过注意场景和状态的多模态轨迹预测方法是由李琳辉;王雪成;连静;丁荣琪设计研发完成，并于2022-02-16向国家知识产权局提交的专利申请。

本一种通过注意场景和状态的多模态轨迹预测方法在说明书摘要公布了：本发明公开了一种通过注意场景和状态的多模态轨迹预测方法，包括以下步骤：全卷积神经网络提取场景信息并利用仿射变换关注目标智能体；利用Transformer对智能体历史状态进行编码；特征融合和解码。本发明综合考虑智能体的历史状态信息和周围环境信息，并结合三种注意力机制提取和融合这两种信息，即Transformer的自注意力机制捕捉历史状态之间的潜在关系；仿射变换从特征图中裁剪关键位置即硬注意力机制来关注特定的智能体；多头注意机制可以有效地捕捉状态与场景的交互信息。最终，产生多条社会可接受的轨迹及其相关概率的通过注意场景和状态的多模态轨迹预测方法。

本发明授权一种通过注意场景和状态的多模态轨迹预测方法在权利要求书中公布了：1.一种通过注意场景和状态的多模态轨迹预测方法，其特征在于：包括以下步骤：A、全卷积神经网络提取场景信息并利用仿射变换关注目标智能体A1、构建复合栅格地图；首先将环境信息渲染在鸟瞰视角下的高清地图上，以保留智能体的大小和位置以及道路几何特征，并忽略它们的纹理；为了体现智能体之间以及智能体与环境的动态交互，同时为了避免语义注释遮挡和数据冗余的问题，将连续的多张原始栅格化的高精地图进行拆分和重组以获得复合栅格地图H是复合栅格图的长度，W是复合栅格图的宽度，C是通道数；A2、全卷积神经网络提取场景信息和交互信息；利用全卷积神经网络即FCN从步骤A1获得的复合栅格地图中学习具有代表性的拓扑信息、语义信息和交互信息，利用FCN提取信息的公式如下： 式中，FCN·为全卷积神经网络，是复合栅格地图，Ws是全卷积神经网络的权重；为了减少模型参数，FCN内部的卷积神经网络即CNN选择使用MobileNetV2；利用FCN不仅能获得场景和交互信息，而且使输入的图像与输出的特征图的大小保持一致，这样根据目标智能体的初始位置来关注它；A3、关注目标智能体；智能体通常更关注那些与自己距离更近、交互性更强的对象，所以在步骤A2获得特征图后，根据目标智能体的位置裁剪一个小的特征图来关注它；在获得小特征图后根据智能体的朝向利用仿射变换旋转一定角度，以正规化智能体的朝向，仿射变换和仿射矩阵的公式如式2和3所示： 式中，Affine·是仿射变换函数，θ是仿射矩阵，h是智能体的朝向；B、利用Transformer对智能体历史状态进行编码在利用Transformer对历史状态信息进行编码之前，首先将状态信息连接在一起，然后应用多层感知器即MLP将状态信息嵌入到高维空间中得到ft以固定大小，最后ft被嵌入更高维的空间得到Fa，利用MLP将状态信息嵌入高维空间和利用嵌入矩阵嵌入到更高维空间的公式如下：ft＝MPLconcatxt，yt，vt，sinh，cosh4Fa＝ft·Wf5式中，xt，yt是智能体的位置坐标，vt是智能体的速度，h是智能体的朝向，concat·是连接函数，MPL·是多层感知器，Wf是嵌入矩阵，t是时间戳；所述历史状态信息包括位置、速度和朝向；利用Transformer的“位置编码”对每个过去时间瞬间t进行时间编码，位置编码的公式如下： Ia＝Fa+Pa8式中，d是数据维度，D是模型嵌入维度；为了捕获智能体的历史状态之间的内在潜在依赖关系，先对Ia执行三次线性投影变换得到三个矩阵，即Qa＝WqIa，Ka＝WkIa和Va＝WvIa，其中Wq是Qa的投影矩阵，Wk是Ka的投影矩阵，Wv是Va的投影矩阵；然后，利用自注意力机制获得智能体历史状态之间的内在关系；最后，利用前馈网络得到智能体历史状态的最终表示Ea；自注意力机制公式9和前馈网络公式10如下： Ea＝FFNAttQa，Ka，Va10式中，softmax·是softmax函数，Att·是多头自注意力，FFN·是前馈网络，是Ka的维度；C、特征融合和解码C1、特征融合；在步骤A3获得裁剪后的特征图后，利用深度可分离卷积进一步提取场景信息，即式中DSC·是深度可分离卷积；然后，利用MLP对智能体的历史状态Ea进行降维得到K′和V′，如公式11；最后利用多头注意力机制将深度可分离卷积提取到的场景信息Q′和降维后的状态信息K′与V′进行融合得到融合特征I，如公式12和13，其中式12是一个注意力头函数，式13是将8个注意力头函数进行连接，公式如下：K′＝V′＝MLPEa11 I＝Concathead1，...，head813式中，MLP·是多层感知器，K′是降维后的状态信息的Key值，V′是降维后的状态信息的Value值，headi是注意力头，Softmax·是softmax函数，是Q′的投影矩阵，是K′的投影矩阵，是V′的投影矩阵，dK′是K′的维度，Concat·是连接函数；C2、融合特征解码；将融合特征I分别输入到回归分支和分类分支，最终获得K条预测的轨迹及其相关的概率，回归分支的公式如14，分类分支的公式如15和16： logit＝MLP2{ConcatOK，reg，MLP1I}15 式中，MLP1·、MLP2·和MLP3·分别是1层、2层和3层多层感知器，是第k条预测轨迹，是第k条预测轨迹的概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市高新园区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。