买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东工业大学

摘要：本发明涉及车辆智能感知技术领域，特别是涉及一种基于改进的多头注意力机制的新能源汽车自动驾驶融合感知方法，包括：将车辆行驶环境中的RGB图像和激光雷达扫描数据输入自动驾驶融合感知模型，获取预测轨迹结果；自动驾驶融合感知模型利用训练集训练获得；其中，自动驾驶融合感知模型包括：基于多头注意力机制的自动驾驶融合感编码器以及轨迹预测网络子模型；利用自动驾驶融合感编码器的ResNet单元结合自动驾驶融合感编码器的多头注意力机制单元感知特征数据中各层注意力进行特征提取，并进行特征融合，获取环境上下文编码向量，将环境上下文编码向量输入轨迹预测网络子模型进行轨迹预测，获取预测轨迹结果，从而控制车辆进行自动驾驶。

主权项：1.一种基于改进的多头注意力机制的新能源汽车自动驾驶融合感知方法，其特征在于，包括：获取车辆行驶环境中的RGB图像和激光雷达扫描数据；将所述车辆行驶环境中的RGB图像和激光雷达扫描数据输入自动驾驶融合感知模型，获取预测轨迹结果；所述自动驾驶融合感知模型利用训练集训练获得；其中，所述自动驾驶融合感知模型包括：基于多头注意力机制的自动驾驶融合感编码器以及轨迹预测网络子模型；利用所述自动驾驶融合感编码器的ResNet单元结合所述自动驾驶融合感编码器的多头注意力机制单元感知特征数据中各层注意力进行特征提取，并进行特征融合，获取环境上下文编码向量，将所述环境上下文编码向量输入所述轨迹预测网络子模型进行轨迹预测，获取所述预测轨迹结果；利用所述自动驾驶融合感编码器的ResNet单元结合所述自动驾驶融合感编码器的多头注意力机制单元感知特征数据中各层注意力进行特征提取包括：对所述车辆行驶环境中的RGB图像和激光雷达扫描数据进行处理，产生双通道伪图像；在每个所述ResNet单元中的卷积层前方设置所述多头注意力机制单元，根据所述多头注意力机制单元使用线性投影来计算一组查询、键和值，基于所述查询与键之间的缩放点积来计算注意力权重，并汇总每个查询的值，将汇总后的查询、键和值分别分头计算次注意力，并将所有注意力进行拼接，获得每层的注意力；将所述双通道伪图像输入所述ResNet单元结合对应层的注意力进行特征提取，获取特征图；根据所述多头注意力机制单元使用线性投影来计算一组查询、键和值的方法为： 其中，是查询矩阵，输入矩阵与查询权重矩阵相乘得到；是键矩阵，由输入矩阵与键权重矩阵相乘得到；是值矩阵，由输入矩阵与值权重矩阵相乘得到；基于所述查询与键之间的缩放点积来计算注意力权重，并汇总每个查询的值的方法为： 其中，，，是线性投影的权重矩阵，，和分别是每个注意力头的查询、键和值的维度；获取所述预测轨迹结果包括：将所述环境上下文编码向量输入轨迹预测网络子模型中的多层感知机单元进行降维，利用降维后的环境上下文编码向量初始化轨迹预测网络子模型中的门控循环单元的隐藏状态，基于门控循环单元的更新门控制在隐藏状态下编码，输出下一个时间步长的信息流，并结合车辆的当前位置和目标位置，获取所述预测轨迹结果；获取所述预测轨迹结果的方法为： 其中，代表当前时刻输入信息，代表上一时刻的隐藏状态，隐藏状态充当了神经网络记忆，包含之前节点所见过的数据的信息，代表传递到下一时刻的隐藏状态，代表候选隐藏状态，代表重置门，代表更新门，代表sigmoid函数，代表tanh函数；获得所述自动驾驶融合感知模型包括：将感知模态输入到所述ResNet单元，获取各个感知模态特征，将各个感知模态特征输入至多头注意力机制单元进行自适应融合，计算各个感知模态特征的注意力权重；根据反向传播算法计算损失函数对模型参数的梯度，并根据Adam优化算法利用损失函数对模型参数进行梯度更新： 其中，表示待更新的参数，是学习率，表示损失函数对参数的梯度；当连续若干次迭代后无法降低损失时，终止训练过程，获得所述自动驾驶融合感知模型；根据所述预测轨迹结果，获取车辆的转向、油门和制动值，从而控制车辆进行自动驾驶。

全文数据：

权利要求：

百度查询： 广东工业大学 一种基于改进的多头注意力机制的新能源汽车自动驾驶融合感知方法