买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏大学

摘要：本发明提供了一种基于Transformer的结构化道路自动驾驶商用车全局定位方法，包括：S1.图像采集、图像处理数据集制作S2.网路模型建立S3.网络模型训练S4.定位实现。有益效果：通过对原始图像进行语义分割，去除了动态物体对定位的影响，保留了原始图像的空间结构信息。加入PSA注意力模块后，DeepLabV3Plus更能捕获结构化道路细节信息。Transformer自注意力机制可以捕获分割后的图像空间结构信息。在SwinTransformer最后一阶段计算全局注意力时，使用可变注意力机制替换自注意力机制。提高强相关特征的表达，获得图像特征向量。最后将特征向量按获取时间顺序进入LSTM网络，时序信息的利用，可以解决某些帧相机成像质量不高导致的定位失准问题，从而预测出更加准确的定位信息，完成定位。

主权项：1.一种基于Transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于，包括以下步骤：步骤1、图像采集、图像处理、数据集制作：采集目标城市道路的图像特征，包括路、车道线、道路标记、红绿灯、交通标志、杆、人行道、建筑和树木，同时记录每张图像的位置信息；对图像进行像素预处理，即将原始图像重塑为513×513大小，将重塑大小的图像组成训练与测试网络的数据集；步骤2、网络模型建立，包括以下三部分：第一部分网络模型为感知道路结构信息模型，通过DeepLabV3Plus语义分割网络对重塑大小后的原始图像进行语义分割，定义类别包括路、车道线、道路标记、红绿灯、交通标志、杆、人行道、建筑和树木；在原始DeepLabV3Plus语义分割网络模型基础上，引入注意力模块；即在ASPP模块后添加PSA模块，PSA模块由通道注意力与空间注意力组成，增加重要信息的提取，提高模型对信息的利用率；第二部分网络模型为图像空间特征提取模型，通过Transformer可变自注意机制从图像中提取鲁棒的位置特征信息并对这些特征进行编码；当面对连续相似场景时，相似场景图像特征向量互相进行余弦计算，当余弦值接近于0.5时，可证明特征提取模型的有效性；采用基于SwinTransformer滑动窗口的整体架构，去除最后的全连接层，输出768维特征向量，此向量可以看作待定位图像的特征向量；第三部分网络模型为全局位姿预测模型，将特征编码器输出的768维特征向量作为时序网络的输入，通过LSTM长短期记忆网络，预测车辆的定位信息；步骤3、网络模型的训练：根据步骤2中的检测道路关键信息模型、图像空间特征提取模型和全局位姿预测模型，分别进行单独训练；将步骤1采集的图像数据按照3：1：1的比例分别划分为训练集、验证集和测试集；步骤4、车辆位姿的定位，包括：使用扩展卡尔曼滤波对IMU与网络输出定位结果进行集成，获得车辆位姿状态变量为其中xi,yi,分别为车辆在二维平面车辆位置与航向角。

全文数据：

权利要求：

百度查询： 江苏大学 一种基于Transformer的结构化道路自动驾驶商用车全局定位方法