买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东科技大学

摘要：本发明公开一种用于平流层飞艇自主飞行的控制方法，属于飞行控制技术领域，用于飞艇控制，包括将状态信息输入到基于软演员‑评论家算法SAC的策略网络，并将策略网络改进为注意力机制‑长短期记忆网络ALSTM，ALSTM不断更新学习最优控制策略；将当前状态和过去状态、最优控制动作和奖励值输入到基于SAC的评价网络，并将评价网络改进为长短期记忆网络LSTM，根据奖励信息和预测的Q值更新网络，并指导ALSTM的更新。本发明能更有效地捕捉飞艇的动力学特性和复杂多变的风场环境，实现从飞艇的位置、速度和姿态等状态信息到具体的螺旋桨等执行机构端对端的控制，提高了系统响应和鲁棒性。

主权项：1.一种用于平流层飞艇自主飞行的控制方法，其特征在于，包括：S1建立飞艇飞行环境，将实际风场数据作为扰动加入到飞艇动力学模型中，采集状态信息储存在经验回放池中；S2参考比例-积分-微分控制器PID对奖励函数进行改进，设计基于当前状态和过去状态的奖励函数，从多个角度衡量和优化控制效果；S3将状态信息输入到基于软演员-评论家算法SAC的策略网络，并将策略网络改进为注意力机制-长短期记忆网络ALSTM，ALSTM不断更新学习最优控制策略，根据选择最优控制动作；S4将当前状态和过去状态、最优控制动作和奖励函数输入到基于SAC的评价网络，并将评价网络改进为长短期记忆网络LSTM，根据奖励信息和预测的Q值更新网络，并指导ALSTM的更新，使ALSTM生成比更优的动作；飞艇飞行环境包括建立关于经度、纬度、高度和时间的四维时空风场；S2包括： ； ；； ；； ；；式中，为奖励函数，、、分别为水平速度奖励、高度奖励和俯仰角姿态奖励，、、为三个奖励对应的状态误差，、、为三个奖励对应的任务指令，、、为三个奖励对应的上一时刻的状态误差，、、分别为水平速度、高度和俯仰角姿态，、、为三个奖励对应的比例项系数，、、为三个奖励对应的积分项系数，、、为三个奖励对应的误差响应，所述误差响应包括误差的比例响应、累积误差影响和误差变化率的响应；在水平速度奖励、高度奖励和俯仰角姿态奖励基础上设置稳定性奖励，当状态误差小于给定值时，使用稳定性奖励补充水平速度奖励、高度奖励和俯仰角姿态奖励： ； ； ； ；式中，、、分别为水平速度奖励、高度奖励和俯仰角姿态奖励对应的稳定性奖励；ALSTM包括状态信息预处理单元、ALSTM策略网络单元、策略更新单元和动作选择单元；状态信息预处理单元，对储存在经验回放池中的进行归一化处理，以适应ALSTM网络的输入要求；ALSTM策略网络单元采用LSTM网络与注意力机制相结合的网络结构，接收预处理后的，包括输入层、隐藏层1、隐藏层2和输出层；策略更新单元在训练过程中不断更新ALSTM策略网络单元的参数，使ALSTM策略网络单元学习并逐步逼近；动作选择单元根据ALSTM策略网络单元的输出，选择当前时刻的，并将应用于飞艇的执行机构；ALSTM策略网络单元的输入层为LSTM层，维度为6×128；隐藏层1为注意力机制，维度为128×128；隐藏层2为全连接层，维度为128×256；输出层为全连接层，维度为256×4；LSTM包括状态动作信息整合单元、LSTM评价网络单元、Q值计算单元、评价网络更新单元和反馈机制单元；状态动作信息整合单元整合当前时刻的当前状态和过去状态、最优控制动作和奖励函数，并进行归一化处理；LSTM评价网络单元采用LSTM网络结构，接收归一化处理后的当前状态和过去状态、最优控制动作和奖励函数，捕捉时间序列中的动态变化特征，包括输入层、隐藏层1、隐藏层2和输出层；Q值计算单元根据LSTM评价网络单元的输出，计算当前状态-动作对的预测Q值；评价网络更新单元基于实际获得的奖励值和预测Q值，使用梯度下降优化方法更新LSTM评价网络单元的参数，提高预测精度；反馈机制单元将LSTM评价网络单元的预测Q值反馈给ALSTM，指导ALSTM策略网络单元的参数更新和优化；LSTM评价网络单元的输入层为LSTM层，维度为9×256；隐藏层1为全连接层，维度为256×128；隐藏层2为全连接层，维度为128×64；输出层为全连接层，维度为64×1；反馈机制单元包括策略梯度计算单元和策略优化单元，策略梯度计算单元根据LSTM评价网络单元的反馈结果计算策略梯度，指导ALSTM策略网络单元的优化方向；策略优化单元利用策略梯度更新ALSTM策略网络单元的参数，使ALSTM策略网络单元生成更优的控制动作，提高整体控制系统的性能。

全文数据：

权利要求：

百度查询： 山东科技大学 一种用于平流层飞艇自主飞行的控制方法