买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种空中计算辅助的短包ISAC系统的安全及时传输方法。该方法采用了一种均衡场A3C的元强化学习方法，对空中计算辅助的短包ISAC系统的空中计算收发器设置和块长度进行控制，同时保证用户信息的信息新鲜度、通信安全、空中计算精度和感知精度。通过解决多目标优化问题，实现了空中计算性能、通信性能和感知性能的联合最优化。

主权项：1.空中计算辅助的短包ISAC系统的安全及时传输方法，其特征在于，包括如下步骤：步骤A，建立存在窃听者的基于短包的RIS辅助ISAC系统，进行空中计算收发器设置，构建通信、感知和计算模型；步骤B，计算表征空中计算精度和感知精度的空中计算均方误差和目标检测估计误差；步骤C，计算表征通信安全和信息新鲜度的安全信息年龄和安全信息年龄中断概率；步骤D，建立基于空中计算收发器和块长度设计的多目标优化问题来同时实现安全信息年龄中断概率、空中计算均方误差和目标检测估计误差的最小化；步骤E，设计基于均衡场A3C的元强化学习算法，将多目标优化问题转化为多个单目标优化问题进行优化，并设计优化目标间权重更新策略来降低人为调参的误差，实现安全及时传输；其中，步骤A具体包括：A1，建立了空中计算辅助的短包ISAC系统，该系统包括一个公共目标，一个窃听者，一个配备Na根天线的接入点和M个配置Ns＝Ntx+Nrx根天线的雷达传感器，每个传感器可以同时向接入点发送探测信号和数据符号用以空中计算，Ntx用于发射信号，Nrx用于接收信号，传感器发送的信号具有感知目标和向接入点发送数据的双重功能，同时窃听者配备了Ne根天线，试图窃听发送到接入点的数据；A2，制定传输协议，将信号传输过程分为不同时隙，不同传感器传输数据的操作根据服务器广播的时钟信号进行同步，同时接入点和每个传感器之间的信道状态信息分别在每个传感器到广播的导频信号中估计出来，然后传递给接入点；A3,构建信号模型，定义第m个传感器在第t个时隙传输的数据符号为第i个传感器在第t个时隙传输的数据符号为K表示通过空中计算的函数个数，假设数据符号为独立同分布，均值为0和具有单位方差，即A和Wm分别表示空中计算的接收和发射波束形成器，简称空中计算收发器，通过应用发送波束形成器第m个传感器发射的信号可以表示为xm[t]＝Wmsm[t]；A4,构建通信和空中计算模型，为了防止窃听者干扰，传感器向接入点传输信号时引入了与人工噪声其中同时考虑信道中存在的不确定性导致的非完美CSI，将通信信道和人工噪声信道分别建模为和其中和分别是通信信道和人工噪声信道的统计项，ΔHm和ΔGm分别是通信信道和人工噪声信道的误差项，由于目标离接入点较远，假设目标反射信号在接入点处消失，故接收处的信号可以写为与此同时，可以写出窃听者接收的信号为Hem、Wem和ΔGem为窃听者的接收接收器，通信信道矩阵，空中计算发射器和人工噪声信道误差项，表示高斯白噪声，其服从的分布，为通信信道的噪声功率；A5，构建感知模型，为了确保感知信号的质量，设第m个传感器接收到的目标反射信号表示为zm[t]＝GmmWmsm[t]+Ωm[t]+nr[t]，Ωm[t]＝Σi∈M{m}GimWisi[t]+Σi∈M{m}QimWisi[t]是干扰信号，Gmm为统计目标响应矩阵，Wi为第i个传感器的空中计算发射器，和为第i个和第m个传感器之间的目标响应矩阵和直接雷达矩阵，表示高斯白噪声，其服从的分布，为感知信道的噪声功率，根据匹配滤波原理，将传感器信号的统计矩阵就可以表示为为统计信道矩阵；其中，步骤B具体包括：B1，计算不考虑空中计算收发器设置的空中计算均方误差，假设空中计算对传感器发送的数据的预处理和后处理函数是线性的，因此为了计算接收信号yt与理想信号yidealt之间的失真，同时为了方便计算隐去了时隙序列，并将由于人工噪声信道CSI造成的误差量化为并将空中计算均方误差由给出，同理，这里给出窃听者信号相对于理想信号之间的均方误差来评估系统的物理层安全性能，将窃听者人工噪声信道中由于CSI造成的误差量化为于是便能得到窃听者处的通信信号均方误差B2，计算考虑最优空中计算收发器设置的空中计算均方误差，定义短包通信下最优信道估计器定义为在每次迭代中，接入点向所有传感器节点广播当前接收器A，传感器计算当前最优发射器Wm，之后，接入点将获得所有节点同时发送导频时的有效CSI向量g，g可以表示为同时，有效CSI矩阵F可以通过所有传感器发送导频信号获得，F可以表示为结合有效CSI向量矩阵，定义非完美CSI和有限块长度影响下的最优收发器设置为和将最优Wm设置带入到接收处的MSE中，可以得到基于最优接收器A得到系统的空中计算均方误差 B3，定义目标检测误差，每个传感器根据自身位置以及从反射雷达信号中提取的角度和距离信息估计目标的位置，然后将每个传感器对目标的估计位置通过空中计算传输到服务器，从而服务器获得平均估计目标位置，波束成形的设计也会影响感知的精度，令传输过程的最大时隙数为Tm，可以将Nm的分布写为Nm的概率密度可以写为其中通过最小化对数似然函数可以得到Gmm的最大似然估计最大似然估计的表达式可以写为对数似然函数表达式为对此函数求导，在导数为零的条件下，可以得到Gmm的最大似然估计的估计均方误差可以计算为将MSEG定义为目标检测误差；其中，步骤C具体包括：C1，定义信息年龄，首先，信息年龄被定义为自生成最新信息更新包以来所经过的时间，信息年龄曲线在目标节点接收到信息更新前达到峰值，峰值为ΔTl＝TDl-TAl-1，TDl和TAl分别表示第l次状态更新的出发时间和离开时间，为了保持一致性，设TA0＝0，在先到先得策略下，第l次状态更新的出发时间可以表示为TSCj,l表示从第l次更新到第j次的更新的累计传输时间l＜j，TSCj,l定义为TSn表示第n次更新的传输时间，每次更新的总逗留时间Tl不应小于TSn，同理，设相邻状态更新数据包到达时间的间隔为Xl-1,l＝TAl-TAl-1，可以得到状态更新数据包到状态更新数据包之间间隔的到达时间间隔为另设单个数据包的停留时间为Tl＝TDl-TAl＝max{TSCj,l-Xj,l}，因此可以将信息年龄更新为ΔTl＝TDl-TAl-1＝Xl-1,l+Tl；C2，定义安全信息年龄中断概率，基于信息年龄的定义，安全信息年龄被定义为窃听者的信息年龄减去接收处的信息年龄，具体来说，定义窃听者和接收处的瞬时峰值信息年龄为ΔEl和ΔMl，则系统的安全信息年龄可以表示为：ΔSl＝[ΔEl-ΔMl]+，[·]+为取正值函数，定义安全信息年龄中断概率为μth为信道使用的数量上窃听用户和接收处用户之间的信息滞后的阈值；C3，由于无法直接用数学解析的方法推导安全信息年龄中断概率的闭合表达式，利用矩生成函数方法推导安全信息年龄的闭合表达式，根据矩母函数定义MXθ＝E[eθX]，其中θ＞0是一个实数变量，用于生成和描述随机变量的矩，X为需要求矩母函数的变量，定义安全信息年龄中断概率的矩母函数为MΔSlθ＝E[eθΔSl]＝MΔElθMΔMl-θ，同时，假设这些数据包的到达时间服务间隔服从泊松分布，即数据包的到达过程是参数为λ的泊松过程，且接收处与窃听者的参数相同，而接收处与窃听者中每个数据包的服务时间分别服从参数为μm和μe的指数分布，然后，设空中计算辅助的短包ISAC系统传输的通信数据块长度为N，根据以上假设，可以得到安全信息年龄中断概率的表达式为其中，T表示每个信道符号的单位时间，εm和εe分别为用户m和窃听者传输数据包的解码错误概率；其中，步骤D具体包括：D1，为了全面衡量空中计算辅助的短包ISAC系统的安全性、信息新鲜度和感知精度，提出了一个多目标优化问题，具体来说为了更好地满足接收处用户对空中计算信息新鲜度以及物理层安全的要求，同时研究空中计算辅助的短包ISAC系统中通信和感知性能与计算的关系，通过联合优化空中计算收发器A，Wm和块长度N，考虑到信道感知和目标检测精度以及窃听者处的信号质量，进一步实现安全信息年龄中断概率最小化；D2，将优化问题表述为 s.t.CD≥RS+RE MSEe＞ηe 其中，CD≥RS+RE为可靠性约束，CD为信息传输速率，RS为安全信息传输速率，RE为窃听者信息传输速率；为安全性约束，为信息泄露概率，δ∈[0,1]为保密约束；MSEe＞ηe为窃听者信号质量约束，ηe为窃听者信号质量阈值；为传感器处发射功率限制，P为用户最大发射功率；其中，步骤E具体包括：E1，为解决多目标优化问题引入分解策略，引入J个权重向量满足每个权重向量对应一个子问题，求解每个子优化问题得到一组潜在的帕累托最优解，当所有J个优化问题都解决时，就可以得到期望的帕累托前沿，将多目标优化问题分解为一组子问题，每个子问题被视为一个单目标优化问题并表述为一个马尔可夫决策过程；E2，定义状态空间，智能体在时刻t的状态时的信道误差项其中和分别表示通信信道和人工噪声信道在时刻t的误差项，时刻t窃听者信道中的误差项以及时刻t的发射功率Pt组成，表示为st＝{Ht,Het,Pt}，智能体的状态由前一时刻的状态和前一时刻采取的动作决定；E3，定义动作空间，智能体的动作为由接收处的空中计算收发器和块长度构成，定义为at＝{A,Wm,N}，在每种状态下，智能体根据既定的策略采取不同的动作以得到最大的回报；E4，定义策略空间和函数，智能体的策略定义为在给定状态st选择一个动作at的概率，表示为πat|st，同时定义是一个参数为θa的深度神经网络，这个策略函数将智能体的状态作为输入，并且输出一个策略；E5，定义奖励函数，为了同时最小化安全信息年龄中断概率、空中计算均方误差和目标检测估计误差，将奖励函数定义为与单目标马尔可夫决策过程不同，多目标马尔可夫决策过程中，在状态st下选择动作at后返回一组奖励[R1,...,RJ]T，用Rat|st来表示奖励向量；E6，定义价值函数，价值函数衡量的是每个状态的价值，即每个状态可实现的未来回报，对于一个初始状态s0，定义其价值函数为其中γt为折扣因子；E7，进行任务训练，在一组训练任务上进行训练，更新一组子模型参数，子模型通过异步优势动作评估A3C来训练参数，A3C的状态价值函数可以表示为其中θv是用于估计价值函数的深度神经网络的参数，A3C使用v步奖励来更新其参数，第v步的动作价值定义为引入优势函数来确定当前状态所采取动作的优势，在任务训练阶段，首先从给定的权重向量分布pλ中随机抽样个权重向量对于每个权重向量λj，策略网络Actor的损失函数为其中，为策略的熵，ξ为步长，Actor的累积梯度计算为 其中θa′为Actor的线程参数，价值网络Critic的损失函数为Critic的累积梯度计算为其中θv′为Critic的线程参数；E8，在A3C中，每个智能体在与环境交互后更新参数，并将其传递给全局网络，训练过程中，智能体利用累积的梯度独立更新全局网络模型参数，并周期性地从全局网络同步最新参数到本地网络，这一过程可以利用均衡场近似原理，将均衡场近似和A3C结合起来的算法称为均衡场A3C算法，通过局部策略影响整体优化，引入均值函数mean·，可以用参数梯度的均值来给更新第j个子模型的策略参数和价值参数和 E9，设计优化目标间权重更新策略，每一轮迭代中，根据当前权重策略的表现，评估各权重之间的相互影响，计算纳什均衡点，在此均衡点上，没有单个权重可以通过单方面的调整获得更好的结果，从而确定下一步的最优权重组合，权重更新规则为α是学习率，是关于λj的效用函数U的梯度，纳什均衡条件为该公式表示在纳什均衡点任何单个权重的微调都不会进一步提升效用函数U，因此达到最优的权重更新；E10，元训练阶段，将任务训练得到的策略轨迹聚合，并通过微分调整元模型参数，参数更新规则为 其中ε其中表示更新步长，训练完成后，模型会根据优化后的参数适应新任务，只需微调元模型即可获得对应的帕累托前沿,从而实现安全可靠传输。

全文数据：

权利要求：

百度查询： 华北电力大学(保定) 空中计算辅助的短包ISAC系统的安全及时传输方法