买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河海大学

摘要：本发明公开一种车联网场景下1‑Bit压缩分簇式联邦学习方法。该方法无需道路辅助基础设施参与，只需按照车辆位置、车辆属性、车辆相对速度、模型相似度等信息对车辆进行分簇，从而构建出去中心化的分簇式联邦学习方法。本发明方法将参与联邦学习的车辆分为簇心车辆、边缘车辆、共用车辆和非簇车辆等四种类型，每辆车的属性会随着车辆移动分簇的变化而动态变化。在联邦学习训练中，每辆车将先训练自己的本地模型，然后边缘车辆和共用车辆将自己的本地模型上传给簇心车辆，簇心车辆聚合模型后再下发。在本地模型参数上传过程中，边缘车辆和共用车辆将采用自适应阈值的1‑Bit压缩技术进行上传，从而大幅度降低上行通信开销。本方法还在算法训练过程中引入了提前终止策略，从而显著降低了联邦学习训练过程中通信开销，并避免了训练过拟合问题，提升了训练精度。

主权项：1.车联网场景下1-Bit压缩的分簇式联邦学习方法，包括如下步骤：步骤一、车辆训练本地数据，具体为：车辆i在第t轮联邦学习训练的本地模型为车辆i的本地数据集为ξi。如说明书附图1所示，每辆车辆会先判断本地模型是否收敛，如果未收敛则训练本地模型步骤二、车辆分簇，具体为：车辆位置集合为邻域参数簇半径r，簇内车数量阈值δ，第t-1轮联邦学习训练的核心对象集合Coret-1和车速。首先，初始化本轮核心对象集合：并对每辆车计算簇半径内的邻域密度NrXi，车辆i的域密度为：NrXi＝num|Xj-Xi|＜r，j∈X∩j≠i，当该值大于阈值δ时将其加入核心对象集合Ω＝Ω∪{Xj}。然后对核心对象集合进行从高到底排序并初始化聚类簇数：k＝0，按照优先级邻域密度NrXj＞维持上一轮簇心＞sim值依次进行分簇。车辆速度和模型相似度评价指标： 其中Ni是车辆i在一跳内的邻居数量，vi和vj是车辆i和车辆j的速度，·是两个向量的点积。越低的sim值意味着更小的簇平均速度和更低的簇内模型相似度，对应这簇的更加稳定和全局模型更加丰富。接下来，依次从核心对象集合中取出簇心车辆并将簇心车辆领域内的所有车辆形成一簇，删除在核心对象集合中的簇内车辆。以此类推，因此在某些位置时共用车辆可同时被满足要求的多簇使用。当簇心对象集合时表明所有簇都已形成，得到当前第t轮的分簇结果Ct和非簇车辆集合Δt。从分簇算法中可以看出：任意两簇心不能在彼此的邻域范围内，可以通过共用车辆获知不同簇的信息。步骤三、模型传输，具体为：如说明书附图1所示，在每一簇内如果模型尚未收敛且簇心车辆有边缘车辆和共用车辆上一轮的模型，则可以采用基于自适应阈值的1-Bit压缩分簇式无线联邦学习的簇内算法。如果车辆为新加入簇的车辆，则需传输完整的本地模型。如说明书附图2所示，车辆i在当前t轮可以传输本地压缩模型CSwi，t时：在非簇心端：车辆i将第t-1轮第k簇簇心车辆下发的全局模型和本地模型wi，t进行比较并展为一维向量： 将模型借鉴稀疏三元压缩算法进行稀疏化，先计算本地模型的变化趋势 和幅度变化信息 如说明书附图2所示，找到幅度变化值的Top-K阈值threshold，即模型参数中第K％大的数值，由于模型的不断交互和更新，更新幅度也是可大可小，本文提出自适应的Top-K阈值。然后和将对应大于阈值的数保存，其他数置0，对Yi，t稀疏化的简单表达式为： 将中保留值中的最小值记录为更新步长Δ。1-Bit压缩算法在稀疏三元压缩算法后添加了压缩感知的过程。我们可知稀疏后的模型只有1，0，-1三个数值。根据1-Bit压缩算法，车辆i与簇心车辆共享的传感矩阵对进行稀疏三元压缩后模型进行观测，得到yi，t。此时yi，tx只有1，-1两个数值。车辆i把压缩后的模型yi，tx以及更新步长Δ传输给簇心车辆。簇心端：簇心车辆根据接收的yi，tx和全局的传感矩阵A调用二进制迭代硬阈值算法对Yi，t数据进行信号重构，得到y′i，t。簇心车辆通过恢复出的y′i，t、前一轮的全局模型以及给定的更新步长信息Δ，恢复出车辆i的本地模型w′i，t。随着迭代过程的推进，全局模型和局部模型之间的差异缩小，从而能够根据稀疏度水平的阈值差异动态调整K和M。元组K，M表示稀疏度K和观测值数量M的动态组合。K＝0.1N，M＝0.4N和K＝0.15N，M＝0.9N，两个元组的信号恢复精度接近。由于K＝0.15N较大，更适合幅度变化较大的情况。当阈值差异|thhigh-thlow|很大时，表明更新幅度较大，需要更大的稀疏度Khigh和观测数Mhigh相反，较小的阈值差异表明可以用较小的稀疏度和观测数。本方法自适应阈值的1-Bit压缩方案在每一个可以采用1-Bit压缩传输的车辆都会根据本地的更新幅度来选择合适的稀疏度和观测数。如果thhigh＞ψ×thmid，其中ψ是阈值系数，则选择大的稀疏度Khigh和观测数Mhigh，同理thmid＞ψ×thlow时选择稀疏度Kmid和观测数Mmid。步骤四、簇心车辆模型聚合，具体为： 是第t轮迭代第k簇簇心车辆本地训练后的网络模型参数，其他参数含义类推，其中簇心车辆接收簇内车辆的模型并在本地按权重进行聚合。簇心车辆的聚合过程： 其中表示使用压缩感知传输的边缘车辆模型除新加入车辆，D为第t轮迭代第k簇中边缘车辆集合。表示使用压缩感知传输的共用车辆模型除新加入车辆，S为第t轮迭代第k簇中共用车辆集合。表示第t轮迭代第k簇中新加入的车辆，N为第t轮联邦学习训练第k簇中新加入车辆集合，这些车辆需要传输完整的本地模型。|·|表示集合内的数量。步骤五、下行车辆模型更新，具体为：当簇心车辆聚合完本地模型后，会将全局模型下发给通信半径内的车辆，下行的接收车辆会根据自己接收到的全局模型进行更新，其中共用车辆可能会接收到多个全局模型，所以其根据不同簇的权重进行聚合。下行车辆的更新公式为： 其中μ是是CSV所属簇的集合，Nk是簇k的车辆数。

全文数据：

权利要求：

百度查询： 河海大学 一种车联网场景下1-Bit压缩分簇式联邦学习方法