买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:河海大学
摘要:本发明公开了一种基于分级递进和集体知识的无人机目标检测蒸馏方法。该方法基于不同规模模型间存在的理解偏差现象,在第一阶段进行高级教师网络对初级教师网络的特征CKA知识蒸馏,让初级教师网络学习高级教师网络的特征映射能力;然后在第二阶段,对初级教师网络学习高级教师网络输出的特征进行集体知识提取,通过特征损失函数拉近集体知识和学生网络的特征距离,使学生网络学习到更为关键,凝练的知识;最后将学生网络部署到无人机平台上,利用实际拍摄视频输入到网络中,实现模型的实时检测。本发明不仅提高了学生模型在目标检测任务中的性能,还通过两阶段的知识蒸馏策略,显著提升了知识传递的效率。此外,本发明还推进了目标检测算法在无人机平台的应用,为无人机在复杂环境下的实时监控和分析提供了技术支持。
主权项:1.一种基于分级递进和集体知识的无人机目标检测蒸馏方法,其特征在于,方法包括如下步骤:步骤1,获取指定数据集,对数据集进行预处理,以供后续处理;步骤2,使用指定无人机数据集作为高级教师网络和初级教师网络的训练数据,获取预训练权重;步骤3,第一阶段蒸馏策略:获取步骤2中得到的高级教师网络ModelST和初级教师网络ModelJT预训练模型,让ModelST作为教师模型,ModelJT作为学生模型,利用中心核对齐CKA衡量特征的相似性,构建基于CKA的特征损失函数,实现特征CKA知识蒸馏,得到蒸馏后的初级教师网络ModelJT';步骤4,第二阶段蒸馏策略:使用特征CKA知识蒸馏让步骤3得到的初级教师网络ModeljT'教导学生网络ModelS,更新学生网络的全部参数;并构造集体知识,由于初级教师网络和高级教师网络针对数据集是有类似的关键表达,因此将图像传输到ModelJT'和ModelST,获取经过FPN层后的特征,再通过特征融合器提取集体知识,让学生网络向其学习,重点更新学生网络的骨干和FPN层参数;步骤5,使用TensorRT将步骤3得到的学生权重进行量化加速,将模型部署到无人机平台,使用量化模型进行实际应用,对无人机摄像头捕获到的实时图像进行检测。
全文数据:
权利要求:
百度查询: 河海大学 基于分级递进和集体知识的无人机目标检测蒸馏方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。