Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

端云协同环境下自适应噪声样本引导的知识蒸馏优化方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本发明公开端云协同环境下自适应噪声样本引导的知识蒸馏优化方法,在每个端设备上均通过本地数据集训练对应的教师模型,获得训练好的教师模型;在端设备上利用教师模型通过知识蒸馏对学生模型进行训练,训练中采用自适应蒸馏强度调整机制动态调整蒸馏强度,获得训练好的学生模型;云端服务器中生成与端设备中学生模型相关的噪声样本,并通过自适应算法最小化噪声样本分布和真实数据分布之间的差异更新噪声样本,通过更新后的噪声样本输入学生模型中训练,获得对应的端设备模型;云端服务器采用权重对比正则化和联邦平均的模型聚合策略整合若干端设备的端设备模型更新,形成全局模型。本发明能够提高模型训练效率和通信效率,同时保护数据隐私。

主权项:1.端云协同环境下自适应噪声样本引导的知识蒸馏优化方法,其特征在于,应用于端云协同系统,所述端云协同系统包括若干与云端服务器通信连接的端设备,包括如下步骤:在每个端设备上均通过本地数据集训练对应的教师模型,获得训练好的教师模型;在每个端设备上均利用训练好的教师模型通过知识蒸馏对学生模型进行训练,训练中采用自适应蒸馏强度调整机制动态调整蒸馏强度,获得训练好的学生模型;云端服务器中生成与端设备中学生模型相关的噪声样本,并通过自适应算法最小化噪声样本分布和真实数据分布之间的差异更新噪声样本,通过更新后的噪声样本输入学生模型中训练,获得对应的端设备模型;云端服务器采用权重对比正则化和联邦平均的模型聚合策略整合若干端设备的端设备模型更新,形成全局模型并下发至所有的端设备;若干所述端设备利用下发的全局模型完成预测任务,并反馈预测结果,根据反馈预测结果对全局模型进行迭代优化。

全文数据:

权利要求:

百度查询: 昆山杜克大学 端云协同环境下自适应噪声样本引导的知识蒸馏优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。