买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海交通大学

摘要：一种基于知识蒸馏的鱼眼图像实时语义分割方法，通过鱼眼图像构建数据集，训练教师语义分割模型，然后将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架后得到轻量级学生模型，通过数据集上训练轻量级学生模型；再构建基于知识蒸馏的输出迁移和特征迁移，在保持轻量级学生模型实时性情况下提升精度，在测试阶段，单独使用轻量级学生模型对测试图像进行基于知识蒸馏的鱼眼图像实时语义分割；本发明能够有效地在鱼眼图像语义分割过程中抑制环境中遮挡和光照强度等干扰的影响，对于输入的高分辨率图像可以在保证实时性的前提下大幅提升模型的精度。

主权项：1.一种基于知识蒸馏的鱼眼图像实时语义分割方法，其特征在于，通过鱼眼图像构建数据集，训练教师语义分割模型，然后将教师语义分割模型中的复杂特征提取骨架替换为轻量级骨架后得到轻量级学生模型，通过数据集上训练轻量级学生模型；再构建基于知识蒸馏的输出迁移和特征迁移，在保持轻量级学生模型实时性情况下提升精度，在测试阶段，单独使用轻量级学生模型对测试图像进行基于知识蒸馏的鱼眼图像实时语义分割；所述的提升精度，具体包括：输出迁移采用损失函数对教师语义分割模型与轻量级学生模型的输出的概率分别差异进行衡量，使得两者输出尽可能保持一致，特征迁移对教师语义分割模型与轻量级学生模型输出中间层特征图进行处理形成相似度注意力图，提取结构化信息，通过损失函数对齐教师语义分割模型与轻量级学生模型间的相似度注意力图完成结构化知识迁移；所述的输出迁移处理，通过L2损失函数实现，具体为：其中：I为教师语义分割模型与轻量级学生模型中对应图片位置的索引集合，分别为轻量级学生模型和教师语义分割模型在softmax层前输出的logits，本发明以logits此来提取输出概率分布中的知识；所述的特征迁移处理，具体为：其中：ASφ、ATφ分别为轻量级学生模型和教师语义分割模型输出的相似度注意力图，模型中间层特征图生成相似度注意力图的过程为：其中：Aφij为特征图中第i个特征与第j个特性间的相似度，φi为特征图中的第i个向量；所述的结构化知识迁移是指：教师语义分割模型通过输出迁移与特征迁移对轻量级学生模型进行模型指导，在训练过程中教师语义分割模型参数保持不变，轻量级学生模型在原始softmax损失、输出迁移损失和特征迁移损失三者的监督下进行参数的更新，超参数α和β的设置应使三个损失函数保持在同一数量级；在轻量级学生模型的训练过程中原有的softmax损失函数基础上，增加输出迁移损失函数与特征迁移损失函数，具体为：LtotalS＝LCES+αLOTS+βLFTS，其中：LCE为轻量级学生模型的单独训练的损失函数，LOT为输出迁移损失函数，LFT为特征迁移损失函数，α和β为用来调节损失对网络训练贡献大小的超参数。

全文数据：

权利要求：

百度查询： 上海交通大学 基于知识蒸馏的鱼眼图像实时语义分割方法