买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开一种基于光线追迹的端到端折衍混合成像系统设计方法，使用牛顿法找到光线与光学元件的交点，利用斯涅耳定律实现折射光学元件的光线追迹，利用局部光栅方程实现衍射光学元件的光线追迹，实现全光路的可微分光线追迹；利用光线追迹结果计算出仿真像差图片，构建对图像局部纹理敏感的图像恢复神经网络，输入为像差图片，输出为去除部分像差的图片；以最后输出的图片的质量为判断标准，构建损失函数，对于光学参数和神经网络参数同时进行端到端的梯度下降优化，实现折衍混合光学元件与深度学习协同成像系统设计。本发明对折衍混合光学系统构建新的光线追迹框架，实现端到端的优化，增加光学系统与优化算法的适配程度，实现高质量成像。

主权项：1.一种基于光线追迹的端到端折衍混合成像系统设计方法，其特征在于，包括以下步骤：S1：建立虚拟的折衍混合光学结构和探测器平面的初始结构，作为虚拟光学系统；并构建由真实拍摄的清晰图片组成的数据集；S2：建立折衍混合光学系统的光线追迹模型，对于折射面，使用斯涅耳定理计算光线偏转方向，对于衍射面，使用局部光栅方程计算光线偏转方向；S3：在预设的物距上将所述数据集中的一张清晰图片设置为虚拟物面，对物面光线进行采样，得到初始光线，并传播进入虚拟光学系统，利用S2中建立的光线追迹模型，从入射点进行光线追迹，一直传播到探测器平面，得到仿真的含像差退化图像；S4：建立图像恢复神经网络，所述图像恢复神经网络的输入为仿真的含像差退化图像，输出为去除部分像差的图片；所述图像恢复神经网络整体为U型结构，包括下采样部分和上采样部分，以及连接所述下采样部分和上采样部分的全视场注意力模块；所述下采样部分和上采样部分均包括一个3×3卷积模块和四个全视场注意力模块，所述下采样部分和上采样部分的对应的全视场注意力模块之间进行跳跃连接，促进有效信息的传递；所述全视场注意力模块包括两部分，第一部分为五层，依次为LN层、1×1卷积层、3×3卷积层、激活函数ReLU和全维度动态卷积；第二部分为四层，依次为LN层、1×1卷积层、激活函数ReLU和全维度动态卷积层；所述全视场注意力模块的第一部分的输入和输出进行元素级别相加后，作为第二部分的输入；第二部分的输入和第二部分的输出进行元素级别相加后，作为整个全视场注意力模块的输出；所述全维度动态卷积层在任何卷积核内部采用并行策略，从位置、输入通道、滤波器、卷积核这四个维度来学习卷积核内部的注意力值，从而获得全维度的卷积核注意力值；S5：将步骤S3得到的仿真的含像差图片输入所述图像恢复神经网络中，构建损失函数，计算所述图像恢复神经网络输出的去除部分像差的图片与真实拍摄的清晰图片之间的误差，利用反向传播梯度下降，同时优化折衍混合光学结构的参数以及神经网络参数；S6：利用所述数据集中的全部真实拍摄的清晰图片，重复S3～S6，直到实现清晰成像，得到优化后的折衍混合光学结构和图像恢复神经网络，完成基于光线追迹的端到端折衍混合成像系统的设计。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于光线追迹的端到端折衍混合成像系统设计方法