大连理工大学马艳华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利一种基于量化蒸馏的水下目标识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116524341B 。
龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310426376.8,技术领域涉及:G06V20/05;该发明授权一种基于量化蒸馏的水下目标识别方法是由马艳华;刘鹏鹏;刘宇昊设计研发完成,并于2023-04-20向国家知识产权局提交的专利申请。
本一种基于量化蒸馏的水下目标识别方法在说明书摘要公布了:本发明属于水下目标识别技术领域,公开了一种基于量化蒸馏的水下目标识别方法。提出多教师知识蒸馏结构,通过构建一个轻量化的小模型学生网络,利用多个性能更好的大模型教师网络的监督信息,来训练这个小模型,以达到更好性能和精度。学生网络和教师网络精度和性能相近,学生网络在水下识别的准确度上得到提升,但是学生网络模型大小要比教师网络小的多,方便硬件部署;将学生网络中的权重参数从浮点数量化成整数,方便在硬件FPGA上加速运算。蒸馏后得到的学生网络通过量化和硬件加速后,使得学生网络在水下识别的速度上得到提升。因此本发明提出的方法,使得神经网络在水下识别的准确性和实时性上得到提升,大大提高了水下识别的能力。
本发明授权一种基于量化蒸馏的水下目标识别方法在权利要求书中公布了:1.一种基于量化蒸馏的水下目标识别方法,其特征在于,包括以下步骤:步骤1、获取海底生物图像数据样本,构建样本数据集;样本数据集以比例随机形成训练数据集和测试数据集;步骤2、在训练数据集上实施基于样本复制的数据增广方法,获得数据增广后的训练数据集;步骤3、输入数据增广后的训练数据集至Resnet50网络,预训练多个Resnet50网络作为教师网络;步骤4、基于多教师知识蒸馏方法对教师网络进行压缩,得到学生网络;学生网络结构和教师网络结构相同;学生网络采用卷积神经网络Resnet18,卷积神经网络Resnet18中包括17个卷积层和一个全连接层;步骤5、将蒸馏压缩后的学生网络进行量化并部署在FPGA上:步骤5.1:设待量化参数的最大值和最小值分别设置为xmax、xmin,量化后参数的最大值和最小值分别设为qmax、qmin,并采用非对称量化方法,量化区间设为[0,255];步骤5.2:计算量化比例因子B和零点O,公式分别为: 其中,round·表示返回括号内浮点数的四舍五入值;步骤5.3:量化浮点参数,量化公式为:r=Bq-O 其中,r表示浮点实数,q表示量化后的定点整数;round·含义同上;步骤5.4:在计算学生网络的过程中,学生网络的卷积层和全连接层的运算归结为矩阵乘法运算;将一个浮点矩阵转换为一个定点矩阵的步骤如下;步骤5.4.1:集合m1和m2是学生网络中间层两个浮点权重矩阵,大小均为N×N;矩阵m3是m1m2相乘的结果;m3中各元素计算公式为: 其中,i,r,k分别为对应矩阵的行数和列数;步骤5.4.2:由步骤5.3和5.4.1中公式整理所得: 其中B1、O1是m1矩阵对应的比例因子和零点,B2、O2是m2矩阵对应的比例因子和零点;B3、O3是m3矩阵对应的比例因子和零点;步骤5.4.3:量化矩阵q3中各元素为: 步骤5.4.4:将步骤5.4.3中的转换成定点运算为: 其中,M0为实数,n,M0的值是根据M、P的初始值和优化算法来选取最优的n,M0,使得MP=2-nM0P成立;步骤5.4.5:量化矩阵q3中各元素经过优化计算为: 步骤5.5:在步骤4中,蒸馏压缩后的学生网络表示为:H=x,y;x为学生网络的输入矩阵,q为学生网络的输出矩阵;计算卷积层和全连接层中的矩阵乘法为: 其中,a1是学生网络卷积层的特征图矩阵,w1为学生网络卷积层的权重参数矩阵,x为学生网络卷积层的输入矩阵;a2是学生网络全连接层的输入矩阵,w2为学生网络全连接层的权重参数矩阵,q为学生网络全连接层的特征图矩阵;b1、b2为偏置参数矩阵;步骤5.6:根据步骤5.4、步骤5.5中的公式,学生网络中的卷积层和全连接层的量化计算分别为: 其中,a1、x、w1含义同上;qa1、qx、是a1、x、w1的量化矩阵;Ox、是矩阵x、w1、a1的零点矩阵;q、a2、w2含义同上;qq、qa2、是q、a2、w2的量化矩阵;Oq是矩阵a2、w2、q的零点矩阵;b1、b2为偏置参数矩阵,和是b1和b2的量化矩阵值;f代表学生网络的输出;Ma1、Ma2和步骤5.4.4中获得M0方法相同;步骤5.7:在学生网络激活层中,激活函数为: 其中,a2为学生网络激活层的特征图矩阵,a1为学生网络激活层的输入矩阵,qa1、qa2是a1、a2的量化矩阵,是矩阵a1的零点矩阵;max·函数表示比较激活层的输入量化矩阵和零点矩阵的值,返回两个矩阵所对应位置中大的值;步骤5.8:通过步骤5.6,步骤5.7的计算,得到全精度的学生网络,整个学生网络完成了量化,最后将学生网络部署在FPGA上,实现硬件加速计算;步骤6、将蒸馏量化后的学生网络更新为新的目标检测网络,将图像实时输入到更新后目标检测网络中,实现实时的水下目标识别。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。