买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明提供一种快速量化视觉自注意力模型的方法，涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略，将激活值的量化误差减少问题建模为岭回归，通过解析解得到权重的调整值；同时，本发明提出模型权重量化误差减少策略，通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系，可以快速确定与激活值、权重适配的量化参数，得到量化模型，极大提升量化模型的性能表现。

主权项：1.一种快速量化视觉自注意力模型的方法，用于图像分类、目标检测或实例分割，其特征在于，包括以下步骤：步骤一、获取图像分类、目标检测或实例分割的待处理目标；步骤二、采用快速量化视觉自注意力模型对图像分类、目标检测或实例分割的待处理目标进行处理，得到图像分类结果、目标检测结果或实例分割结果；所述快速量化视觉自注意力模型的构建如下：步骤1、基于激活值量化误差减少策略，将激活值的量化误差减少问题构建为岭回归模型，通过解析岭回归模型得到权重的调整值；步骤2、基于权重量化误差减少策略，通过重置舍入方式得到部分权重的量化参数、通过岭回归建模的方式确定剩余权重的调整值；步骤3、循环执行步骤2，直到所有权重都被量化；所述步骤1具体如下：使用激活值量化误差减少策略，权重记为，激活值为，对激活值的量化视为扰动，故量化误差记作为： ；对此，将权重上加入扰动，建立岭回归模型： ；其中，是控制正则化强度的超参数，表示量化之后的激活值，表示求期望操作；对上述岭回归模型进行求解使最小，可以得到扰动，即权重的调整值的大小为： ；其中，表示对量化之后的激活值进行转置；表示单位矩阵；所述步骤2具体如下：使用权重量化误差减少策略，针对权重W的量化，视作添加了相关的扰动即权重的量化误差，此时产生的量化误差为： ；上式将输出通道的第i个通道的权重分成两个部分和，其中，表示权重的输出维度；表示量化带来的误差扰动；表示进行量化的权重，表示全精度的权重；相应地，对应的激活值分成和，此时，第i个通道的量化误差为： ；其中，表示量化带来的误差扰动；首先，使用四舍五入的策略对量化误差扰动进行舍入操作，再将舍入操作反置，操作如下： ；其中，表示第i个通道第j列的误差扰动，表示对进行向下取整，表示对进行向上取整；S是一个集合，里面的元素包含对其梯度方向和扰动方向相同的元素；接下来，通过调整全精度的权重，使得下述量化误差项最小： ；其中，表示的是控制正则化强度的超参数，表示的是让量化误差项最小的的扰动；求解上述岭回归模型，得到的大小如下： ； 表示的转置，表示第n个校准数据量化后的激活值；使用和来获得上述公式中的和的值，其中，n表示第n个校准数据，N表示第N个校准数据，为校准集大小；进而得到剩余权重的调整值。

全文数据：

权利要求：

百度查询： 厦门大学 一种快速量化视觉自注意力模型的方法