买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜安徽大学申请的专利一种面向Grounding DINO的量化推理加速方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119443167B 。

龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510032308.2，技术领域涉及：G06N3/0495；该发明授权一种面向Grounding DINO的量化推理加速方法及系统是由赵姝;周峰;钱付兰;陈洁;段震设计研发完成，并于2025-01-09向国家知识产权局提交的专利申请。

本一种面向Grounding DINO的量化推理加速方法及系统在说明书摘要公布了：本发明提供了一种面向GroundingDINO的量化推理加速方法及系统，属于计算机网络信息技术领域，方法包括：将待量化GroundingDINO模型中Linear层替换为W4Linear层，并获取待量化GroundingDINO模型的权重和权重矩阵的形状；根据权重矩阵的形状动态调整分组大小，基于分组大小对权重进行量化；对量化后的权重进行压缩，将待检测数据输入量化压缩后的GroundingDINO模型，模型基于W4A32行乘行去量化矩阵乘法推理出结果；解决GroundingDINO模型在资源受限的设备上部署时不能使用仅权重分组量化的问题，以及模型无法直接应用低位矩阵乘法内核的问题。

本发明授权一种面向Grounding DINO的量化推理加速方法及系统在权利要求书中公布了：1.一种面向GroundingDINO的量化推理加速方法，GroundingDINO是基于Transformer的开放集目标检测模型，用于在图片中检测人类语言输入指定的任意对象，其特征在于：方法包括：S1、将待量化GroundingDINO模型中Linear层替换为W4Linear层，并获取待量化GroundingDINO模型的权重和权重矩阵的形状；包括：S1.1、输入待量化GroundingDINO模型和前缀字符串；S1.2、遍历待量化GroundingDINO模型中所有子模块，并为每个子模块构建一个全名；S1.3、判断每个子模块是否为可替换的Linear层，若是，则记录该子模块的权重矩阵的形状，若否，返回S1.2；S2、根据权重矩阵的形状动态调整分组大小，基于分组大小对权重进行量化，得到量化后的权重；S3、对量化后的权重进行压缩，得到量化压缩后的GroundingDINO模型；对量化后的权重进行压缩采用位移操作，主要采用位移操作将4个量化后的权重值压缩为一个16位整数值，将第一个量化后的权重值放置在uint16的最高4位，再将第二个量化后的权重值左移8位后放置在uint16的下一个4位的位置，以此类推，直到所有4个量化后的权重值都被放置在一个uint16值中；S4、将待检测数据输入量化压缩后的GroundingDINO模型，模型基于W4A32行乘行去量化矩阵乘法推理出结果；包括：S4.1、将激活矩阵AM，K分块得到分块矩阵A11、A12、A21、A22，将权重矩阵BM，K4分块得到分块矩阵B11、B12、B21、B22，并将各个分块矩阵从全局内存逐个加载到共享内存得到激活矩阵smemA和权重矩阵smemB；S4.2、对在共享内存中的权重矩阵smemB进行解压缩和去量化操作，将得到的结果通过float4数据类型加载到寄存器中，并将在共享内存中的激活矩阵smemA通过float4数据类型加载到寄存器中；S4.3、采用行乘行矩阵乘法计算得到结果矩阵C，并将结果矩阵C的元素写回到全局内存，结果矩阵C为： 。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽大学，其通讯地址为：230601 安徽省合肥市经济技术开发区九龙路111号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。