买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网湖南省电力有限公司信息通信分公司;国网湖南省电力有限公司;国家电网有限公司申请的专利Transformer模型轻量化方法及输电线路图像分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120910703B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511435042.2，技术领域涉及：G06F18/2415；该发明授权Transformer模型轻量化方法及输电线路图像分析方法是由陈毅波;黄鑫;周沿东;冯晓文;童一维;余琦;凌笑;刘晗;王康;祝视设计研发完成，并于2025-10-09向国家知识产权局提交的专利申请。

本Transformer模型轻量化方法及输电线路图像分析方法在说明书摘要公布了：本发明公开了一种Transformer模型轻量化方法及输电线路图像分析方法，包括获取目标Transformer模型；对目标Transformer模型进行敏感度分析；对目标Transformer模型进行剪枝策略的生成；对硬件环境进行建模并根据建模结果进行剪枝策略的优化；进行重要性评估并根据评估结果进行动态比特分配和联合优化，以完成目标Transformer模型的轻量化。本发明通过对目标Transformer模型进行多维度分析、建模和优化，不仅完成了目标Transformer模型的轻量化，而且可靠性更高，精确性更好，效果也更好。

本发明授权Transformer模型轻量化方法及输电线路图像分析方法在权利要求书中公布了：1.一种基于Transformer模型轻量化方法的输电线路图像分析方法，其特征在于包括如下步骤： 一.获取训练后的用于输电线路图像分析的Transformer模型； 二.将步骤一获取的Transformer模型作为目标Transformer模型，采用Transformer模型轻量化方法进行轻量化处理； 三.将步骤二得到的轻量化处理后的Transformer模型进行部署，以实现输电线路的图像分析； 其中，所述的Transformer模型轻量化方法，具体包括如下步骤： S1.获取目标Transformer模型； S2.基于模型层级敏感性分析、注意力头重要性分析和通道重要性分析，对目标Transformer模型进行敏感度分析； 其中，基于随机噪声方案，对目标Transformer模型的每一层进行敏感度分析，以评估对应层对目标Transformer模型的输出的影响程度；基于互信息和注意力图谱熵方案，对目标Transformer模型的每个注意力头进行重要性评估，以评估对应的注意力头对模型输出的贡献；基于L1范数，对目标Transformer模型的各个线性层的通道进行重要性评估； S3.基于设定的剪枝方案和敏感度分析方案，对目标Transformer模型进行剪枝策略的生成；包括如下步骤： 针对Transformer模型的注意力头、通道、Block和元素，生成若干种候选剪枝粒度方案； 针对目标Transformer模型中的每一个注意力头、通道、Block和元素，基于敏感度和效率，计算对应的敏感度-效率指标，并选定敏感度-效率指标最高的候选剪枝粒度方案作为对应的剪枝粒度方案； 针对目标Transformer模型中的每一个注意力头、通道、Block和元素，基于对应的敏感度值，计算得到对应的剪枝比例； 具体实施时，包括如下步骤： 候选剪枝粒度方案生成： 生成的候选剪枝粒度方案，包括注意力头级剪枝、通道级剪枝、Block级剪枝和元素级剪枝；其中，注意力头级剪枝用于直接移除整个注意力头；通道级剪枝用于移除整个通道；Block级剪枝用于移除包括若干个通道的Block；元素级剪枝用于根据Top-K策略，保留每个子行中最重要的K个元素，并移除剩余的所有元素； 剪枝粒度方案选定： 针对目标Transformer模型中的每一个注意力头、通道、Block和元素，采用如下算式计算对应的候选剪枝粒度方案的敏感度-效率指标： 式中为使用候选剪枝粒度方案g时的敏感度-效率指标；为使用候选剪枝 粒度方案g时的敏感度提升值；为使用候选剪枝粒度方案g时的计算效率提升值；为所有候选剪枝粒度方案中，敏感度提升值的最大值；为所有候选剪枝 粒度方案中，计算效率提升值的最大值；为设定的第四权重值；为设定的第五权重 值； 剪枝比例的确定： 采用如下算式计算得到剪枝比例： 式中为第i3部分的剪枝比例；为设定的基础剪枝比例；为归一化 后的第i3部分的敏感度； 考虑精度约束，通过二分搜索方案，得到满足设定精度要求的最大剪枝比例： 采用基于二分搜索的优化方法，以在特定的约束下确定最优的基础剪枝比例； 精度约束表示为： 式中为在设定的验证集上的准确率；为原始模型的准确率；设 定的下降阈值； 采用如下步骤获得最大剪枝比例： 1初始化搜索区间：设定的搜索范围：搜索下界为0，搜索上界为1； 2迭代搜索：在预设的迭代次数内，或者当上下界之差小于一个设定的极小值时，重复以下操作： a.计算区间中点作为候选基础剪枝比例为； b.将作为，代入剪枝比例公式，计算出模型各部分的剪枝比例； c.根据得到的，对模型进行剪枝，并对剪枝后的模型进行调整以恢复模型性能； d.在设定的验证集上计算调整后模型的准确率； e.若满足设定的精度约束，则更新搜索下界为；若 不满足设定的精度约束，则更新搜索上界为； 3确定最终比例：迭代搜索结束后，将得到的搜索下界作为最终的； S4.针对目标Transformer模型的运行硬件环境，对硬件环境进行建模，并根据建模结果进行剪枝策略的优化； S5.对目标Transformer模型的参数进行重要性评估，并根据评估结果进行动态比特分配和联合优化，以完成目标Transformer模型的轻量化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网湖南省电力有限公司信息通信分公司;国网湖南省电力有限公司;国家电网有限公司，其通讯地址为：410004 湖南省长沙市天心区新韶东路398号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。