北京航空航天大学陈佳鑫获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学申请的专利一种时间步自适应的扩散模型训练后量化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119722506B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411769042.1,技术领域涉及:G06T5/70;该发明授权一种时间步自适应的扩散模型训练后量化方法是由陈佳鑫;黄浩程;郭晋阳;占瑞乙;王蕴红设计研发完成,并于2024-12-04向国家知识产权局提交的专利申请。
本一种时间步自适应的扩散模型训练后量化方法在说明书摘要公布了:本发明属于扩散模型量化领域,提出了一种时间步自适应的扩散模型训练后量化方法,包括:步骤S1:获取预训练完毕的全精度扩散模型,并确定采样器和采样策略;步骤S2:基于步骤S1得到的全精度扩散模型和所述采样器生成图像并采样,得到训练后量化的校验集;步骤S3:建立扩散模型,对扩散模型进行量化参数初始化;步骤S4:对所述扩散模型进行重建训练;步骤S5:对经过重建训练的扩散模型进行性能评估。本发明能够有效解决现有量化方法忽略通道间激活值范围差距、未考虑迭代推理特定对量化重建的影响以及量化后模型在低量化位宽下性能崩溃的问题,充分发挥时间步感知的训练后量化方法的优势,量化后的扩散模型具有更优的性能和鲁棒性。
本发明授权一种时间步自适应的扩散模型训练后量化方法在权利要求书中公布了:1.一种时间步自适应的扩散模型训练后量化方法,其特征在于,包括以下步骤: 步骤S1:获取预训练完毕的全精度扩散模型,并确定采样器和采样策略; 步骤S2:基于步骤S1得到的全精度扩散模型和所述采样器生成图像并采样,得到训练后量化的校验集; 步骤S3:建立量化扩散模型,针对该模型进行量化参数初始化; 步骤S4:对所述量化扩散模型进行重建训练; 步骤S5:对经过重建训练的量化扩散模型进行性能评估; 所述步骤S3具体包括: 对于卷积层,利用所述量化扩散模型在校验集上推理的结果得到所有中间层的输入激活值分布;在每个输入通道上计算所有激活值分布的最大值,并计算出重参数化系数,然后进行重参数化操作; 对于softmax层,统计所有自注意力层中的Softmax层之后的激活值分布,利用极大似然估计判断其是否具有幂律分布的性质,并以此选择均匀量化器或者对数量化器; 所述步骤S3中的重参数化系数的确定方式如下: a采用针对采样时间步进行分组的策略,以每个采样时间步作为中心进行均匀分组,在所有除softmax层以外的卷积层的每个时间步上均采用均匀量化器的设置,并单独设置量化参数; b针对各采样时间步,在每个输入通道上计算所有激活值分布的最大值,采用加权平均的方法计算重参数化系数; 所述步骤S4具体包括: 步骤S4-1:采用步骤S2得到的校验集对量化参数初始化后的量化扩散模型进行训练; 步骤S4-2:采用训练完毕的当前量化扩散模型和采集器生成新校验集; 步骤S4-3:采用所述新校验集对当前量化扩散模型进行训练; 步骤S4-4:判断当前量化扩散模型是否达到收敛条件,若是,则完成重建训练;若否,则返回步骤S4-2。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100191 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励