买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广西师范大学申请的专利一种基于Q-former转换器的联邦预训练学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116912626B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310929111.X，技术领域涉及：G06V10/774；该发明授权一种基于Q-former转换器的联邦预训练学习方法是由刘鹏;甘汕玉;李东城;卢鹏;曾雪莹设计研发完成，并于2023-07-27向国家知识产权局提交的专利申请。

本一种基于Q-former转换器的联邦预训练学习方法在说明书摘要公布了：本发明公开了一种基于Q‑former转换器的联邦预训练学习方法，包括如下步骤：1服务器将LLM、初始化LORA和Q‑former下发给客户端；2客户端接收到服务器发来的信息后将自己的数据集Di中的图像经过图像编码器之后和对应的文本作为Q‑former的输入，Q‑former对经过图像编码器后的图像和对应的文本进行训练；3服务器对每个本地Q‑former进行平均得到全局WQ‑formerg；4固定Q‑former参数，客户端使用全局WQ‑formerg和图文数据集得到视觉表征作为微调大模型的输入；5服务器平均成全局LORA参数：WLORAg。这种方法可以帮助模型在不同参与方的数据分布下保持准确性，提高对图片的检索和检测能力。

本发明授权一种基于Q-former转换器的联邦预训练学习方法在权利要求书中公布了：1.一种基于Q-former转换器的联邦预训练学习方法，其特征在于，包括如下步骤： 假设有M个客户端1,2，…，M，其中i作为下标，每个客户端都有一个本地的数据集Di，每个客户端有本地WQ-formern，同时服务器有一个全局Q-former：WQ-formerg；客户端拥有本地LORA参数：WLORAi，服务器拥有全局的LORA参数：WLORAg； 1服务器将LLM、初始化LORA和Q-former下发给客户端； 2客户端接收到服务器发来的信息后将自己的数据集Di中的图像经过图像编码器之后和对应的文本作为Q-former的输入，Q-former对经过图像编码器后的图像和对应的文本进行训练，首先得出一个视觉表示和文本表示，然后使用图像文本对比学习即ITC、基于图像文本生成即ITG、图文匹配即ITM三个训练任务来控制视觉序列信息和文本标识的交互： 在ITG中对齐图像表征与文本表征，通过比较成对与非成对的图像-文本相似度实现；计算过程是通过imagetransformer输出一个与可学习query长度相同的query表征Z，和通过texttransformer输出文本表征t的token相似性，选取最大值作为图像文本对相似度，同时使用带有mask的self-attention来进行学习，让query与text不能互相可见，防止从文本直接学习； 在ITC中，根据输入图像训练Q-Former生成文本，且不允许图像编码器与文本特征直接交互，文本生成所需信息通过query进行提取，通过自注意力机制进行传递到文本标识中，因此query需要捕获和文本相关的所有信息，使用mask的自注意力机制避免文本序列和图像序列进行交互，文本标识对图像序列query不可见，但是文本标识可获取所有图像表征序列query及其之前的文本标识； 在ITM中，为了学习精细化图像文本匹配，所有图像表征序列query与文本标识相互可见，因此输出的视觉序列能捕获多模态信息，通过二类线性分类器获取logit，logit均值为匹配得分，同时ITM还对困难的负样本对进行挖掘，通过对比相似度寻找批次内的困难负样本，对于一个批次中的每一幅图像，从对比相似性分布相同的批次中抽取一个负文本，其中与图像更相似的文本有更高的能被采样； 得到的本地Q-former参数：WQ-formeri＝{WK,WQ,WV}； 3服务器对每个本地Q-former进行平均得到全局WQ-formerg： 4固定Q-former参数，客户端使用全局WQ-formerg和图文数据集得到视觉表征作为微调大模型的输入，结合LORA算法，分别采用两种形式的LLM模型：①采用GPT形式：固定解码器，加入一个旁路进行微调得到一个本地LORA参数：WLORAi；②采用transformer形式：在Attention加入一个旁路，不动MLP模式进行LORA微调，得到本地LORA参数：WLORAi，然后传递给服务器； 其中LORA训练的过程为： 固定住预训练的权重矩阵参数，然后在LLM权重矩阵旁边加一个分支，这个分支做的是一个降维再升维的操作，训练的时候只训练降维矩阵A与升维矩阵B，而模型的输入输出维度不变，输出时将BA与PLM的参数叠加，客户端在传递的时候只需要传递BA的结果即可； 预训练的矩阵为W0∈Rd×r，它的更新表示为： W0+ΔW＝W0+BA，B∈Rd×r,A∈Rr×k， 其中秩rmind,k； 对于h＝W0x的前向计算变为： h＝W0x+ΔWx＝W0x+BAx＝W0+BAx 客户端在传输参数的时候只传递LORA的参数ΔW，即： WLORAi＝ΔW＝BiAi 5服务器平均成全局LORA参数：WLORAg 将WLORAg下发给客户端，训练结束。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广西师范大学，其通讯地址为：541004 广西壮族自治区桂林市七星区育才路15号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。