买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种大模型的最优嵌入位置的快速搜索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119830957B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411895199.9，技术领域涉及：G06N3/0455；该发明授权一种大模型的最优嵌入位置的快速搜索方法是由黄双萍;杨帆;黄森设计研发完成，并于2024-12-21向国家知识产权局提交的专利申请。

本一种大模型的最优嵌入位置的快速搜索方法在说明书摘要公布了：本发明公开了一种大模型的最优嵌入位置的快速搜索方法，其特征在于，所述方法包括：选取任务的数据集的K个代表性样本，构建一个用于搜索最优嵌入位置的代表集，其中K不宜过大；将代表集所有样本，同时输入给多模态大模型MLLM，和特定任务的小模型，并引入特征融合模块，对MLLM的第i个Transformer模块的特征和小模型最终层的特征进行融合；冻结小模型的参数，对MLLM的所有参数进行k步的参数高效微调，其中k不宜过大；微调的每一步，对参数关于损失函数求梯度向量的二范数，得到k个梯度二范数，并对k个梯度二范数加权求和，得到适应度；更换随机数种子，重复第2到4步，进行P次重复实验，其中P不应过大也不应过小，取3到30次为宜；对i在1到T取值范围中做迭代，每步迭代重复2到5步，得到不同嵌入位置的平均适应度，最终选择平均适应度最大的i*作为最优嵌入位置，其中T为MLLM总层数。本发明提供的大模型的最优嵌入位置的快速搜索方法，具有搜索速度快，任务拓展性强的特点，特别适用于需要快速对大模型进行小模型知识融合的场景。

本发明授权一种大模型的最优嵌入位置的快速搜索方法在权利要求书中公布了：1.一种大模型的最优嵌入位置的快速搜索方法，其特征在于，所述方法包括： A选取任务的数据集的个代表性样本，构建一个用于搜索最优嵌入位置的代表集； B将代表集所有样本，同时输入给多模态大模型MLLM，和特定任务的小模型，并引入特征融合模块，对MLLM的第个Transformer模块的特征和小模型最终层的特征进行融合； C冻结小模型的参数，对MLLM的所有参数进行步的参数高效微调； D每一步的微调，对参数关于损失函数求梯度向量的二范数，得到个梯度二范数，并对个梯度二范数加权求和，得到适应度； E更换随机数种子，重复第B到D步，进行次重复实验； F对在1到取值范围中做迭代，每步迭代重复B到E步，得到不同嵌入位置的平均适应度，最终选择平均适应度最大的作为最优嵌入位置，其中为MLLM总层数； A1设I表示输入的表格图像，T表示对应的表格序列，使用图文特征提取器CLIP中的图像编码器ImageEncoder和文本编码器TextEncoder分别提取I和T的特征： ； A2将图像特征和文本特征组合成单个样本的表格特征表示： ； A3对整个数据集进行特征提取，得到矩阵，其中每一行是一个样本的表格特征表示： ； A4使用K-means聚类算法对特征矩阵进行聚类，得到个聚类中心： ； 将C中的所有中心作为个代表性样本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510000 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。