Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜北京百车宝科技有限公司余文成获国家专利权

恭喜北京百车宝科技有限公司余文成获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜北京百车宝科技有限公司申请的专利多适配器微调的汽车问答方法、计算机设备和存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119537558B

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510093220.1,技术领域涉及:G06F16/3329;该发明授权多适配器微调的汽车问答方法、计算机设备和存储介质是由余文成设计研发完成,并于2025-01-21向国家知识产权局提交的专利申请。

多适配器微调的汽车问答方法、计算机设备和存储介质在说明书摘要公布了:本发明提供一种多适配器微调的汽车问答方法、计算机设备和存储介质,所述方法包括:基座大模型的建立和预训练;基于维修故障问题数据集对基座大模型进行微调得到维修故障适配器;基于用车问题数据集对基座大模型进行微调得到用车类问题适配器;基于通用领域问题数据集对基座大模型进行微调得到通用领域问题适配器;基于意图识别任务数据集对基座大模型进行微调得到意图识别适配器。本发明可以根据不同领域的问题进行分别微调,保证各领域的特异性,从而提高领域适配的精确度,确保一致的性能表现。本发明是对现有单一微调方法的重大改进,可以有效解决领域偏差问题。

本发明授权多适配器微调的汽车问答方法、计算机设备和存储介质在权利要求书中公布了:1.多适配器微调的汽车问答方法,其特征在于,采用基座大模型得到并运用维修故障适配器、用车类问题适配器、通用领域问题适配器和意图识别适配器后进行汽车问题的问答,包括步骤:S1、所述基座大模型的建立和预训练;S2、基于维修故障问题数据集对所述基座大模型进行微调得到所述维修故障适配器;S3、基于用车问题数据集对所述基座大模型进行微调得到所述用车类问题适配器;S4、基于通用领域问题数据集对所述基座大模型进行微调得到所述通用领域问题适配器;S5、基于意图识别任务数据集对所述基座大模型进行微调得到所述意图识别适配器;所述步骤S2至S5中的微调训练包括下列步骤:SS1、初始化参数:从预训练的所述基座大模型中初始化参数;SS2、低秩矩阵初始化:为低秩适配器模块初始化两个低秩矩阵A和B,其中,和,r≪d,其中, :表示所述低秩矩阵A是一个d行r列的矩阵, :表示所述低秩矩阵B是一个d行r列的矩阵,r≪d:表示r的值远小于d,r和d是不小于0的整数,采用高斯分布随机初始化所述低秩矩阵A和B: , ,其中,是标准差,为根据工况设置为一预设小值,i1和j1为整数,且1≤i1≤d及1≤j1≤r,SS3、输入数据:将处理后的数据输入到所述基座大模型中,使所述基座大模型对输入的所述数据进行特征提取;SS4、前向传播:计算得到LoRA调整后的输出结果,包括自注意力层、前馈神经网络层的神经网络的各个计算层通过对输入的所述数据的逐步处理进行特征提取来生成模型输出,即得到所述输出结果,同时,通过在各所述计算层的权重矩阵中添加低秩矩阵A和B的乘积对所述权重矩阵进行调整: ,上式中,是调整后的所述权重矩阵,W是初始权重矩阵,“·”代表矩阵点积,B’是B的转置矩阵,所述输出结果满足: ,上式中,f为一个映射函数,x是输入特征,f的具体形式根据任务需求而有所不同,具体由技术人员根据工况确定;SS5、计算交叉熵损失,根据所述输出结果和真实标签计算交叉熵损失函数: ,上式中,表示交叉熵损失函数,N是样本数量,C是类别即适配器的类型数量,是第i个样本的第j类的真实标签,是第i个样本的第j类的预测概率,i和j为整数,logX是以10为底的X的对数;SS6、通过反向传播算法计算损失函数相对于所述权重矩阵的任一元素Wθ的梯度,并分别更新所述低秩矩阵A和B的元素, ,上式中,是损失函数相对于所述权重矩阵的任一元素Wθ的梯度,对于所述低秩矩阵A的任一元素Aθ和所述低秩矩阵B的任一元素Bθ,使用优化计算方法Adam进行更新,SS7、迭代训练:重复所述步骤SS4至SS6,直到所述基座大模型在验证集上的性能达到预期标准。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京百车宝科技有限公司,其通讯地址为:100000 北京市海淀区海淀苏州街18号院-2楼16层1607;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。