买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种协同大模型和推荐小模型计算的方法及系统。本发明的方法通过设计端云协同的推荐模型框架,由基于云的大型模型利用历史数据生成候选列表和初始排名,在端侧设备上的小型模型使用最新的用户数据动态重新排列此列表。协同决策请求通过评估大型模型的初始排名和小型模型的后续重新排名之间的一致性来评估调用大型模型的需要。将大语言模型的特征提取能力与小型推荐模型的便利性结合起来,增强了大语言模型在设备上的实用性和准确性。
主权项:1.一种协同大模型和推荐小模型计算的方法,其特征在于,用于向用户进行商品的个性化推荐,包括以下步骤:S1、在云侧使用用户历史行为数据集分别对大语言模型和序列推荐模型进行预训练,得到具备单独的推荐能力的预训练大语言模型和预训练序列推荐模型;其中,所述用户历史行为数据集由用户历史行为数据以及用户历史行为数据的真实标签构成,每个用户历史行为数据包含用户ID、商品ID以及用户的历史点击序列;S2、在云侧对S1中得到的预训练大语言模型和预训练序列推荐模型进行协同训练,在协同训练中,固定预训练大语言模型的参数,云侧协同训练后获得优化后的序列推荐模型;S3、将所述预训练大语言模型部署在云侧设备上,将优化后的序列推荐模型部署在端侧设备上,端侧在用户实时行为数据集上对优化后的序列推荐模型进行重训练,得到重训练好的序列推荐模型;S4、云侧将待预测的用户实时行为数据输入到所述预训练大语言模型中,输出初始排名结果以及初始候选列表,云侧将初始排名结果和初始候选列表下发至端侧,端侧将初始候选列表输入到重训练好的序列推荐模型中,按照用户交互概率的大小对初始候选列表进行重新排名,端侧得到重新排名结果以及与重新排名结果对应的商品ID排序列表,端侧将归一化后的初始排名结果和归一化后的重新排名结果合并,得到最终排名结果;S5.端侧按照索引序号将初始候选列表和商品ID排序列表相减,由相减结果的绝对值计算不一致性分数,若不一致性分数大于预设的不一致性阈值,则由端侧向云侧上传最新的用户实时行为数据,由云侧预训练大语言模型对最新的用户实时行为数据进行处理,云侧输出新的初始排名结果以及新的初始候选列表并下发至端侧,由端侧重训练好的序列推荐模型输出新的最终排名结果;若不一致性分数小于等于预设的不一致性阈值,则由端侧直接输出最终排名结果。
全文数据:
权利要求:
百度查询: 上海浙江大学高等研究院 浙江大学 一种协同大模型和推荐小模型计算的方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。