龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：复旦大学
摘要：本发明属于自然语言处理技术领域，具体为一种基于大语言模型的日志分析方法。本发明包括：使用网络爬虫技术从多个数据源自动收集日志问题相关的问答数据；使用ChatGPT扩充数据量；去除数据集中冗余的数据；将数据集分割为训练集和测试集；利用训练集对本地通用大语言模型进行微调；利用测试集对本地通用大语言模型进行评估；针对不同细分任务给出各自相对应的指标；利用待分析的新的日志数据进行评估，实现对新的日志数据的分析，得到分析结果与评估指标。本发明并简化了通用大语言模型应用到日志处理数据上的微调和部署过程，方便易用、准确性高，特别适用于需要处理大量日志数据的任务。
主权项：1.一种基于大语言模型的日志分析方法，其特征在于，具体步骤如下：1使用网络爬虫技术，从多个数据源自动收集日志问题相关的问答数据；2使用ChatGPT，利用收集到的问答数据以及日志语句的公开数据集，基于自聊天技术批量生成更多日志语句，用于扩充数据量；3去除数据集中冗余的数据：将过长的日志语句分解为多条较短的日志语句，并使用分词器将日志语句拆分为token序列；4将日志数据的公开数据集和由ChatGPT生成的数据集合并为一个统一的数据集，再分割为训练集和测试集；5输入拟用于微调的通用大语言模型名称，根据所输入的大语言模型名称自动从Huggingface和modelscope开源大模型平台上搜寻对应的大语言模型，若存在匹配的大语言模型，将这一模型下载到本地；6利用缓存路径下的训练集对本地的通用大语言模型进行微调；7利用缓存路径下的测试集对本地的通用大语言模型进行评估，针对不同细分任务给出各自相对应的指标，以便于进行比较；8利用待分析的新的日志数据进行评估，即实现对新的日志数据的分析，得到在这一批数据上的分析结果与评估指标。
全文数据：
权利要求：
百度查询： 复旦大学 一种基于大语言模型的日志分析方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号