买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜齐鲁工业大学(山东省科学院);山东省人工智能研究院申请的专利一种改进TinyLlama模型准确率的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119204109B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411699214.2，技术领域涉及：G06N3/0455；该发明授权一种改进TinyLlama模型准确率的方法是由李志慧;苗继浦;吴泞宇;贺劲;石明;蔡立林;乔一梁;陈文娜设计研发完成，并于2024-11-26向国家知识产权局提交的专利申请。

本一种改进TinyLlama模型准确率的方法在说明书摘要公布了：本发明涉及自然语言处理技术领域，尤其是提供了一种改进TinyLlama模型准确率的方法。该方法包括获取对话数据集S，对数据集S进行数据预处理，得到预处理后的对话数据集I；构建改进的TinyLlama网络结构，改进的TinyLlama网络结构包括：输入层，改进的Transformer编码器，输出层，将所述预处理后的对话数据集I中的第i条数Ii输入到改进的TinyLlama网络结构，得到输出文本，该方法加强了模型在低算力的条件下，对长文本和上下文语义的理解能力，提升了模型回复的准确率。

本发明授权一种改进TinyLlama模型准确率的方法在权利要求书中公布了：1.一种改进TinyLlama模型准确率的方法，其特征在于，所述方法包括：步骤1、获取对话数据集，表示对话数据集S中的第i条数据，，对数据集S进行数据预处理，得到预处理后的对话数据集；步骤2、构建改进的TinyLlama网络结构，所述改进的TinyLlama网络结构包括：输入层，改进的Transformer编码器，输出层，将所述预处理后的对话数据集I中的第i条数输入到改进的TinyLlama网络结构，得到输出文本；所述步骤2包括：步骤21、通过对话数据集S中的第i条数据输入到输入层，得到一个实数向量logger；其中输入层包括四个阶段，依次为：序列化，索引化，嵌入和位置编码；步骤22、将实数向量logger经过编码器得到隐藏状态序列X；其中编码器包括第一阶段至第十阶段，每个阶段均包括改进的Attention模块和Forword模块，每个阶段的模块和参数完全一致，后一阶段的输入为前一阶段的输出；改进的Attention模块包括连续的五部分，依次为：均方根归一化函数，全连接层，改进的注意力机制，SoftMax激活函数和全连接层，Forword模块包括两个连续的部分，依次为：均方根归一化函数和全连接层；步骤23、将隐藏序列X输入到输出层，用于生成下一个词的概率分布；其中输出层包括均方根归一化函数、全连接层、SoftMax激活函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院);山东省人工智能研究院，其通讯地址为：250353 山东省济南市长清区西部新城大学科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。