买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浪潮软件集团有限公司申请的专利基于国产CPU和OS的LLM应用开发平台资源计算方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120429126B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510926470.9，技术领域涉及：G06F9/50；该发明授权基于国产CPU和OS的LLM应用开发平台资源计算方法是由朱相宇;朱家兵;李超;孙元田设计研发完成，并于2025-07-07向国家知识产权局提交的专利申请。

本基于国产CPU和OS的LLM应用开发平台资源计算方法在说明书摘要公布了：本发明公开了基于国产CPU和OS的LLM应用开发平台资源计算方法，属于大模型分析技术领域，该方法的实现包括：国产CPU和OS的选择：选择适用于具体模型规模和用户性能需求的硬件配置，在控制成本的前提下能够平稳运行需要规模的模型；LLM应用开发平台部署：LLM应用开发平台包括前端操作平台、请求分发平台及插件调用平台，用于快速集成调用大模型；大模型分布式容器部署：初始化多个大模型容器，用于接收并发的请求；负载均衡配置：将多个大模型容器配置到nginx中，均衡分配每个大模型容器的负载。本发明能够高效利用大模型计算资源，实现在国产CPU和OS的应用下提高大模型资源分配利用。

本发明授权基于国产CPU和OS的LLM应用开发平台资源计算方法在权利要求书中公布了：1.基于国产CPU和OS的LLM应用开发平台资源计算方法，其特征在于，该方法的实现包括： 国产CPU和OS的选择：选择适用于具体模型规模和用户性能需求的硬件配置，在控制成本的前提下能够平稳运行需要规模的模型； LLM应用开发平台部署：LLM应用开发平台包括前端操作平台、请求分发平台及插件调用平台，用于快速集成调用大模型； 大模型分布式容器部署：初始化多个大模型容器，用于接收并发的请求； 负载均衡配置：将多个大模型容器配置到nginx中，均衡分配每个大模型容器的负载；负载均衡配置用于将输入的请求进行转载和分发，获取单一用户请求，将请求发送给大模型调用API，并将结果返回给请求端； 知识库获取单元，定制知识库内容来配合大模型的调用，以避免无效计算占用系统资源； 平台监控与告警单元，用于监控机器性能及接口存活状态，以保障系统平稳运行的同时提高大模型的资源利用上限； 大模型资源回收单元，用于及时回收大模型计算资源占用，以避免大模型后台继续计算； 所述LLM应用开发平台部署，包括确定平台工具的使用，在机器上使用容器安装部署LLM应用开发平台，包括前端页面平台，请求转发平台，插件调用平台3大容器模块，平台操作开启对话请求和终止对话请求；所述平台中嵌入大模型进行语言分析和信息反馈，根据系统中不同种类的大模型安装对应大模型插件，在保证大模型继续占用资源的同时流式输出返回的结果； 所述大模型分布式容器部署，控制多个大模型的独特部署方式，在板卡性能受限时使用单一容器部署，或配置多台设备；适配一个或多个应用平台来提高使用性能，基于系统性能控制，进行大模型的启停控制及参数控制；具体实现如下： 每个大模型分布在单一容器上，将初始化好的大模型缓存入使用队列进行大模型的控制，针对当前模型量级和板卡的最大性能来开放模型数量，使的初始化后的多个模型占用的显存不超过板卡显存的上限，在基于当前已有的硬件条件下多模型、多进程、分批次的管理大模型的运行和计算，通过请求的分发来进行大模型的调用； 所述负载均衡配置， 对LLM应用开发平台开放的API接口进行请求访问的转载，部署nginx服务来做负载均衡，nginx的部署针对大模型多容器分布式部署的方式修改对应配置文件，根据不同容器提供出的访问域名，在nginx配置文件中添加多个转载请求，通过nginx的负载均衡合理分配请求资源，可选择轮循请求访问接口，或选择根据当前请求负载来均匀分配请求接口，完成大模型的轮循调用； 所述知识库获取单元，对基础数据进行补充说明，丰富知识检索仓库，落地有效数据，给需要检索的数据添加有效标签，对应业务进行分类；具体实现包括： 知识库的获取，知识库数据可来源于特定项目给予的数据集，提供基础的知识检索，或使用爬虫检索业务相关官方网站的最新内容来获取最新权威消息，进行知识库的更新； 知识库的分类，根据知识库内容的不同或者是使用方式的区分，对知识库进行分类使用，以配合大模型进行最大精度的检索；设计知识库自动分类工具，结合知识库获取工具根据分类条件进行数据的落地，数据入库后人工测试知识库使用精度来维护知识库的更新迭代，动态绑定大模型和知识库的使用来提高检索精度，满足用户需求的同时避免用户重复检索来浪费机器的性能资源。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮软件集团有限公司，其通讯地址为：250000 山东省济南市高新区浪潮路1036号S02楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。