买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天翼云科技有限公司申请的专利一种基于openGemini实现变长文本的分词方法及分词器获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119862880B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411773021.7，技术领域涉及：G06F40/284；该发明授权一种基于openGemini实现变长文本的分词方法及分词器是由刘一飞设计研发完成，并于2024-12-04向国家知识产权局提交的专利申请。

本一种基于openGemini实现变长文本的分词方法及分词器在说明书摘要公布了：本申请提供了一种基于openGemini实现变长文本的分词方法及分词器，涉及文本分词技术领域，所述方法包括：在openGemini创建表时，为field指标字段创建文本索引；判断创建了文本索引的field指标字段是否存在可用的学习型分词器，若存在，则选择最新版本的学习型分词器，若不存，在则使用默认分词器并启动学习型分词器的学习；对插入到所述field指标字段的文本数据进行分词学习，构建带有频率信息的字典树，所述字典树的每个节点记录文本数据中词的出现频率；基于所述字典树生成变长分词器，并将所述变长分词器按照表名和field指标字段名的组合进行持久化存储；使用所述变长分词器对插入到field指标字段的新文本数据进行分词处理。

本发明授权一种基于openGemini实现变长文本的分词方法及分词器在权利要求书中公布了：1.一种基于openGemini实现变长文本的分词方法，其特征在于，所述方法包括： 步骤101，在openGemini创建表时，为field指标字段创建文本索引； 步骤102，判断创建了文本索引的field指标字段是否存在可用的学习型分词器，若存在，则选择最新版本的学习型分词器，若不存，在则使用默认分词器并启动学习型分词器的学习； 步骤103，对插入到所述field指标字段的文本数据进行分词学习，构建带有频率信息的字典树，所述字典树的每个节点记录文本数据中词的出现频率； 步骤104，基于所述字典树生成变长分词器，并将所述变长分词器按照表名和field指标字段名的组合进行持久化存储； 步骤105，使用所述变长分词器对插入到field指标字段的新文本数据进行分词处理，具体包括：从所述新文本数据的某条日志数据首位置开始，查找与所述字典树中匹配的最长子串，若未找到匹配的所述最长子串，则取当前位置开始的长度为1的子串作为分词结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天翼云科技有限公司，其通讯地址为：100007 北京市东城区青龙胡同甲1号、3号2幢2层205-32室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。