买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:鼎富智能科技有限公司
申请日:2018-08-02
公开(公告)日:2022-09-30
公开(公告)号:CN109033085B
专利技术分类:...短语分析,例如有限状态技术或分块[2020.01]
专利摘要:本发明实施例公开一种中文分词系统及分词方法,该分词系统包括:分词算法单元,用于为用户提供至少两种中文分词系统所支持的分词算法;分词模型单元,用于为用户提供至少两种中文分词系统所支持的第一分词模型;处理单元,用于确定用户从分词算法单元中选择的分词算法和从分词模型单元中选择的第一分词模型的类型是否对应;在对应的情况下,利用用户选择的分词算法以及第一分词模型对中文文本进行分词;在不对应的情况下,利用用户选择的分词算法以及类型与分词算法具有对应关系的第一分词模型,对中文文本进行分词。该中文分词系统降低了使用和调优门槛,便于用户调整分词流程,适应不同应用场景下的分词需求。
专利权项:1.一种中文分词系统,其特征在于,包括:分词算法单元,用于为用户提供至少两种中文分词系统所支持的分词算法;分词模型单元,用于为用户提供至少两种中文分词系统所支持的第一分词模型,所述第一分词模型的类型与所述分词算法具有对应关系;分词模型构建单元,用于为用户提供中文分词系统所支持的至少一种初始分词模型;获取用户上传的第一分词标注语料;以及,利用所述第一分词标注语料训练用户选择的初始分词模型,得到第二分词模型;处理单元,用于确定用户从分词算法单元中选择的分词算法和从分词模型单元中选择的第一分词模型的类型是否对应;在对应的情况下,利用用户选择的分词算法,以及用户选择的第一分词模型对中文文本进行分词,得到分词结果;还用于确定用户从分词算法单元中选择的分词算法和所述第二分词模型的类型是否对应;在对应的情况下,利用用户从分词算法单元中选择的分词算法以及所述第二分词模型对中文文本进行分词,得到分词结果;在不对应的情况下,利用用户选择的分词算法,以及类型与所述分词算法具有对应关系的第一分词模型,对中文文本进行分词,得到分词结果;分词流程保存与评估单元,用于保存分词流程,所述分词流程包括用户从分词算法单元中选择的分词算法,以及类型与所述分词算法具有对应关系的第一分词模型或第二分词模型;获取第二分词标注语料;根据所述分词流程对所述第二分词标注语料进行分词,计算得到所述分词流程对应的第二准确率和或第二召回率,根据所述第二准确率和或所述第二召回率调整所述分词流程的参数。
百度查询: 鼎富智能科技有限公司 中文分词系统及中文文本的分词方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。