买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川奇焓科技有限公司

摘要：本发明公开了一种人工智能与知识图谱的电动列车装备检修实训考评系统，用以解决现在电动列车装备检修实训考评过程中考试资源馈乏的问题，该系统组成包括；感应点摄像头；GPU服务器集群；数据库服务器集群，应用服务器集群；大屏展示设备。本发明核心功能单元包括：智能模型单元、电动列车检修知识图谱单元、检修规则引擎单元和三维仿真单元。本发明实施时还包括电动列车装备实训检修仓。本发明解决由于教员在考评过程的主观性与考评经验不足导致评分不够客观的问题，解决线下检修实训考试与线上教学过程无法有机融合的问题，解决无法有效的对检修实训考试过程进行数字化模拟与记录的问题。

主权项：1.一种基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；该系统组成包括；感应点摄像头：该感应点摄像头包括头戴式无线摄像头、实训检修仓顶部区域感应点摄像头、实训检修仓操作台区域感应点摄像头和工具台感应点摄像头，这些摄像头负责对学员的检修实训操作过程进行视频采集，并将采集到的视频数据发送给GPU服务器集群；GPU服务器集群：该GPU服务器集群中包含了多台GPU服务器，每台GPU服务器安装有多张GPU显卡，所述GPU服务器集群中安装部署智能模型单元，每台GPU服务器负责处理对应的几路视频数据，并将智能模型识别的结果发送给应用服务器；数据库服务器集群：该数据库服务器集群包括多台应用服务器，所述数据库服务器集群中部署安装电动列车检修知识图谱单元；每台应用服务器分别负责存储列车检修知识图谱数据、列车检修规则数据和应用数据，应用服务器集群：该应用服务器集群部署安装检修规则引擎单元，该应用服务器集群中包含了多台应用服务器，每台应用服务器分别部署了检修规则引擎服务、检修规则管理服务、基础参数管理服务、感应点管理服务、3D模型管理服务和三维仿真可视化服务，所有的应用服务都通过微服务的方式进行部署、管理和调度，由其是检修规则引擎服务负责接收智能模型服务发送过来的识别结果，并从数据库服务器上获取应用数据和图数据，然后通过检修规则对学员的检修实训操作进行评分，同时将智能模型识别到的结果进行三维重建，并在可视化大屏上进行展示；大屏展示设备：该大屏展示设备负责对应用服务器重建后的3D模型和操作动画进行展示，方便教员和其它学员进行观看和学习；所述智能模型单元，包含四个智能模型，分别为工器具检测与识别模型、工器具实例分割模型、仪器仪表读数识别模型和检修动作识别模型，这些智能模型负责对摄像头采集到的视频流数据进行智能识别，并在识别完成后分别将工器具和检修动作的识别结果转换成对应的工器具指令和检修动作指令，随后将上述工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎；所述工器具检测与识别模型，用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行检测和识别；工器具检测与识别模型是通过目标检测与识别算法对标注好的工器具数据集进行迭代训练而来，该目标检测与识别算法使用了一种基于像素级预测的单阶段全卷积检测网络，其网络结构包括主干网络、特征金字塔网络和检测器，检测器又包含三个分支，分别为分类预测分支、中心度预测分支和回归预测分支；对应的工作过程分为如下几个步骤：步骤1.1：对输入的图像进行RGB图转灰度图、尺寸缩放和图像数据转张量预处理操作；步骤1.2：将步骤1.1得到张量数据送入主干网络得到输入数据的五种不同尺度的特征映射；步骤1.3：将步骤1.2得到的特征映射送入下一步的特征金字塔网络，并在特征映射的每一个像素点上使用预先定义好的锚框进行回归预测；步骤1.4：通过二值交叉熵损失来计算步骤1.3得到的每个一预测边界框的中心度，并通过中心度乘以相应的分类分数来计算预测边界框的置信度；步骤1.5：最后通过非极大值抑制过滤掉步骤1.4得到的低质量边界框，并按置信度进行排序得到目标对象最终的边界框与分类类别；所述工器具实例分割模型，用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行实例分割，工器具实例分割的结果用来计算工器具之间的交并比，检修规则引擎需要同时结合检修动作的识别结果和工器具之间的交并比来判断检修动作是否合规；工器具实例分割模型是通过实例分割算法对标注好的工器具数据集进行迭代训练而来，该实例分割算法由一个检测模块和一个混合掩模模块构成；检测模块用来预测实例对象的边界框坐标与分类类别，混合掩模模块包含三个部分，一个用来生成掩膜的底部模块，一个用来生成顶层注意力的顶部模块，以及一个将掩膜和注意力融合起来的混合模块；各个模块的具体作用如下：检测模块：检测模块与智能模型一的网络结构和工作过程相同，负责对输入图像中实例对象的边界框和分类类别进行预测，并为底部模块和顶部模块提供特征输入；顶部模块：通过检测模块得到每个实例对象的边界框提议，再经过一个卷积操作得到顶层注意力；底部模块：底部模块以检测模块中主干网络和特征金字塔的特征映射为输入，分别通过上采样、连接和卷积操作得到整张图的K个掩膜；混合模块：混合模块以实例候选边界框、顶层注意力和整张图的K个掩膜为输入，分别对这K个掩膜进行裁剪、缩放和对齐，对顶层注意力进行插值并经过Softmax归一化后得到一组得分图，最后将得分图和处理完的K个掩膜相乘，并按通道相加得到最终的掩膜；所述仪器仪表读数识别模型，以工器具检测与识别模型的结果为输入，从图像中剪切出仪器仪表所在区域，并对仪器仪表上所显示的测量数据进行识别；仪器仪表读数识别模型是通过光学字符识别算法对标注好的仪器仪表读数数据集和光学字符数据集进行迭代训练而来，该光学字符识别算法使用了一种多任务并行的全卷积点聚集网络，支持实时的对任意形状的文本进行检测和识别；对应的工作过程分为如下几个步骤：步骤2.1：使用角点检测和霍夫变换对图像进行校正；步骤2.2：将步骤2.1得到的图像送入带有特征金字塔网络的主干网络，得到14下采样的特征映射；步骤2.3：使用全卷积网络对步骤2.2得到的特征映射进行多任务并行学习，分别得到文字区域的四种模态的特征信息，包括文本中心线、文本边缘偏移量、文本方向偏移量和文本字符分类图；步骤2.4：使用步骤2.3得到的文本中心线和文本方向偏移量按照文本的阅读顺序提取文字中心点序列，再通过文本边缘偏移量计算得到文本的边界框；步骤2.5：使用步骤2.3得到的文本中心线和文本方向偏移量在文本字符分类图上进行上采样，将采样点拼接成固定长度的序列后，再使用联结主义时间分类损失函数进行训练，得到的字符分类概率序列，并将其解码为最终的文字识别结果；所述检修动作识别模型，用于对学员检修实训操作过程中的检修动作进行识别；检修动作识别模型是通过人体行为识别算法对标注好的检修动作数据集进行迭代训练而来，该人体行为识别算法使用了一种双流自适应图卷积神经网络，其组成部分包括自适应卷积层、自适应图卷积块、自适应图卷积网络和双流网络；对应的工作过程分为如下几个步骤：步骤3.1：使用预训练的人体姿态估计模型从图像中提取人体骨胳关键点数据；步骤3.2：从步骤3.1得到的人体骨胳关键点数据中提取关节数据和骨胳数据，关节数据包括源关节点坐标和目标关节点坐标，骨胳数据表征为从源关节点指向目标关节点的向量；步骤3.3：分别将步骤3.2得到的关节数据和骨胳数据送入到关节数据流处理网络和骨胳数据流处理网络，其中关节数据流处理网络和骨胳数据流处理网络分别使用基于距离的采样函数来对关节数据和骨胳数据进行采样，再通过时空图卷积网络将关节样本和骨胳样本自适应的构造成不同的拓扑结构图，而后将两类样本的拓扑结构图送入各自的Softmax分类器得到对应的动作预测打分；步骤3.4：将步骤3.3得到的关节样本和骨胳样本的动作预测打分进行相加，并得到最终的动作预测标签；所述列车检修知识图谱单元，以电动列车检修作业指导书、电动列车质检手册和电动列车检修工教材为基础，通过文档版面分析技术、文本检测与识别技术、文本解析技术和知识图谱构建技术，将原有书目中非结构化的知识内容抽取为图谱化数据，为检修规则引擎提供了知识基础；其中，列车检修知识图谱的构建过程分为如下几个步骤：步骤4.1：首先对电动列车检修作业指导书和电动列车质检手册中的知识内容进行抽取，由于这两本书为文字版的PDF，因此直接对书目中的内容进行读取，并通过匹配规则对书中的章节、段落和表格数据进行解析，按书目中原有的知识结构将文本数据转化为树形结构；然后对电动列车检修工教材中的知识内容进行抽取，由于这一系列教材是扫描版的PDF，无法直接对书目中的内容进行读取，因此通过文档版面分析技术和文字识别技术对教材中的页眉、页脚、插图、表格和文字进行识别，随后通过匹配规则将文本数据转化为与原书目中知识结构相同的树形结构数据；步骤4.2：从公开发行的各类轨道交通专业词典中抽取相关领域词汇及词汇分类,从而得到构成轨道交通领域词库，从轨道交通领域的各类标准化文件、检修工教材、作业指导书、维修手册资料中抽取文本数据，再通过基于种子词的左右熵与凝固度的计算得到预选词库，然后经过自定义的过滤规则和一部分人工筛选得到自定义领域词库，最后对轨道交通领域词库和自定义领域词库进行合并去重，从而得到构建列车检修知识图谱所需要的关键词词库，在此基础上对关键词词库中词汇的类别进行标注；步骤4.3：使用多模式字符串匹配算法加载步骤4.2得到的关键词词库，然后对步骤4.1得到的树形结构数据进行关键词匹配，并对匹配到的关键词进行标记同时打上对应的类别标签，从而得到命名实体识别模型的语料库，随后通过双向长短时记忆神经网络对该语料库进行训练，最后得到轨交领域实体识别模型；步骤4.4：使用步骤4.3得到的轨交领域实体识别模型对步骤4.1得到的树形结构数据进行命名实体识别，再通过领域实体抽取规则进行文本解析，从而抽取出轨交领域实体；步骤4.5：使用依存句法分析对步骤4.1得到的树形结构数据中的轨交领域实体之间的语法关系进行分析，再通过预定义的实体关系模板和领域实体关系抽取规则进行关系抽取，从而得到领域实体之间的从属关系；步骤4.6：通过步骤4.4和步骤4.5得到领域实体与实体之间的从属关系后，再通过命名实体识别、词性分析、依存句法分析与属性抽取规则从树形结构数据中抽取出领域实体的属性；步骤4.7：分别将步骤4.4、步骤4.5和步骤4.6抽取出来的领域实体、实体关系和实体属性构建成三元组结构，并将该三元组结构的数据导入到图数据库，从而得到列车检修知识图谱；步骤4.8：将步骤4.7得到的列车检修知识图谱加载到可视化界面，并对列车检修知识图谱进行人工审核，对于抽取错误的领域实体、实体关系和实体属性进行人工修正；所述检修规则引擎单元，以可视化流程引擎为基础，为教员提供一套实训考试规则模板的可视化配置界面和列车检修知识图谱的调用接口，教员在配置实训考试规则模板时，动态的从列车检修知识图谱中选取所需的列车装备、装备部件、检修任务、检修工具、检修方式和技术要求知识节点，实训考试规则模板配置完成后，在实际的检修实训考试中，学员会通过电动列车装备检修实训考评系统中的交互界面选取本次待检修的列车车型、列车装备和维修等级，检修规则引擎会根据教员配置的实训考试规则模板以及内置的图计算算法生成出本次的实训考试内容、检修任务时序规则、工器具使用合规性判断规则、检修动作合规性判断规则和评分规则，学员根据指定的考试内容完成各项检修任务，检修规则引擎分别使用算法生成的检修任务时序规则、工器具使用合规性判断规则、检修动作合规性判断规则和评分规则对学员检修过程中检修任务完成的时序关系是否合理进行判断，对使用到的工器具是否合规进行判断，对检修动作是否合规进行判断，最后使用评分规则对学员的整个检修过程进行综合评分，并给出考试成绩；另外，在学员进行检修实训操作的过程中，检修规则引擎还需要将智能模型单元发送过来的工具器指令、检修动作指令和仪器仪表读数实时的转发给三维仿真单元；所述三维仿真单元，首先通过三维建模工具构建出检修场地3D模型、列车装备3D模型、工器具3D模型、人体3D模型和手部3D模型；而后在接收到检修规则引擎发送过来的工器具指令、检修动作指令和仪器仪表读数之后，由3D动画引擎负责实时加载并展示对应的3D模型动画，从而实现对检修实训考试过程的虚拟仿真；所述电动列车装备检修实训考评系统的整体流程分为如下几个步骤：步骤5.1：学员在检修实训场地的交互终端上选择并提交本次检修实训考试的列车车型、列车装备和维修等级，交互终端负责将这些信息发送给检修规则引擎，检修规则引擎再转发给3D动画引擎，3D动画引擎加载并展示对应的检修场地和列车装备的3D模型，并提示考试开始；步骤5.2：检修规则引擎在接收到交互终端发送过来的数据后，负责从列车检修知识图谱中获取本次实训考试的检修任务列表，并加载当前列车装备的检修任务时序规则，而后按照检修任务的先后顺序依次从列车检修知识图谱中获取每个检修任务需要的工器具、维修方法和技术要求，并加载工器具使用合规性判断规则、检修动作合规性判断规则和评分规则；步骤5.3：流媒体服务负责采集学员检修实训考试过程的多路视频流，并从视频流中提取关键帧，将关键帧转换成图像后，对图像进行预处理并转换成Base64编码，随后将Base64编码发送给智能模型服务；步骤5.4：智能模型服务负责对图像中的工器具进行识别和分割，对图像中仪器仪表的读数进行识别，对连续视频帧的检修动作进行识别，随后分别将识别到的工器具和检修动作转换成对应的工器具指令和检修动作指令，最后将工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎；步骤5.5：检修规则引擎首先将工器具指令、检修动作指令和仪器仪表读数转发给3D动画引擎，然后由3D动画引擎实时的加载并展示检修场景、列车装备、装备部件和接收到的工器具及检修动作的3D模型和操作动画；步骤5.6：检修规则引擎分别根据检修任务时序规则、工器具使用合规性判断规则和检修动作合规性判断规则对检修过程中使用的工器具是否合规，检修动作是否合规，检修操作顺序是否合规进行判断，随后根据评分规则和判断结果对检修任务的完成情况进行评分；步骤5.7：检修规则引擎负责将检修任务的评分结果发送给3D动画引擎，并由3D动画引擎实时的展示检修任务的得分情况。

全文数据：

权利要求：

百度查询： 四川奇焓科技有限公司 基于人工智能与知识图谱的电动列车装备检修实训考评系统