买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：基于交互任务知识图谱的细粒度工具推荐方法及装置，能够很好地针对细粒度任务进行工具推荐，并且在最优工具不存在时，可以有效地检索到替代工具。方法包括：1建立交互任务知识图谱ITKG来定义交互任务、工具及被操作物体的多粒度语义；2通过交互工具推荐网络IT‑Net推荐细粒度任务适配的工具；3通过约束工具和被操作物体的粗粒度语义预测损失loss，通过细粒度语义预测loss，使IT‑Net学习到工具和被操作物体的共同特征和专有特征；4通过约束适配细粒度任务的工具和被操作物体的嵌入特征距离小于不适配细粒度任务的工具和被操作物体的嵌入特征距离，使IT‑Net学习适配细粒度任务的工具和被操作物体的特征关系。

主权项：1.基于交互任务知识图谱的细粒度工具推荐方法，其特征在于：该方法包括以下步骤：1建立交互任务知识图谱ITKG来定义交互任务、工具及被操作物体的多粒度语义；2通过交互工具推荐网络IT-Net推荐细粒度任务适配的工具；3通过约束工具和被操作物体的粗粒度语义预测损失loss，通过细粒度语义预测loss，使IT-Net学习到工具和被操作物体的共同特征和专有特征；4通过约束适配细粒度任务的工具和被操作物体的嵌入特征距离小于不适配细粒度任务的工具和被操作物体的嵌入特征距离，使IT-Net学习适配细粒度任务的工具和被操作物体的特征关系；所述步骤2中，细粒度交互任务数据集包括：正样本、中性样本和负样本；每个样本由来自ITKG实例层模型的两个图像组成：一个是子类工具图像，语义标签中索引为0-11的分量中有一个分量其值为1，对应ITKG概念模型中的子类工具结点；另一个是子类被操作物体图像，语义标签中索引为12-26的分量中有一个分量其值为1，对应ITKG概念层中的子类被操作物体结点；如果一个样本的两个图像关联的子类工具结点与子类被操作物体结点在ITKG概念模型中存在一条有向边，那么该样本是正样本，否则是中性样本或负样本；中性样本和负样本的区别是构成该样本的两个图像关联的子类工具结点与子类被操作物体结点在ITKG概念模型中是否具有共同的祖父母结点，如果具有共同的祖父母结点则该样本是中性样本，否则该样本是负样本；定义正样本中的工具为最优工具，中性样本中的工具为替代工具；所述步骤2中，交互工具推荐网络包括两部分：a特征提取；b结点分类及关系预测；a特征提取中，输入模型的每个batch内包含正样本和负样本，将正样本头结点和尾结点对应的图像输入ResNet-50分别提取对应的视觉特征，正样本中头结点和尾结点对应的视觉特征记作：其中i代表batch内正样本的索引，h和t分别代表头结点和尾结点，负样本中头结点和尾结点对应的视觉特征记作：其中j代表batch内负样本的索引；b结点分类及关系预测中，将同一样本头结点和尾结点的视觉特征输入多层感知机后得到的特征通过sigmoid激活函数进行归一化，得到结点的粗粒度语义和细粒度语义预测： 其中，为第i个样本的头结点视觉特征，Wh代表多层感知机的参数，g·代表sigmoid激活函数，中前S个分量表示该图像的细粒度语义预测，S为所有子类工具和子类被操作物体类别的数量之和，后C个分量表示该图像的粗粒度图像预测，C为所有父类工具和父类被操作物体类别的数量之和，表示IT-Net为第i个样本的头结点预测的属于子类工具或子类被操作物体第k个类别的概率,表示IT-Net为第i个样本的头结点预测的属于父类工具或父类被操作物体第d个类别的概率，为父类工具和父类被操作物体类别ground-truth向量中第d个类别的值，为子类工具和子类被操作物体类别ground-truth向量中第k个类别的值，计算网络对第i个样本给出的预测的二元交叉熵损失： 头结点的分类损失为和的线性加权和，λs为权重系数： 对所有负样本的头结点计算对一个batch中所有样本的头结点的分类损失求平均值，记作lossh，一个batch中所有样本的尾结点的分类损失求平均值记作losst；对第i个正样本中头结点和尾结点的视觉特征计算特征嵌入距离 对第j个负样本中头结点和尾结点的视觉特征计算特征嵌入距离 其中，We和Wp分别代表特征嵌入层的参数，IT-Net基于MarginLoss定义特征嵌入距离losse： 其中M为batch中正样本的数量，N为batch中负样本的数量，margin为超参数，IT-Net总的损失lossall为：lossall＝λhlossh+λtlosst+λelosse8λh，λt，λe为损失函数中的权重系数，模型通过反向传播更新参数。

全文数据：

权利要求：

百度查询： 北京工业大学 基于交互任务知识图谱的细粒度工具推荐方法及装置