买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜安徽农业大学申请的专利一种融合知识图谱与图像识别的垃圾分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117456279B 。

龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311623115.1，技术领域涉及：G06V10/764；该发明授权一种融合知识图谱与图像识别的垃圾分类方法是由丁文荣;蒋婷婷;张珺;杨帅;刘倩;何进;王超;王庆勇;马文涛;辜丽川设计研发完成，并于2023-11-30向国家知识产权局提交的专利申请。

本一种融合知识图谱与图像识别的垃圾分类方法在说明书摘要公布了：本发明公开了一种融合知识图谱与图像识别的垃圾分类方法，包括：1、构建知识图谱，捕捉垃圾实体与种类之间的关系2、利用Ac自动机树，提取问题中的垃圾实体名；3、利用TransR模型提取垃圾实体的文本向量；4、设定疑问词列表，提取问题中的疑问词，根据疑问词是否在疑问词列表中和问题中是否有垃圾实体名来对问题进行分类；5、针对不同类型的问题，返回不同的答案模板；6、构建图像识别模型，获取垃圾图片的向量；7、将垃圾实体的文本向量和图片向量，结合注意力机制将相互对应的向量进行拼接，得到垃圾实体的融合向量后，最终返回垃圾的类别。本发明融合了知识图谱和图像识别，能更稳定、更便捷、更高效的实现垃圾分类。

本发明授权一种融合知识图谱与图像识别的垃圾分类方法在权利要求书中公布了：1.一种融合知识图谱与图像识别的垃圾分类方法，其特征在于，是按照如下步骤进行：步骤1、构建知识图谱问答模型：步骤1.1、获取垃圾信息集合R=，其中，为第种垃圾信息，且包含垃圾实体名和垃圾属性，其中垃圾属性包括：垃圾种类、垃圾图片；T为垃圾信息的种类数；；步骤1.2、收集垃圾信息集合中各个垃圾实体名及其垃圾属性之间、各个垃圾属性之间的关联信息，并利用先验知识，构建包含垃圾实体节点、垃圾属性节点及关联信息的知识图谱，并得到垃圾实体的文本数据及垃圾种类属性的文本数据；步骤1.3、利用知识图谱表示学习模型TransR提取每个垃圾实体对应的实体向量，表示第种垃圾实体对应的实体向量，；步骤1.4、将和合并成文本数据集合，并遍历文本数据集合，用于构建Ac自动机树；步骤1.5、基于和构建字典，所述字典中的任一键值对中的键包含垃圾实体名或垃圾种类；步骤1.6、将输入的问题与Ac自动机树进行匹配，获取个匹配的垃圾实体名垃圾种类的词汇，根据个词汇在字典中找到对应的个键值对，其中，表示第k个匹配的词汇对应的键值对，且包含第k个匹配的词汇及其词汇类型，；步骤1.7、对所述问题进行疑问词提取，得到问题的疑问词，并与设定的疑问词列表进行对比，若问题的疑问词在所述疑问词列表中，且中匹配的词汇包含垃圾实体名，则表示输入问题的类型为有效问题，并将和问题的类型q构成问题的字典，否则，表示输入问题的类型为无效问题；步骤1.8、对问题的字典进行解析，并提取中的垃圾实体名后，结合问题类型q和问题中包含的垃圾实体名创建包含此垃圾实体名和其种类属性的neo4j图数据库的查询语句cypher；步骤1.9、执行查询语句cypher，从而根据问题类型q生成对应垃圾种类的答案模板a；步骤2、图像识别模型的构建及训练：步骤2.1、获取T类维度为的垃圾图片样本并进行归一化和数据增强预处理，得到预处理后的图片序列并作为训练样本，记为，其中，表示第t类预处理后的垃圾图片样本，且，表示第t类预处理后的垃圾图片样本中的第个图片，表示高度、表示宽度、表示通道数；表示第t类预处理后的垃圾图片样本的总数；步骤2.2、搭建由骨干网络、分类网络的图像识别网络；步骤2.2.1、骨干网络是基于VGG16网络，包含五个卷积池化块，每个卷积池化块中的卷积核大小均为，池化核大小为；将输入到骨干网络中进行处理，并输出第t类第个图片对应的特征向量；步骤2.2.2、所述分类网络包括一个展平层、两个全连接层、一个批归一化层、一个dropout层、一个注意力机制层；将输入到展平层中展平为一维向量，并依次输入到激活函数为relu的第一个全连接层、批归一化层、dropout层中进行处理，得到第t类第个垃圾图片向量，从而得到第t类垃圾图片的向量集合；步骤2.2.3、激活函数为softmax的注意力机制层将实体向量和中表示相同垃圾的文本向量和图片向量结合起来，得到第t类垃圾融合向量，表示第t类预处理后的垃圾图片样本中第j个垃圾的向量；步骤2.2.4、将垃圾向量输入到激活函数为Softmax的第二个全连接层中进行处理，获得的预测概率分布，并选取概率最高的类别作为的预测类别；步骤2.2.5、基于的预测类别和真实类别构建交叉熵损失函数，并利用adam优化方法对图像识别网络进行优化，并计算所述交叉熵损失函数以更新网络的参数，直到交叉熵损失函数收敛为止，从而得到最优垃圾分类模型；步骤3、获取用户输入的新问题并按照步骤1.6-步骤1.9的处理，得到新问题的垃圾种类答案；步骤4、将用户拍摄的垃圾图像输入最优垃圾分类模型进行识别，并得到垃圾图像预测的种类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽农业大学，其通讯地址为：230036 安徽省合肥市长江西路130号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。