买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖北泰跃卫星技术发展股份有限公司

摘要：本发明公开了一种基于图像识别的农业知识问答方法及系统，属于人工智能技术领域。所述方法包括：收集农业领域的标准问题，建立标准问题数据集；获取用户输入的农业图像，构建农业图像的特征向量；分别计算农业图像的特征向量与标准问题数据集中的各个标准问题之间的综合相似度，选择综合相似度最高的标准问题作为最终匹配项；根据农业图像的特征向量与最终匹配项之间的相似度以及最终匹配项的词向量计算农业图像的词向量；将农业图像的词向量输入到预训练的大型语言模型中，输出农业知识解读结果。本发明实现基于农业图像的专业知识解读和输出，简化了用户与人工智能系统之间的交互过程，使得获取农业专业知识更加直观和便捷。

主权项：1.一种基于图像识别的农业知识问答方法，其特征在于，所述方法包括：收集农业领域的标准问题，分别提取标准问题的词向量和特征向量，根据词向量和特征向量建立标准问题数据集；获取用户输入的农业图像，采用多任务分类算法对农业图像进行多任务分类，将多任务分类结果顺序拼接，构建农业图像的特征向量；分别计算农业图像的特征向量与标准问题数据集中的各个标准问题之间的综合相似度，选择综合相似度最高的标准问题作为最终匹配项；根据农业图像的特征向量与最终匹配项之间的相似度以及最终匹配项的词向量计算农业图像的词向量；将农业图像的词向量输入到预训练的大型语言模型中，输出农业知识解读结果；所述分别计算农业图像的特征向量与标准问题数据集中的各个标准问题之间的综合相似度具体包括：设标准问题的特征向量W和农业图像的特征向量M的每个元素值都在0~1之间，利用余弦相似度来构建相似向量S={s1,s2,…,si,…,sn}，i=1,2,…,n，n为维度总数，其中，每个元素si的值通过余弦相似度计算得到；余弦相似度的计算公式如下： ；其中，Ai是从标准问题的特征向量W中提取出来的子序列向量，Bi是从农业图像的特征向量M中提取的子序列向量，Bi长度与Ai一致；si为农业图像与标准问题在第i个维度上的余弦相似度；计算农业图像的特征向量与标准问题数据集中的各个标准问题之间的综合相似度，所述综合相似度的计算公式为： ；其中，p为综合相似度，λi为第i个维度的权重系数；确定权重系数λi的方法具体包括：（1）采集多张农业相关的样本图片，分别解读每张样本图片，生成相应的问题文本描述；（2）分别提取样本图片的特征向量M0和相应的问题文本描述的特征向量W0；（3）计算样本图片的特征向量与相应的问题文本描述的特征向量之间的相似向量S：将问题文本描述的特征向量W0根据结构向量V分解为n个一维向量Ai，将样本图片的特征向量M0分解为n个一维向量Bi，其中每个向量的长度均为vi，利用余弦相似度计算公式，分别计算Ai与Bi之间的相似性si；将所述相似性si依序组合，形成相似向量S；步骤3计算相似向量S的子流程如下：子步骤1设定初始遍历索引i=1，t1=0，k=1：初始化过程中，设定i为维度的序号，起始值为1；设置t1为一个累加器，用于汇总各维度的长度值，初始值设为0；k为一维向量的序号，初始值设定为1；完成后进入子步骤2；子步骤2设定Ai和Bi为空：在计算相似度的过程中，初始时将两个一维向量Ai和Bi设置为空；完成后进入子步骤3；子步骤3判断k是否满足判断条件kt1+vi+1：在进行特征向量W0和M0的拆解过程中，通过所述判断条件来动态地将拆分出的元素归类到相应的Ai和Bi向量中；如果判断条件满足，继续将元素归类到当前的Ai和Bi中，进入子步骤4；反之，如果不满足，进入子步骤6；子步骤4把wk归到Ai，mk归到Bi：分别从向量W0和M0中取出对应元素wk和mk，并分别归到向量Ai和Bi中；完成后进入子步骤5；子步骤5k=k+1：以步长1自增特征向量的编号，完成后进入子步骤3；子步骤6利用公式计算si：在Ai和Bi向量确定后，利用相应的余弦相似度的计算公式计算这两个向量在当前维度上的相似性si；完成后进入子步骤7；子步骤7t1=t1+vi：更新k的判断条件，以便进行下一维度的分析和计算；完成后进入子步骤8；子步骤8i=i+1：以步长1增加i的值，以便进入下一个维度的计算过程；完成后进入子步骤9；子步骤9判断是否满足in+1：对i与n+1的大小进行比较；如果i大于n+1，进入子步骤10；反之，回到子步骤2继续执行；子步骤10生成相似向量S：把所有si按照顺序排序组合，生成W0和M0对应的相似向量S；（4）计算权重系数λi：计算样本图片的特征向量与相应的问题文本描述的特征向量之间的综合相似度，在所述综合相似度计算公式中设定所有综合相似度值p=1，采用最小二乘法来计算每个维度的权重系数λi；所述分别计算农业图像的特征向量与标准问题数据集中的各个标准问题之间的综合相似度，选择综合相似度最高的标准问题作为最终匹配项具体包括如下步骤：步骤S31，设定temp=0，No=-1：初始化两个变量temp、No，temp用于记录相似度，初始值设为0；No用于记录问题数据集中的序号，初始值设为-1；完成后进入步骤S32；步骤S32，从标准问题数据集中选择一个元素：在标准问题数据集中，每个条目都是一个包含序号q、标准问题的特征向量W和标准问题的词向量T的对象；如果是第一次选择，则选取序号为1的条目；若非首次，则选择当前序号的下一个条目；完成后进入步骤S33；步骤S33，计算相似向量S：基于当前元素的特征向量W和获得的农业图像的特征向量M，计算相似矩阵S；完成后进入步骤S34；步骤S34，计算综合相似度p：通过相似向量S和权重系数λi，利用所述综合相似度的计算公式计算出综合相似度p，完成后进入步骤S35；步骤S35，ptemp：比较p与temp的大小，若是，则进入步骤S36；否则，进入步骤S37；步骤S36，temp=p，No=q：temp记录p值比较大的数据，No则记录p值较大时对应的序号；完成后进入步骤S37；步骤S37，判断标准问题数据集中的所有条目是否已经遍历完毕：即判断是否满足qQ，Q为标准问题总数，如果是，对应的p值被保存在变量temp中，同时对应的序号也被保存在变量No中，将保存变量No的序号对应的标准问题作为最终匹配项；否则，进入步骤S32，继续遍历下一条记录；所述根据农业图像的特征向量与最终匹配项之间的相似度以及最终匹配项的词向量计算农业图像的词向量具体包括：设最终匹配项的序号为No，从问题数据集中选取序号与No相匹配的元素，获取对应元素的词向量T；通过T和temp计算农业图像对应的词向量U，所述计算农业图像的词向量的公式为：U=p×T；或者U=1+1p×T；其中，U为农业图像的词向量，p为农业图像的特征向量与最终匹配项之间的综合相似度，T为最终匹配项的词向量。

全文数据：

权利要求：

百度查询： 湖北泰跃卫星技术发展股份有限公司 基于图像识别的农业知识问答方法及系统