首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种用于神经网络小样本学习的空间电势度量方法和系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:厦门大学

摘要:本发明提出了一种用于神经网络小样本学习的空间电势度量方法,包括:首先通过特征嵌入提取网络fθ对某个情景下的支持集和查询集分别进行特征提取,获得已标记实例和未标记实例的特征嵌入向量集;其次通过电荷量参数提取网络gΘ对已标记实例的特征嵌入向量做参数提取,获得已标记实例的电荷量范围参数,并进行同类均值融合;接着利用已标记实例的特征嵌入向量集、已标记实例的电荷量范围参数构建拟空间静电场,并以未标记实例在静电场中的叠加电势来作为未标记实例与已标记实例之间的度量值;最后根据度量值求得类别概率以及学习损失,并反向传播更新所有网络参数。本发明提供的方法能够以更低的模型成本,兼容于绝大部分小样本网络,进一步提高小样本任务的表现力。

主权项:1.一种用于神经网络小样本学习的空间电势度量方法,其特征在于,包括:将支持集和查询集输入到特征嵌入提取网络中,分别得到已标记和未标记实例的特征嵌入向量集;将已标记实例的特征嵌入向量输入到电荷量参数提取网络中,得到参数作为已标记实例的电荷量;将同一类别的特征嵌入向量和电荷量范围参数都进行均值融合,并构建拟高维空间静电场;根据已标记示实例设定正点电荷和负点电荷,结合点电荷的电荷量,在遍历所有点电荷极性组合下,求得未标记实例的特征嵌入向量在拟高维空间静电场中位置点的电势叠加值,并以电势叠加值作为未标记实例的度量值;将度量值转换为类别概率分数,并计算所述类别概率分数与来自未标记实例真实标签的度量学习损失,以端对端的方式学习所有网络参数;所述支持集和查询集具体为:从训练集Ctrain中抽样出N个类别的样本用于构成支持集和查询集;其中支持集每N个类别包含K个样本,表示为:S={x1,y1,x2,y2,xi,yi...,xN×K,yN×K};查询集每N个类别包含数量不固定的样本,表示为:并且S∈Ctrain,Q∈Ctrain,其中xi是D维输入向量,yi是xi的标签,i=1,2,3...N×K;其中是D维输入向量,是的标签,i=1,2,3...T;N、K、T都为正整数;所述将支持集和查询集输入到特征嵌入提取网络中,分别得到已标记和未标记实例的特征嵌入向量集,具体为:特征嵌入向量是通过将样本xi输入至特征嵌入提取网络fθ获得的M维向量,对于支持集S和查询集Q,采用同一个特征嵌入提取网络fθ,支持集S得到的已标记实例的特征嵌入向量表示为:fθxi,查询集Q得到的未标记实例的特征嵌入向量表示为:所述电荷量参数提取网络具体为:电荷量参数提取网络是仅由单一神经元输出的一层全连接层构成的,记为:gΘ,其中Θ表示网络参数;已标记实例的特征嵌入向量fθxi经过电荷量参数提取网络gΘ得到电荷量范围参数qi=gΘfθxi;所述将同一类别的特征向量和电荷量范围参数进行均值融合,具体为:对特征嵌入向量和电荷量范围参数进行均值融合的方法分别如下: 其中KS表示支持集S每个类别所包含的样本数,这里只对已标记样本做均值融合操作;所述的度量值具体为: 其中d·,·用欧几里得距离来表示,表示未标记实例的特征嵌入,Fp、Qp表示作为正点电荷的已标记实例的特征嵌入向量和电荷量范围参数,Fin、表示作为负点电荷的已标记实例的特征嵌入向量和电荷量范围参数;所述将度量值转换为类别概率分数,具体为:度量值转换为类别概率分数的方法是采用softmax函数实现的: 其中,表示第i个未标记实例的预测标签,表示第i个未标记实例以第j个已标记实例为正点电荷的空间电势度量值;所述度量学习损失,具体为:度量学习损失采用交叉熵损失: 其中,表示第i个未标记实例的真实标签,I·是用于体现预测是否正确的指示函数,即当预测正确时I·=0,否则I·=1。

全文数据:

权利要求:

百度查询: 厦门大学 一种用于神经网络小样本学习的空间电势度量方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术