买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：卡西欧计算机株式会社

摘要：本发明涉及信息处理装置、感情识别方法以及存储介质。信息处理装置具备学习部和处理部。学习部将从声音生成的音素串按照该音素串与用户的感情的关联度作为感情音素串来进行学习。处理部按照学习部的学习的结果来执行感情识别所涉及的处理。信息处理装置抑制了不适合用户的感情的处理的执行。

主权项：1.一种信息处理装置，其特征在于，具备：声音取得单元，其取得用户发出的声音；声音感情分数取得单元，其按每种感情取得表示发出了所述声音时的所述用户的感情是该感情的可能性的高低的该感情所涉及的声音感情分数；脸部图像取得单元，其取得在对所述声音进行了录音时拍摄到的所述用户的脸部图像；脸部感情分数取得单元，其按每种感情取得表示拍摄了所述脸部图像时的所述用户的感情是该感情的可能性的高低的该感情所涉及的脸部感情分数；学习单元，其在学习模式下，基于所述声音感情分数和所述脸部感情分数，将从所述声音生成的音素串中与所述用户的感情的关联度高的音素串作为感情音素串来进行学习，并与所述感情音素串建立对应来学习和所述感情音素串与感情的关联度相应的调整分数；和感情识别单元，其在感情识别模式下，判定所述声音中是否包含所述感情音素串，在判定为所述声音中包含所述感情音素串的情况下，基于所述声音感情分数、所述脸部感情分数以及所述调整分数来识别所述用户的感情。

全文数据：信息处理装置、感情识别方法以及存储介质[0001]本申请主张以在2〇17年3月22日申请的日本专利申请第2〇17-056482号为基础申请的优先权，将该基础申请的内容全都引入到本申请中。技术领域[0002]本发明涉及信息处理装置、感情识别方法以及存储介质。背景技术[0003]已知使用声音来执行与说话者的感情相应的处理的技术。[0004]例如JP特开平11-119791号公报公开了一种声音感情识别系统，其使用声音的特征，输出表示声音所带有的说话者的感情的程度的电平。[0005]存在相同声音例如口头禅根据说话者不同而与不同感情关联的情况。例如有如下情况:对某说话者来说表征愤怒的声音对其他说话者来说是表征喜悦的声音;对某说话者来说表征悲伤的声音对其他说话者来说是表征愤怒的声音。在这样的情况下，JP特开平U-119791号公报记载的声音感情识别系统由于未参酌上述那样的说话者所固有的声音与感情的关联性，因此有可能会错误识别说话者的感情，执行与该错误的识别结果相应的处理。发明内容[0006]本发明鉴于上述的情形而提出，目的在于，提供一种抑制不适合用户的感情的处理的执行的信息处理装置、感情识别方法以及记录介质。[0007]本申请发明所涉及的信息处理装置特征在于，具备:学习单元，其将从声音生成的音素串按照该音素串与用户的感情的关联度作为感情音素串来进行学习；和感情识别单元，其按照所述学习单元的学习的结果来进行感情识别所涉及的处理。附图说明[0008]图1是表示本发明的第1实施方式所涉及的信息处理装置的物理构成的图。[0009]图2是表示本发明的第1实施方式所涉及的信息处理装置的功能构成的图。[0010]图3是表示频度数据的构成例的图。[0011]图4是表示感情音素串数据的构成例的图。[0012]图5是用于说明本发明的第1实施方式所涉及的信息处理装置所执行的学习处理的流程图。[0013]图6是用于说明本发明的第丨实施方式所涉及的信息处理装置所执行的感情识别处理的流程图。[00M]图7是表示本发明的第2实施方式所涉及的信息处理装置的功能构成的图。[0015]图8是用于说明本发明的第2实施方式所涉及的信息处理装置所执行的更新处理的流程图。具体实施方式[0016]第1实施方式）[0017]以下参考附图来说明本发明的第1实施方式所涉及的信息处理装置。图中对彼此相同或等同的构成标注彼此相同的标号。[0018]图1所示的信息处理装置1具备学习模式和感情识别模式作为动作模式。详细后述，信息处理装置1通过按照学习模式进行动作，来学习从声音生成的音素串当中与用户的感情的关联度高的音素串，作为感情音素串。另外，信息处理装置1通过按照感情识别模式进行动作，从而按照学习模式中的学习的结果识别用户的感情，输出表征识别结果的感情图像以及感情声音。感情图像是与识别出的用户的感情相应的图像。感情声音是与识别出的用户的感情相应的声音。以下使用信息处理装置1识别用户的感情是喜悦等正面的感情、愤怒或悲伤等负面的感情、和不同于正面的感情和负面的感情的中性的感情这3种类的感情的哪一种的情况为例来进行说明。[0019]彳目息处理装置1具备CPUCentralProcessingUnit，中央处理器）100、RAMRandomAccessMemory，随机存取存储器）l〇l、R〇MReadOnlyMemory，只读存储器）102、输入部103、输出部104和外部接口105。[0020]CPU100按照存储于R0M102的程序以及数据来执行包含后述的学习处理以及感情识别处理的各种处理。CPU100经由命令以及数据的传输路径即未图示的系统总线与信息处理装置1的各部连接，对信息处理装置1整体进行总括控制。[0021]RAM101存储CPU100执行各种处理而生成或取得的数据。另外，RAM101作为CPU100的工作区发挥功能。即，CPU100将程序以及数据向RAM101读出，通过适宜参考读出的程序以及数据来执行各种处理。[0022]R0M102存储为了CPU100执行各种处理而用的程序以及数据。具体地，R0M102存储CPU100所执行的控制程序102a。另外，R0M102存储多个声音数据102b、多个脸部图像数据l〇2c、第1参数102d、第2参数102e、频度数据102f和感情音素串数据102g。关于第1参数1021第2参数1〇26、频度数据1〇2€以及感情音素串数据1〇28，之后叙述。[0023]声音数据102b是表征用户发出的声音的数据。脸部图像数据102c是表征用户的脸部图像的数据。如后述那样，信息处理装置1在学习模式下使用声音数据102b以及脸部图像数据102c来学习上述的感情音素串。另外，信息处理装置1在感情识别模式下使用声音数据102b以及脸部图像数据l〇2c来识别用户的感情。通过对用户发出的声音进行录音，来由外部的录音装置生成声音数据102b。信息处理装置1从该录音装置经由后述的外部接口105取得声音数据l〇2b，并预先存储在R0M102。通过对用户的脸部图像进行摄像，来由外部的摄像装置生成脸部图像数据102c。信息处理装置1从该摄像装置经由后述的外部接口105取得脸部图像数据102c，并预先存储在R0M102。[0024]R0M102将声音数据l〇2b、和表征对该声音数据102b所表征的声音进行了录音时摄像的脸部图像的脸部图像数据102c相互建立对应地存储。即，相互建立对应的声音数据l〇2b以及脸部图像数据l〇2c分别表征在相同时间点录音的声音和摄像的脸部图像，包含表征相同时间点的用户的感情的信息。[0025]输入部103具备键盘、鼠标、触控面板等输入装置，接受由用户输入的各种操作指示，将接受的操作指示提供给CPU100。具体地，输入部103按照用户的操作接受信息处理装置1的动作模式的选择、声音数据102b的选择。[0026]输出部104按照CPU100的控制输出各种信息。具体地，输出部104具备液晶面板等显示装置，将上述的感情图像显示在该显示装置。另外，输出部104具备扬声器等发音装置，从该发音装置发出上述的感情声音。[0027]外部接口105具备无线通信模块以及有线通信模块，通过在与外部装置之间进行无线通信或有线通信来收发数据。具体地，信息处理装置1经由外部接口105从外部装置取得上述的声音数据102b、脸部图像数据102c、第1参数102d以及第2参数102e，并预先存储在R0M102。[0028]具备上述的物理构成的信息处理装置1作为CPU100的功能，如图2所示那样，具备声音输入部10、声音感情分数计算部11、图像输入部12、脸部感情分数计算部13、学习部14和处理部15XPU100通过执行控制程序10¾控制信息处理装置1，来作为这些各部发挥功能。[0029]声音输入部10取得存储于R〇Ml〇2的多个声音数据10¾当中用户通过操作输入部103而指定的声音数据102b。声音输入部10在学习模式下将取得的声音数据l〇2b提供给声音感情分数计算部11以及学习部14。另外，声音输入部10在感情识别模式下将取得的声音数据102b提供给声音感情分数计算部11以及处理部15。[0030]声音感情分数计算部11按照从声音输入部10提供的声音数据102b所表征的声音来计算上述的3种类的感情分别涉及的声音感情分数。声音感情分数是表示发出声音时的用户的感情为该声音感情分数所涉及的感情的可能性的高低的数值。例如正面的感情所涉及的声音感情分数表示发出声音时的用户的感情是正面的感情的可能性的高低。声音感情分数越大，则用户的感情是该声音感情分数所涉及的感情的可能性就越高。[0031]具体地，声音感情分数计算部11通过按照存储于R0M102的第1参数102d作为识别器发挥功能，从而对应于声音数据l〇2b中所含的表示声音的大小、嘶哑声、尖声等声音的非语言特征的特征量，来计算声音感情分数。在外部的信息处理装置中，通过进行机器学习来生成第1参数l〇2d，在所述机器学习中，作为教学数据，使用将多个说话者发出的声音的特征量和表征发出了该声音时的说话者的感情的信息相互建立对应来包含的通用数据。信息处理装置1从该外部的信息处理装置经由外部接口105取得第1参数102d，并预先存储在R0M102。[0032]声音感情分数计算部11在学习模式下将计算出的声音感情分数提供给学习部14。另外，声音感情分数计算部11在感情识别模式下将计算出的声音感情分数提供给处理部15〇[0033]图像输入部12取得存储于ROM102的多个脸部图像数据102c当中与声音输入部10取得的声音数据l〇2b建立对应地存储的脸部图像数据102c。图像输入部12将取得的脸部图像数据l〇2c提供给脸部感情分数计算部13。[0034]脸部感情分数计算部13按照从图像输入部12提供的脸部图像数据102c所表征的脸部图像来计算上述的3种类的感情分别所涉及的脸部感情分数。脸部感情分数是表示对脸部图像进行了摄像时的用户的感情是该脸部感情分数所涉及的感情的可能性的高低的数值。例如正面的感情所涉及的脸部感情分数表示对脸部图像进行了摄像时的用户的感情是正面的感情的可能性的高低。脸部感情分数越大，则用户的感情是该脸部感情分数所涉及的感情的可能性越高。[0035]具体地，脸部感情分数计算部13通过按照存储于R0M102的第2参数102e作为识别器发挥功能，来对应于脸部图像数据l〇2c所表征的脸部图像的特征量计算脸部感情分数。在外部的信息处理装置中，通过进行机器学习来生成第2参数l〇2e，在所述机器学习中，作为教学数据，使用将多个被摄体的脸部图像的特征量和表征对该脸部图像进行了摄像时的被摄体的感情的信息相互建立对应来包含的通用数据。信息处理装置1从该外部的信息处理装置经由外部接口105取得第2参数102e，并预先存储在R0M102。[0036]脸部感情分数计算部13在学习模式下将计算出的脸部感情分数提供给学习部14。另外，脸部感情分数计算部13在感情识别模式下将计算出的脸部感情分数提供给处理部15。[0037]如上述那样，相互建立对应的声音数据10¾以及脸部图像数据102c分别表征的声音以及脸部图像在相同时间点取得，表征相同时间点的用户的感情。因此，按照脸部图像数据102c计算出的脸部感情分数表示发出了与该脸部图像数据102c建立对应的声音数据102b所表征的声音时的用户的感情是该脸部感情分数所涉及的感情的可能性的高低。信息处理装置1通过并用声音感情分数和脸部感情分数，从而在发出声音时的用户的感情仅被声音和脸部图像的一方表征的情况下，也能识别该感情，提升学习精度。[0038]学习部14在学习模式下学习与用户的感情的关联度高的音素串，作为感情音素串。另外，学习部14与感情音素串建立对应地学习与该感情音素串和感情的关联度相应的调整分数。具体地，学习部14具备音素串变换部14a、候补音素串提取部14b、频度生成部14c、频度记录部14d、感情音素串判定部14e、调整分数生成部14f和感情音素串记录部14g。[0039]音素串变换部14a将从声音输入部10提供的声音数据l〇2b所表征的声音变换成带有词类信息的音素串。即，音素串变换部14a从声音生成音素串。音素串变换部14a将取得的音素串提供给候补音素串提取部14b。具体地，音素串变换部14a通过对声音数据102b所表征的声音以句子为单位执行声音识别，来将该声音变换成音素串。音素串变换部14a对声音数据102b所表征的声音进行词素解析，将通过上述的声音识别而得到的音素串按每个词素进行分割，对各音素串附注词类信息。[0040]候补音素串提取部14b提取从音素串变换部14a提供的音素串当中满足预先设定的提取条件的音素串，作为感情音素串的候补即候补音素串。提取条件通过实验等任意的手法来设定。候补音素串提取部14b将提取出的候补音素串提供给频度生成部14c。具体地，候补音素串提取部14b提取连续的3词素份且附注了固有名词以外的词类信息的音素串，作为候补音素串。[0041]候补音素串提取部14b通过提取连续的3词素份的音素串，从而在未知词被错误地分解成3词素程度而进行了识别的情况下，也能捕捉该未知词，提取为感情音素串的候补，使学习精度得以提升。另外，候补音素串提取部14b通过将表征用户的感情的可能性低的地名、人名等固有名词从感情音素串的候补除外，能提升学习精度并减轻处理负担。[0042]频度生成部14c对从候补音素串提取部14b提供的各候补音素串按上述的3种类的感情的每一种来判定发出了与候补音素串对应的声音时的用户的感情是该感情的可能性是否极高。频度生成部14c将表征判定结果的频度信息提供给频度记录部14d。[0043]具体地，频度生成部14c对各候补音素串按每种感情，从声音感情分数计算部11以及脸部感情分数计算部13分别取得按照与该候补音素串对应的声音数据102b计算出的声音感情分数、和按照与该声音数据l〇2b建立对应的脸部图像数据102c计算出的脸部感情分数。频度生成部14c通过判定取得的声音感情分数以及脸部感情分数是否满足检测条件，来按每种感情判定发出了与候补音素串对应的声音时的用户的感情是该感情的可能性是否极高。如上述那样按照脸部图像数据l〇2c计算出的脸部感情分数表示发出了与该脸部图像数据l〇2c建立对应的声音数据102b所表征的声音时的用户的感情是该脸部感情分数所涉及的感情的可能性的高低。即，按照与候补音素串对应的声音数据102b计算出的声音感情分数、和按照与该声音数据l〇2b建立对应的脸部图像数据102c计算出的脸部感情分数均表示发出了与候补音素串对应的声音时的用户的感情是该声音感情分数以及脸部感情分数所涉及的感情的可能性的高低。声音感情分数以及脸部感情分数相当于感情分数，频度生成部14c相当于感情分数取得单元。[0044]更具体地，频度生成部14c通过将取得的声音感情分数和脸部感情分数按每种感情加在一起来取得各感情所涉及的合计感情分数，判定该合计感情分数是否为检测阈值以上，由此判定声音感情分数以及脸部感情分数是否满足检测条件。检测阈值通过实验等任意的手法预先设定。例如在判定为分别按照与某候补音素串对应的声音数据l〇2b以及脸部图像数据l〇2c计算出的正面的感情所涉及的声音感情分数与正面的感情所涉及的脸部感情分数的合计值即正面的感情所涉及的合计感情分数是检测阈值以上的情况下，频度生成部14c判定为发出了与该候补音素串对应的声音时的用户的感情是正面的感情的可能性极高。[0045]频度记录部14d按照从频度生成部14c提供的频度信息来更新存储于R0M102的频度数据102f。频度数据102f是如下那样的数据:与候补音素串建立对应，按上述的3种类的感情的每一种包含由频度生成部14c判定为发出了与该候补音素串对应的声音时的用户的感情是该感情的可能性极高的次数的累积值即该感情所涉及的感情频度。换言之，频度数据102f与候补音素串建立对应，按每种感情包含判定为分别按照与候补音素串对应的声音数据102b以及脸部图像数据102c计算出的该感情所涉及的声音感情分数以及脸部感情分数满足检测条件的次数的累积值。[0046]具体地，频度数据102f如图3所示那样，将候补音素串、正面的感情所涉及的正面感情频度、负面的感情所涉及的负面感情频度、中性的感情所涉及的中性感情频度、和合计感情频度相互建立对应来包含。正面感情频度是频度生成部14c判定为发出了与候补音素串对应的声音时的用户的感情是正面的感情的可能性极高的次数的累积值，即，是频度生成部14c判定为分别按照与候补音素串对应的声音数据l〇2b以及脸部图像数据l〇2c计算出的正面的声音感情分数以及正面的脸部感情分数满足检测条件的次数的累积值。负面感情频度是频度生成部14c判定为发出了与候补音素串对应的声音时的用户的感情是负面的感情的可能性极高的次数的累积值。中性感情频度是频度生成部14c判定为发出了与候补音素串对应的声音时的用户的感情是中性的感情的可能性极高的次数的累积值。合计感情频度是正面感情频度、负面感情频度与中性感情频度的合计值。[0047]回到图2,频度记录部14d若从频度生成部14c被提供表示判定为发出了与某候补音素串对应的声音时的用户的感情是某感情的可能性极高的频度信息，就在与该候补音素串建立对应地包含在频度数据l〇2f中的该感情所涉及的感情频度上加上1。由此更新频度数据102f。例如，频度记录部14d若被提供表示判定为发出了与某候补音素串对应的声音时的用户的感情是正面的感情的可能性极高的频度信息，则在与该候补音素串建立对应地包含在频度数据102f中的正面感情频度上加上1。[0048]感情音素串判定部14e取得存储于ROM102的频度数据102f，按每种感情，按照取得的频度数据l〇2f来评价候补音素串与感情的关联度，由此判定候补音素串是否是感情音素串。感情音素串判定部14e相当于频度数据取得单元以及判定单元。感情音素串判定部14e将表示判定结果的数据提供给感情音素串记录部14g。另外，感情音素串判定部I4e将表示感情音素串与感情的关联度的信息提供给调整分数生成部14f。[OO49]具体地，感情音素串判定部14e将候补音素串当中如下那样的候补音素串判定为是感情音素串：该候补音素串与上述的3种类的感情的任一者的关联度显著高，并且与该候补音素串建立对应地包含在频度数据l〇2f中的该感情所涉及的感情频度相对于与该候补音素串建立对应地包含在频度数据l〇2f中的合计感情频度的比例即感情频度比率为学习阈值以上。学习阈值通过实验等任意的手法来设定。[0050]感情音素串判定部14e用卡方检验法chi-squaretest来检验设为“该感情与候补音素串的关联度并非显著高，即，该感情所涉及的感情频度与其他2种感情所涉及的感情频度相等”的零假设nullhypothesis，由此判定候补音素串与某感情的关联度是否显著高。具体地，感情音素串判定部14e取得用各感情所涉及的感情频度的合计值即感情合计频度除以感情的数量即3而得到的值，作为期待值。感情音素串判定部14e按照该期待值、和与判定对象的候补音素串建立对应地包含在频度数据102f中的判定对象的感情所涉及的感情频度来计算卡方。感情音素串判定部14e用将从感情的数量3减去1而得到的数即2作为自由度的卡方分布来检验计算出的卡方。感情音素串判定部14e在卡方的概率低于显著性水平的情况下，判定为丢弃上述的零假设，判定为判定对象的候补音素串与判定对象的感情的关联度显著高。显著性水平通过实验等任意的手法预先设定。[0051]感情音素串判定部14e将上述的显著性的判定中所用的卡方的概率和上述的感情频度比率一起作为上述的表示关联度的信息提供给调整分数生成部14f。感情频度比率越大，则感情首素串与感情的关联度越尚。另外，卡方的概率越小，感情首素串与感情的关联度越高。[0052]调整分数生成部14f对各感情音素串按每种感情生成和感情音素串与该感情的关联度相应的数值，即该感情所涉及的调整分数。调整分数生成部14f将生成的调整分数提供给感情音素串记录部14g。具体地，从感情音素串判定部14d提供的信息所表示的感情音素串与感情的关联度越高，调整分数生成部14f将调整分数的值设定得越大。如后述那样，处理部15对应于调整分数来识别用户的感情。调整分数的值越大，该调整分数所涉及的感情就越容易被决定为用户的感情。即，调整分数生成部14f通过感情音素串与感情的关联度越高就将调整分数的值设定得越大，从而易于将与感情音素串关联度高的感情决定为用户的感情。更具体地，调整分数生成部14f，作为表示关联度的信息被提供的感情频度比率越大则将调整分数的值设定得越大，并且，同样作为表示关联度的信息被提供的卡方的概率越小则将调整分数的值设定得越大。[0053]感情音素串记录部14g按照从感情音素串判定部14e提供的感情音素串的判定结果和从调整分数生成部14f提供的调整分数来更新存储于ROM1〇2的感情音素串数据102g。感情音素串数据10¾是将感情音素串、和对应于该感情音素串而生成的各感情所涉及的调整分数相互建立对应地包含的数据。具体地，感情音素串数据l〇2g如图4所示那样，将感情音素串、正面调整分数、负面调整分数和中性调整分数相互建立对应地包含。正面调整分数是正面的感情所涉及的调整分数。负面调整分数是负面的感情所涉及的调整分数。中性感情分数是中性的感情所涉及的调整分数。[0054]回到图2,感情音素串记录部14g响应于由感情音素串判定部14e判定为尚未作为感情音素串而存放于感情音素串数据102g的候补音素串是感情音素串，将该感情音素串与从调整分数生成部14f提供的调整分数建立对应地进行存放。另外，感情音素串记录部14g响应于由感情音素串判定部14e判定为己作为感情音素串而存放于感情音素串数据102g的候补音素串是感情音素串，用从调整分数生成部14f提供的调整分数来置换与该感情音素串建立对应地存放的调整分数，由此进行更新。另外，感情音素串记录部14g响应于由感情音素串判定部14e判定为已作为感情音素串而存放于感情音素串数据l〇2g的候补音素串不是感情音素串，将该感情音素串从感情音素串数据102g删除。即，若由感情音素串判定部14e判定为是感情音素串并暂时存放在感情音素串数据102g的候补音素串通过之后的学习处理被感情音素串判定部14e判定为不是感情音素串，则感情音素串记录部1¼将该候补音素串从感情音素串数据1〇2g删除。由此存储负担减轻，并且学习精度提升。[0055]处理部15在感情识别模式下按照学习部14的学习的结果来识别用户的感情，输出表征识别结果的感情图像以及感情声音。具体地，处理部15具备感情音素串检测部15a、感情分数调整部15b和感情决定部15c。[0056]感情音素串检测部15a响应于从声音输入部10被提供声音数据102b，来判定在该声音数据l〇2b所表征的声音中是否包含感情音素串。感情音素串检测部15a将判定结果提供给感情分数调整部15b。另外，感情音素串检测部15a若判定为在声音中包含感情音素串，就取得对应于该感情音素串而存放在感情音素串数据102g中的各感情所涉及的调整分数，和判定结果一起提供给感情分数调整部15b。[0057]具体地，感情音素串检测部15a从感情音素串生成音响特征量，将该音响特征量和从声音数据l〇2b生成的音响特征量进行比较对照，来判定在该声音数据102b所表征的声音中是否包含感情音素串。另外，也可以通过对声音数据102所表征的声音进行声音识别来将该声音变换成音素串，将该音素串和感情音素串进行比较对照，由此判定在该声音中是否包含感情音素串。在本实施方式中，通过用利用了音响特征量的比较对照来判定感情音素串的有无，从而抑制了以声音识别中的误识别为原因而判定精度降低的情况，使感情识别的精度得以提升。[0058]感情分数调整部15b按照从声音感情分数计算部11提供的声音感情分数、从脸部感情分数计算部13提供的脸部感情分数和从感情音素串检测部15a提供的判定结果来取得各感情所涉及的合计感情分数。感情分数调整部15b将取得的合计感情分数提供给感情决定部15c。[0059]具体地，感情分数调整部15b响应于感情音素串检测部15a判定为在声音数据102b所表征的声音中包含感情音素串，通过将声音感情分数、脸部感情分数和从感情音素串检测部15a提供的调整分数按每种感情加在一起，来取得该感情所涉及的合计感情分数。例如感情分数调整部15b通过将正面的感情所涉及的声音感情分数、正面的感情所涉及的脸部感情分数和正面调整分数加在一起来取得正面的感情所涉及的合计感情分数。另外，感情分数调整部15b响应于感情音素串检测部15a判定为在声音中不含感情音素串，通过将声音感情分数和脸部感情分数按每种感情加在一起，来取得该感情所涉及的合计感情分数。[0060]感情决定部15c按照从感情分数调整部15b提供的各感情所涉及的合计感情分数来决定用户的感情是上述的3种类的感情的哪一种。感情决定部15c生成表征所决定的感情的感情图像以及或者感情声音，提供给输出部1〇4并使其输出。具体地，感情决定部15c将与各感情所涉及的合计感情分数当中最大的合计感情分数对应的感情决定为用户的感情。即，合计感情分数越大，该合计感情分数所涉及的感情就越易于被决定为用户的感情。如上述那样，在声音中包含感情音素串的情况下，合计感情分数通过加上调整分数来取得。另夕卜，对应的感情与感情音素串的关联度越高，则调整分数被设定为越大的值。因此在声音中包含感情音素串的情况下，与该感情音素串关联度高的感情易于被决定为发出了该声音时的用户的感情。即，感情决定部15c通过参酌感情音素串与用户的感情的关联度进行感情识别，能使感情识别的精度得以提升。特别在各感情所涉及的声音感情分数以及脸部感情分数之间没有显著的差、若仅按照该声音感情分数以及脸部感情分数决定用户的感情就有可能错误识别用户的感情的情况下，能通过参酌调整分数所表征的感情音素串与用户的感情的关联度来提高感情识别的精度。[0061]以下参考图5以及图6的流程图来说明具备上述的物理功能构成的信息处理装置1所执行的学习处理以及感情识别处理。[0062]首先参考图5的流程图来说明信息处理装置1在学习模式下执行的学习处理。信息处理装置1经由外部接口105从外部装置取得多个声音数据102b、多个脸部图像数据102c、第1参数102d以及第2参数，并预先存储在R0M102。在该状态下，在用户通过操作输入部103选择了学习模式作为信息处理装置1的动作模式后，若指定了多个声音数据102b当中的任一者，CPU100就开始图5的流程图所示的学习处理。[0063]首先，声音输入部10从R0M102取得由用户指定的声音数据l〇2b步骤S101，提供给声音感情分数计算部11以及学习部14。声音感情分数计算部11按照在步骤S101的处理中取得的声音数据l〇2b来计算声音感情分数步骤Sl〇2，并提供给学习部14。图像输入部12从R0M102取得与在步骤S101的处理中取得的声音数据102建立对应地存放的脸部图像数据102c步骤Sl〇3，并提供给脸部感情分数计算部13。脸部感情分数计算部13按照在步骤S103的处理中取得的脸部图像数据102c来计算脸部感情分数步骤S104，并提供给学习部14。[OOM]接下来，音素串变换部14a将在步骤S101中取得的声音数据i〇2b变换成音素串（步骤Sl〇5，提供给候补音素串提取部14b。候补音素串提取部14b提取在步骤S105的处理中生成的音素串当中满足上述的提取条件的音素串，作为候补音素串（步骤S106，提供给频度生成部14c。频度生成部14c对在步骤S106的处理中提取的各候补音素串，按上述的3种类的感情的每一种，按照由步骤S102以及步骤S104的处理计算出的与该声音对应的声音感情分数以及脸部感情分数来判定发出了与该候补音素串对应的声音时的用户的感情是该感情的可能性是否极高，并生成表征判定结果的频度信息步骤S107。频度生成部14c将生成的频度信息提供给频度记录部14d。频度记录部14d按照在步骤S107的处理中生成的频度信息来更新存储于R0M102的频度数据102f步骤S108。感情音素串判定部i4e对每个候补音素串按照在步骤S108的处理中更新后的频度数据i〇2f取得与各感情的关联度，通过评价该关联度来判定各候补首素串是否是感情音素串（步骤S109。感情音素串判定部]_4e将判定结果提供给感情音素串记录部14g，并将取得的关联度提供给调整分数生成部14f。调整分数生成部14f生成与在步骤S109的处理中取得的关联度相应的调整分数步骤su〇。感情音素串记录部14g按照步骤S109的处理中的判定结果和在步骤sil〇的处理中生成的调整分数来更新感情音素串数据l〇2g步骤S111，并结束学习处理。[0065]接下来参考图6的流程图来说明信息处理装置1在感情识别模式下执行的感情识别处理。信息处理装置1在感情识别处理的执行之前，通过执行上述的学习处理来学习感情音素串，在ROM102中存储将感情音素串和调整分数相互建立对应地包含的感情音素串数据102g。另外，信息处理装置1经由外部接口105从外部装置取得多个声音数据1〇2b、多个脸部图像数据l〇2c、第1参数102d以及第2参数，并预先存储在ROM102。在该状态下，在用户通过操作输入部1〇3选择了感情识别模式作为信息处理装置1的动作模式后，若指定了多个声音数据102b当中的任一者，则CPU100开始图6的流程图所示的感情识别处理。[0066]首先，声音输入部1〇从R0M102取得指定的声音数据l〇2b步骤S201，提供给声音感情分数计算部11。声音感情分数计算部11按照在步骤S201的处理中取得的声音数据l〇2b来计算声音感情分数步骤S2〇2，提供给处理部15。图像输入部12从R0M102取得与在步骤S2〇l的处理中取得的声音数据10¾建立对应地存放的脸部图像数据l〇2c步骤S203，提供给脸部感情分数计算部I3。脸部感情分数计算部13按照在步骤S203的处理中取得的脸部图像数据l〇2c来计算脸部感情分数步骤S204，提供给处理部15。[0067]接下来，感情音素串检测部15a判定在步骤S201的处理中取得的声音数据l〇2b所表征的声音中是否包含感情音素串（步骤S205。感情音素串检测部15a将判定结果提供给感情分数调整部15b，并在判定为包含感情音素串的情况下，取得与该感情音素串建立对应地包含在感情音素串数据l〇2g中的调整分数，提供给感情分数调整部15b。感情分数调整部15b对应于步骤S205的处理中的判定结果来取得各感情所涉及的合计感情分数（步骤5206，提供给感情决定部15c。具体地，感情分数调整部15b在步骤S205的处理中判定为声音中包含感情音素串的情况下，按每种感情将在步骤S202的处理中计算出的声音感情分数、在步骤S204的处理中计算出的脸部感情分数、和从感情音素串检测部15a提供的与感情音素串对应的调整分数加在一起，由此取得该感情所涉及的合计感情分数。另外，感情分数调整部15b在由步骤S205的处理判定为声音中不含感情音素串的情况下，将在步骤S202的处理中计算出的声音感情分数和在步骤S204的处理中计算出的脸部感情分数按每种感情加在一起，由此取得该感情所涉及的合计感情分数。接下来，感情决定部15c决定为:与在步骤S206的处理中取得的各感情所涉及的合计感情分数当中最大的合计感情分数对应的感情是发出了在步骤S201的处理中取得的声音数据10¾所表征的声音时的用户的感情步骤5207。感情决定部15c生成表征在步骤S207的处理中决定的感情的感情图像以及或感情声音，使输出部104输出步骤S208，并结束感情识别处理。[0068]如以上说明的那样，信息处理装置1在学习模式下学习与用户的感情的关联度高的音素串作为感情音素串，在感情识别模式下，使得容易将与感情音素串的关联度高的感情决定为发出了包含该感情音素串的声音时的用户的感情。由此，信息处理装置1能使错误识力I」用户的感情的可能性降低，并使感情识别的精度得以提升。换言之，信息处理装置!通过参酌学习模式下的学习的结果，能抑制不适合用户的感情的处理的执行。即，信息处理装置1通过参酌用户所固有的信息即感情音素串与感情的关联度，能比仅利用通用数据的感情识别更加精度良好地识别该用户的感情。另外，信息处理装置1通过执行上述的学习处理来学习用户所固有的信息即感情音素串与感情的关联度，从而推进了个人适应，能使感情识别的精度累积性地提升。[0069]第2实施方式）[0070]在上述第1实施方式中，说明了信息处理装置丨在感情识别模式下根据学习模式下的学习的结果来识别用户的感情，输出表征识别结果的感情图像以及或者感情声音。但这只是一例，彳目息处理装置1能根据学习模式下的学习的结果来执行任意的处理。以下参考图7以及图8来说明信息处理装置丨，，其作为动作模式，和上述的学习模式以及感情识别模式一起还具备更新模式，通过按照该更新模式进行动作，从而根据学习模式下的学习的结果将声音感情分数以及脸部感情分数的计算中所用的第1参数l〇2d以及第2参数102e进行更新。[0071]信息处理装置1’虽然具备与信息处理装置1大致同样的构成，但处理部15’的构成的一部分不同。以下对信息处理装置1’的构成以与信息处理装置1的构成的相异点为中心进行说明。[0072]信息处理装置1’如图7所示那样，作为CPU100的功能而具备参数候补生成部15d、参数候补评价部15e和参数更新部15fXPU100通过执行存储于ROM102的控制程序102a对信息处理装置1’进行控制，从而作为这些各部发挥功能。参数候补生成部15d生成预先设定的个数的新的第1参数l〇2d以及第2参数102e的候补即参数候补，提供给参数候补评价部15e。参数候补评价部1¾按照存储于ROM102的感情音素串数据102g来评价各参数候补，将评价结果提供给参数更新部15f。关于评价方法的详情，之后叙述。参数更新部15f按照参数候补评价部15e的评价的结果来决定数候补当中的任一者，通过用决定的参数候补来置换当前存储于ROM102的第1参数102d以及第2参数102e来更新第1参数102d以及第2参数102e。[OO73]以下，参考图8的流程图来说明上述的信息处理装置1’所执行的更新处理。信息处理装置1’在更新处理的执行前，通过执行上述第1实施方式说明的学习处理来学习感情音素串，在R0M102存储将感情音素串和调整分数相互建立对应地包含的感情音素串数据102g。另外，信息处理装置1’经由外部接口105从外部装置取得多个声音数据10213、多个脸部图像数据102c、第1参数102d以及第2参数，预先存储在ROM102。在该状态下，若用户通过操作输入部103选择更新模式作为信息处理装置1’的动作模式，则CPU100开始图8的流程图所示的更新处理。[0074]首先，参数候补生成部15d生成预先设定的个数的参数候补步骤S301。参数候补评价部15e指定存储于R0M102的多个声音数据10¾当中预先设定的个数的声音数据l〇2b步骤S3〇2。参数候补评价部15e选择在步骤S301的处理中生成的参数候补当中的一者作为评价对象步骤S303。参数候补评价部15e选择在步骤S302的处理中指定的多个声音数据102b当中的一者步骤S304。[0075]参数候补评价部15e取得在步骤S304的处理中选择的声音数据102b、和与该声音数据建立对应地存放在R0M102的脸部图像数据10此步骤S305。参数候补评价部15e使声音感情分数计算部11以及脸部感情分数计算部13按照在步骤S303的处理中选择的参数候补计算与在步骤S305的处理中取得的声音数据l〇2b以及脸部图像数据l〇2c分别相应的声音感情分数以及脸部感情分数步骤S306。参数候补评价部15e通过将在步骤S306的处理中计算出的声音感情分数以及脸部感情分数按每种感情加在一起来取得合计感情分数步骤S307。[0076]接下来，参数候补评价部15e使声音感情分数计算部11以及脸部感情分数计算部I3按照当前存储于R0M102的第1参数l〇2d以及第2参数102e来计算与在步骤S305的处理中取得的声音数据l〇2b以及脸部图像数据102c分别相应的声音感情分数以及脸部感情分数步骤S308。感情音素串检测部15a判定在步骤S305的处理中取得的声音数据102b所表征的声音中是否包含感情音素串（步骤S309。感情音素串检测部15a将判定结果提供给感情分数调整部15b，并在判定为包含感情音素串的情况下，取得与该感情音素串建立对应地包含在感情音素串数据102g中的调整分数，提供给感情分数调整部15b。感情分数调整部15b按照步骤S309的处理中的判定结果和被提供的调整分数来取得合计感情分数步骤S310。[0077]参数候补评价部Me计算在步骤S307的处理中取得的合计感情分数与在步骤S310的处理中取得的合计感情分数的差的平方值步骤S311。计算出的差的平方值表示按照在步骤S3〇4的处理中选择的声音数据10¾评价出的、在步骤S303的处理中选择的参数候补与学习模式下的学习结果的匹配度matchingdegree。差的平方值越小，则参数候补与学习结果的匹配度越高。参数候补评价部l5e判定是否选择了在步骤S302的处理中指定的多个声音数据102b的全部步骤S312。若判定为在步骤S3〇2的处理中指定的声音数据l〇2b当中还有尚未选择的数据步骤S312;“否”），则处理回到步骤S304,选择尚未选择的声音数据102b当中的任意一个。[0078]若判定为选择了在步骤S3〇2的处理中指定的声音数据l〇2b的全部（步骤S312;“是”），则参数候补评价部l5e计算与各声音数据10¾对应的在步骤S311的处理中计算出的差的平方值的合计值步骤S313。计算出的差的平方值的合计值表示按照在步骤S302的处理中指定的全部声音数据102b评价出的、在步骤S303的处理中选择的参数候补与学习模式下的学习结果的匹配度。差的平方值的合计值越小，参数候补与学习结果的匹配度越高。参数候补评价部15e判定是否选择了在步骤S3〇l的处理中生成的多个参数候补的全部步骤S314。若判定为在步骤S301的处理中生成的参数候补当中还有尚未选择的候补（步骤S314;“否”），则处理回到步骤S303,选择尚未选择的参数候补当中任意一个。CPU100通过直到在步骤S：314的处理中判定为“是”为止都重复步骤S303〜步骤S314的处理，从而对在步骤S301的处理中生成的全部参数候补按照在步骤S3〇2中指定的多个声音数据1〇213评价与学习模式下的学习的结果的匹配度。[0079]若判定为选择了在步骤S301的处理中生成的参数候补的全部步骤S314;“是，，），则参数更新部1沉将参数候补当中在对应的步骤S313的处理中计算出的差的平方值的合计值最小的参数候补决定为新的第1参数l〇2d以及第2参数10¾步骤S315。换言之，参数更新部1证在步骤S315的处理中将参数候补当中与学习模式下的学习的结果的匹配度最高的参数候补决定为新的第1参数l〇2d以及第2参数l〇2e。参数更新部l5f通过用在步骤S315的处理中决定的参数候补来置换当前存储于R〇Ml〇2的第1参数l〇2d以及第2参数l〇2e，从而更新第1参数102d以及第2参数102e步骤S316，并结束更新处理。[0080]信息处理装置1’在感情识别模式下使用在更新模式下进行了更新的第1参数102d以及第2参数102e来计算声音感情分数以及脸部感情分数，并执行上述的图6的流程图所示的感情识别处理。由此感情识别的精度得以提升。[0081]如以上说明的那样，信息处理装置1’在更新模式下更新第1参数l〇2d以及第2参数l〇2e，使它们适合学习模式下的学习的结果，在感情识别模式下使用更新后的第丨参数102d以及第2参数102e来执行感情识别。由此，信息处理装置丨’能使感情识别的精度得以提升。通过对应于学习结果来更新在声音感情分数以及脸部感情分数的计算中所用的参数自身，从而在声音中不含感情音素串的情况下也能使感情识别的精度得到提升。[0082]以上说明了本发明的实施方式，但上述实施方式是一例，本发明的适用范围并不限于此。即，本发明的实施方式能有种种应用，所有的实施方式都包含在本发明的范围内。[0083]例如，在上述第1、第2实施方式中，说明了信息处理装置1U’按照声音感情分数以及脸部感情分数进行感情音素串的学习、用户的感情的识别以及参数的更新。但这只是一例，信息处理装置1、1’可以使用表示发出了与音素串对应的声音时的用户的感情是某感情的可能性的高低的任意的感情分数来执行上述的各处理。例如信息处理装置1、1’可以仅使用声音感情分数来执行上述的各处理，也可以和声音感情分数一起使用脸部感情分数以外的感情分数来执行上述的各处理。[0084]在上述第1、第2实施方式中，说明了频度生成部i4c通过判定将声音感情分数和脸部感情分数按每种感情加在一起而取得的各感情所涉及的合计感情分数是否为检测阈值以上，来判定声音感情分数以及脸部感情分数是否满足检测条件。但这只是一例，能将任意的条件设定为检测条件。例如，频度生成部14c可以通过将声音感情分数和脸部感情分数按每种感情附加预先设定的权重后加在一起来取得各感情所涉及的合计感情分数，通过判定该合计感情分数是否为检测阈值以上来判定声音感情分数以及脸部感情分数是否满足检测条件。在该情况下，权重通过实验等任意的手法设定即可。[0085]在上述第1、桌2实施方式中，说明了感情音素串判定部I4e将候补音素串当中该候补音素串与上述的3种类的感情的任一者的关联度显著高、且感情频度比率为学习阈值以上的候补音素串判定为是感情音素串。但这只是一例，感情音素串判定部14e能按照频度数据102f用任意的方法判定感情音素串。例如感情音素串判定部I4e也可以不管感情频度比率如何，都将候补音素串当中该候补音素串与3种类的感情的任一者的关联度显著高的候补音素串判定为是感情音素串。或者感情音素串判定部14e也可以不管该候补音素串与该感情的关联度是否显著高，都将候补音素串当中3种类的感情的任一者所涉及的感情频度的感情频度比率为学习阈值以上的候补音素串判定为是感情音素串。[0086]在上述第1实施方式中，说明了感情决定部15c按照学习部14学习的调整分数、和从声音感情分数计算部11以及脸部感情分数计算部13提供的声音感情分数以及脸部感情分数来决定用户的感情。但这只是一例，感情决定部15c也可以仅按照调整分数来决定用户的感情。在该情况下，感情音素串检测部1¾响应于判定为声音数据l〇2b所表征的声音中包含感情音素串，取得与该感情音素串建立对应地存放在感情音素串数据102g的调整分数，提供给感情决定部15c。感情决定部15c将与取得的调整分数当中最大的调整分数对应的感情决定为用户的感情。[0087]在上述第1、第2实施方式中，说明了音素串变换部14a对声音数据l〇2b所表征的声音以句子为单位进行声音识别，且变换成附带词类信息的音素串。但这只是一例。音素串变换部14a也可以以单词为单位、以丨个字符为单位、以音素为单位来进行声音识别。另外，音素串变换部14a不仅能将表征语言的声音变换成音素串，还能通过使用适合的音素辞典或单词辞典进行声音识别来将伴随咂嘴、打嗝、打哈欠等动作的声音也变换成音素串。根据该方式，信息处理装置1、1’能学习与伴随咂嘴、打嗝、打哈欠等动作的声音对应的音素串，作为感情音素串，根据该学习结果来执行处理。[0088]在上述第1实施方式中，说明了信息处理装置1根据学习模式下的学习的结果来识别用户的感情，输出表征识别结果的感情图像以及感情声音。另外，在上述第2实施方式中，说明了信息处理装置1’根据学习模式下的学习的结果来更新声音感情分数以及脸部感情分数的计算中所用的参数。但这些都只是示例，信息处理装置1、1’能根据学习模式下的学习的结果执行任意的处理。例如信息处理装置1、1’也可以响应于从外部的感情识别装置被提供声音数据，判定该声音数据中是否包含所学习的感情音素串，取得与该判定结果相应的调整分数，并提供给该感情识别装置。即，在该情况下，信息处理装置1、1’按照学习模式下的学习的结果执行将调整分数提供给外部的感情识别装置的处理。另外，在该情况下，在上述第1、第2实施方式中，也可以使说明为由信息处理装置1、1’所执行的处理的一部分由该外部的感情识别装置执行。例如，由该外部的感情识别装置进行声音感情分数以及脸部感情分数的计算即可。[0089]在上述第1、第2实施方式中，说明了信息处理装置1、1’识别用户的感情是正面的感情、负面的感情以及中性的感情这3种类的感情的哪一种。但这只是一例，信息处理装置1、1’能识别2个以上的任意数量的用户的感情。另外，用户的感情能用任意的方法区分。[0090]在上述第1、第2实施方式中，说明了声音数据102b以及脸部图像数据102c分别由外部的录音装置以及摄像装置生成，但这只是一例，信息处理装置1、1’也可以自己生成声音数据102b以及脸部图像数据102c。在该情况下，信息处理装置1、1’具备录音单元以及摄像单元，用该录音单元对用户发出的声音进行录音来生成声音数据l〇2b，并用该摄像单元对用户的脸部图像进行摄像来生成脸部图像数据l〇2c即可。这时，在该信息处理装置1、1’执行感情识别模式的情况下，也可以取得由录音单元取得的用户的说话声音作为声音数据102b，取得所述用户说话时由摄像单元取得的所述用户的脸部图像作为脸部图像数据102c，实时进行所述用户的感情识别。[0091]另外，能将预先具备用于实现本发明所涉及的功能的构成的信息处理装置作为本发明所涉及的信息处理装置来提供自不必说，还能通过程序的运用使PCPersonalComputer，个人计算机）、智能手机、平板终端等已有的彳目息处理装置作为本发明所涉及的信息处理装置发挥功能。即，通过运用用于实现本发明所涉及的信息处理装置的各功能构成的程序，使得控制已有的信息处理装置的计算机能执行，从而能使该已有的信息处理装置作为本发明所涉及的信息处理装置发挥功能。另外，这样的程序能以任意的方法运用。能将程序存储在例如软盘、CDCompactDisc，光盘_R〇M、DVD①igitalVersatileDisc，数字多功能盘-ROM、存储卡等计算机可读的存储介质中来运用。进而，还能将程序叠加到载波，经由因特网等通信网络来运用。例如可以在通信网络上的公告板BBS:BulletinBoardSystem，电子布告栏系统）公告并发布程序。并且，也可以构成为通过起动该丨王序，在〇SOperatingSystem，操作系统）的控制下与其他应用程序冋样地执彳丁，由此㉟执彳丁上述的处理。[0092]以上说明了本发明的优选的实施方式，但本发明并不限定于相关的特定的实施方式，在本发明中包含权利要求书所记载的发明和其等同的范围。

权利要求：1.一种信息处理装置，其特征在于，具备：学习单元，其将从声音生成的音素串按照该音素串与用户的感情的关联度作为感情音素串来进行学习；和感情识别单元，其按照所述学习单元的学习的结果来进行感情识别所涉及的处理。2.根据权利要求1所述的信息处理装置，其特征在于，所述信息处理装置还具备：感情分数取得单元，其对应于音素串，按每种感情取得表示发出了与该音素串对应的声音时的用户的感情是该感情的可能性的高低的该感情所涉及的感情分数；频度数据取得单元，其与音素串建立对应地按每种感情取得包含该感情所涉及的感情频度的频度数据，所述频度数据是判定为与该音素串对应的声音所相应的该感情所涉及的所述感情分数满足检测条件的次数的累积值；判定单元，其通过按照所述频度数据来评价音素串与感情的关联度，从而判定该音素串是否是所述感情音素串，所述学习单元按照所述判定单元的判定来学习所述感情音素串。3.根据权利要求2所述的信息处理装置，其特征在于，所述判定单元将音素串当中满足如下条件中的至少任一个条件的音素串判定为是感情音素串：该音素串与感情的关联度显著高；与该音素串建立对应地包含在所述频度数据中的该感情所涉及的所述感情频度相对于与该音素串建立对应地包含在所述频度数据中的各感情所涉及的所述感情频度的合计值的比例为学习阈值以上。4.根据权利要求2或3所述的信息处理装置，其特征在于，所述信息处理装置还具备：调整分数生成单元，其生成和所述感情音素串与感情的关联度相应的调整分数，所述学习单元与所述感情音素串建立对应来学习所述调整分数。5.根据权利要求4所述的信息处理装置，其特征在于，所述感情识别单元按照所述调整分数来识别用户的感情。6.根据权利要求4或5所述的信息处理装置，其特征在于，所述感情识别单元按照所述调整分数来更新在所述感情分数的计算中使用的参数。7.—种信息处理装置的感情识别方法，包括：学习步骤，将从声音生成的音素串按照该音素串与用户的感情的关联度作为感情音素串来进行学习；和感情识别步骤，按照所述学习步骤的学习的结果来进行感情识别所涉及的处理。8.—种计算机可读的记录介质，记录有程序，该程序使信息处理装置所内置的计算机作为如下单元发挥功能：学习单元，其将从声音生成的音素串按照该音素串与用户的感情的关联度作为感情音素串来进行学习；和感情识别单元，其按照所述学习单元的学习的结果来进行感情识别所涉及的处理。

百度查询： 卡西欧计算机株式会社 信息处理装置、感情识别方法以及存储介质