买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东浪潮超高清视频产业有限公司

摘要：本发明公开了一种智能会议多模态协同控制与智能处理的方法，涉及协同控制技术领域。本发明基于JAVA平台深度开发，并集成了私有实时通信协议MSC，实现了PC主机对会议一体机的无缝远程操控与多屏内容动态管理。本发明融合了多项AI技术，包括高效多人人脸识别、先进的自动语音识别及大语言模型，通过会议一体机实时捕捉会议场景数据，精准上传后进行实时数据分析。本发明不仅支持会议过程中的自动化签到流程，还利用AI算法自动生成详尽的会议纪要，极大提升了会议效率与信息记录的准确性。本发明显著增强了平台的智能化水平，推动工作迈入智能化、高效化新阶段，为工作现代化转型提供强有力的技术支撑。

主权项：1.一种智能会议多模态协同控制与智能处理的方法，其特征在于，包括以下步骤，步骤一，私有实时通信协议MSC；通过集成开源框架Netty，并在其基础上进行二次封装，采用数据传输过程中常用的JSON格式，仅定义了type和message两类数据；通过定义不同的type数值，来区分不同的控制类型；message采用Object数据类型，在处理不同的控制类型时，可进行控制内容信息的传递；步骤二，通过PC主机对会议一体机展示内容的实时控制，进行多屏联控同屏；步骤三，对doc、xls、ppt、txt不同格式会议文件进行转换，高效输送至前端设备进行展示，确保会议资料的无缝对接；步骤四，远程控制会议一体机对会议现场照片、音频的实时采集与上传；PC端通过发送不同的MSC消息，通过type字段对操作类型进行区分；下发操作指令后，会议一体机将操作指令对应的数据采集结果通过HTTP接口进行上传；步骤五，实时分析上报的会议图片进行人脸识别；采用多人人脸算法集成compareFace，并通过docker进行封装，向外提供API服务，提供人脸录入和人脸识别接口入口；会议一体机采集到人脸图片并上传后，由后端程序进行人脸接口调用，进行比对；比对完成后将结果实时返回给PC主机端和会议一体机会议页面；步骤六，远程控制会议一体机现场音频采集，语音识别集成Whisper算法进行语音识别；步骤七，利用kimi大语言模型，对语音识别内容进行总结润色，对所识别到的文本进行总结归纳，一键生成会议纪要。

全文数据：

权利要求：

百度查询： 山东浪潮超高清视频产业有限公司 一种智能会议多模态协同控制与智能处理的方法