买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳启程智远网络科技有限公司

摘要：本发明涉及数据采集技术领域，发明了一种基于Python的招投标信息采集系统、方法及介质，包括网页采集模块，用于对招投标网站进行深层聚焦数据采集以及迭代网页提取，得到招投标网页信息；视觉采集模块，用于对招投标文件进行自适应图像采集以及版面文本提取，得到招投标文件信息；结构分析模块，用于对招投标网页信息以及招投标文件信息进行结构提取以及属性结构标注，得到标注招投标信息；语义分析模块，用于对标注招投标信息进行词法分析以及依存语义分析，得到招投标语义信息；合并存储模块，用于对招投标语义信息进行孪生文本标注以及信息分类存储，得到存储招投标信息。本发明可以提高招投标信息采集时的效率。

主权项：1.一种基于Python的招投标信息采集系统，其特征在于，所述系统包括网页采集模块、视觉采集模块、结构分析模块、语义分析模块及合并存储模块，其中：所述网页采集模块，用于对招投标网站进行深层聚焦数据采集以及迭代网页提取，得到招投标网页信息，其中，所述网页采集模块在执行对招投标网站进行深层聚焦数据采集以及迭代网页提取，得到招投标网页信息，包括：对招投标网站进行页面获取，得到招投标页面；对所述招投标页面进行页面相关性筛选，得到相关招投标页面；对所述相关招投标页面进行深层页面分析，得到深层页面信息；对所述相关招投标页面进行链接提取，得到相关地址列表；根据所述深层页面信息对所述相关地址列表进行迭代信息获取，得到招投标网页信息；所述视觉采集模块，用于对招投标文件进行自适应图像采集以及版面文本提取，得到招投标文件信息，其中，所述视觉采集模块在执行对招投标文件进行自适应图像采集以及版面文本提取，得到招投标文件信息，包括：对招投标文件进行图像采集，得到招投标文件图像；对所述招投标文件图像进行图像灰度化，得到灰度文件图像；利用如下的自适应权重滤波算法对所述灰度文件图像进行图片除噪，得到除噪文件图像：其中，是所述除噪文件图像中坐标为的像素点的灰度值，是横轴坐标，是纵轴坐标，是预设的归一化权重，为横轴偏移，为纵轴偏移，为所述自适应权重滤波算法对应的滤波窗口的半径，是指所述灰度文件图像中坐标为的像素的灰度值，为指数函数符号，是预设的空间域标准差，为预设的强度域标准差，是指所述灰度文件图像中坐标为的像素的灰度值；对所述除噪文件图像进行图像均衡，得到均衡文件图像；对所述均衡文件图像进行图像二值化，得到二值文件图像；对所述二值文件图像进行版面文本提取，得到招投标文件信息；所述结构分析模块，用于对所述招投标网页信息以及所述招投标文件信息进行结构提取以及属性结构标注，得到标注招投标信息；所述语义分析模块，用于对所述标注招投标信息进行词法分析以及依存语义分析，得到招投标语义信息，其中，所述语义分析模块在执行对所述标注招投标信息进行词法分析以及依存语义分析，得到招投标语义信息，包括：对所述标注招投标信息进行文本分词，得到招投标词组；对所述招投标词组进行词性标注，得到属性招投标词组；对所述属性招投标词组进行句法树构建，得到招投标依存结构；对所述招投标依存结构进行三元组关系解析，得到招投标依存关系；根据所述招投标依存关系对所述招投标词组进行依存向量化操作，得到依存词特征组；利用所述依存词特征组对所述标注招投标信息进行语义映射，得到招投标语义信息；所述合并存储模块，用于根据所述招投标语义信息对所述标注招投标信息进行孪生文本标注以及信息分类存储，得到存储招投标信息。

全文数据：

权利要求：

百度查询： 深圳启程智远网络科技有限公司 基于Python的招投标信息采集系统、方法及介质