2.3 网页存储器与分析索引器

  Web页面被抓取回来后需要暂时的保存起来,以方便索引器的分析,通常情况下有页面存储器和索引软件来完成这些功能。页面存储器提供了两个接口:一个是为爬虫提供存储抓取到的页面,另一个则是为索引器和分析器提供获取页面的接口。页面存储器的涉及重要考虑页面的规模、页面的访问方式和数据更新以及页面的删除问题。当网络爬虫将网页抓取后存储在页面存储器中后,分析索引软件对页面信息进行自动分析和索引,然后建立提供查询的索引数据库。

上一篇:opencv基于视觉的交叉路口分析
下一篇:基于组合导航系统的地图创建技术

Wireshark的P2P文件共享中的行为提取软件设计

安卓的微博客户端设计+源代码

Python广告投放分类问题中的特征提取方法

微博热搜”机制的创新传...

语音信号的基音周期提取方法研究

社交网络上用户建模融合...

微博社交网络社区发现方法的研究

大淘宝网的虚假交易研究

个案管理茬老年糖尿病患...

新疆农林高校學生昆虫生...

发酵米粉优势菌株的发酵特性研究

2021年什么行业赚钱,适合...

浅谈农村大气环境保护的制度构建【1868字】

淮安市高校足球运动损伤问卷调查表

肢体语言在小学英语教学中的应用浅谈

激光模拟训练器材国内外研究现状

日语论文中日酒文化对比研究