什么是爬虫技术

来源:MINISO栏目:生活时间:2024-05-21 08:01:13

1、爬虫技术即网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

2、网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(GeneralPurposeWebCrawler)、聚焦网络爬虫(FocusedWebCrawler)、增量式网络爬虫(IncrementalWebCrawler)、深层网络爬虫(DeepWebCrawler)。实际的网络爬虫系统通常是几种爬虫技术相结合实现的。

免责声明:该内容由用户自行上传分享到《 秘密研究社》,仅供个人学习交流分享。本站无法对用户上传的所有内容(包括且不仅限于图文音视频)进行充分的监测,且有部分图文资源转载于网络,主要用于方便广大网友在线查询参考学习,不提供任何商业化服务。若侵犯了您的合法权益,请立即通知我们( 管理员邮箱:[email protected]),情况属实,我们会第一时间予以删除,并同时向您表示歉意,谢谢!!