设计出品
扫描关注网站建设微信号

扫一扫微信二维码

Spider的分类

新乡云优化2019-10-25经验之谈
Spider的分类
按照现在网络上所有Spider的作用及表现出来的特征,可以将其分为三类:批量型Spider、增量型Spider和垂直型Spidero批量型Spider一般具有明显的抓取范围和目标,设置抓取时间的限制、抓取数据量的限制,或抓取固定范围内页面的限制等。当Spidei?的作业达到预先设置的目标就会停止。普通站长和SEO人员使用的采集工具或程序,所派岀的Spidei大都属于批量型Spider,一般只抓取固定网站的固定内容,或者设置对某一资源的固定目标数据量,当抓取的数据或者时间达到设置限制后就会自动停止,这种Spider就是很典型的批量型Spidero。
文章关键词