SEO蜘蛛池的原理和作用 蜘蛛池

蜘蛛池,从词义上来说的话,就是养蜘蛛的池子。第一,这里要对蜘蛛进行一下说明,他不是动物那个蜘蛛,而是百度spider。百度有很多服务器,通过对提交收录页面的内容抓取,即获得html,对页面上a标签进行分析,由a1到an进行逐个抓取html。由于全网网站巨多,所以需要很多由程序控制的抓取任务。第二,池子这个的理解,我们可以看做由不同网站形成的一个抽象化的池子。每个网站内容量不同,所以池子大小也不同。

蜘蛛池,也分为单一和集合型,也有变态型。

单一型,即用一个网站组成,其方法是用采集或镜像内容,达到实时更新。由百度蜘蛛抓取,形成习惯定期来抓,从页面结构上采用了适合蜘蛛爬行,也有用程序实现假地址比如:list-1-1 这里 1-1 看做两个参数,理论上讲两个参数有无穷多个页面,在参数后面可以跟"?"问好后面还可以跟别的,就好像我们养蚯蚓的盒子。让蚯蚓在里面自己开发线路,让百度蜘蛛每次爬行页面都感觉这个页面是新的内容,从而达到让百度蜘蛛就循环在站点上来回抓。


SEO 发布于  2021-11-10 10:52