蜘蛛池，从词义上来说的话，就是养蜘蛛的池子。第一，这里要对蜘蛛进行一下说明，他不是动物那个蜘蛛，而是百度spider。百度有很多服务器，通过对提交收录页面的内容抓取，即获得html，对页面上a标签进行分析，由a1到an进行逐个抓取html。由于全网网站巨多，所以需要很多由程序控制的抓取任务。第二，池子这个的理解，我们可以看做由不同网站形成的一个抽象化的池子。每个网站内容量不同，所以池子大小也不同。蜘蛛池，也分为单一和集合型，也有变态型。单一型，即用一个网站组成，其方法是用采集或镜像内容，达到实时更新。由百度蜘蛛抓取，形成习惯定期来抓，从页面结构上采用了适合蜘蛛爬行，也有用程序实现假地址比如：list-1-1 这里 1-1 看做两个参数，理论上讲两个参数有无穷多个页面，在参数后面可以跟"?"问好后面还可以跟别的，就好像我们养蚯蚓的盒子。让蚯蚓在里面自己开发线路，让百度蜘蛛每次爬行页面都感觉这个页面是新的内容，从而达到让百度蜘蛛就循环在站点上来回抓。...