安徽网站优化人员告诉站长们为了在网上抓取尽可能多的页面，搜索引擎蜘蛛会跟着页面上的链接，从一个页面到另一个页面，仿佛蜘蛛在蜘蛛网上爬行，这就是搜索引擎蜘蛛名字的由来。

　　互联网作为一个整体是由链接网站和页面组成的。从理论上讲，蜘蛛可以从任何页面开始，然后跟随链接到网络上的每个页面。当然，由于网站和页面的链接结构极其复杂，蜘蛛需要采取一定的爬行策略来遍历网上的所有页面。

　　最简单的爬行遍历策略分为深度优先和广度优先两种。

　　深度优先意味着蜘蛛会跟随它找到的链接，直到前面没有其他链接，然后返回到第一页，跟随另一个链接，然后一直爬行。

　　爬行器跟踪链接，并从页面A爬行到A1、A2、A3和A4。当它到达A4页时，它返回到A页并跟随页面上的另一个链接到B1, B2, B3和B4。在深度优先策略中，蜘蛛会一直爬到走不动为止，然后再返回去爬另一条线。

　　此外安徽网站优化人员告诉大家广度优先意味着当蜘蛛发现多个页面上的链接,而不是一个链接后,它爬行通过第一层中的所有链接的页面,然后爬到第三层沿着链接页面的第二层。

　　蜘蛛沿着A页的链接爬行到A1、B1、C1页，直到A页的所有链接都被爬行，然后从A1页到找到的下一层链接，到A2、A3、A4…页面。