看學習搜索優化的文章，都會看到蜘蛛這個詞，它不是我們現實中的動物蜘蛛，它是網絡中的一個很形象的專業名詞，網絡蜘蛛即Web Spider，互聯網就像一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。蜘蛛實際上是一個以人類無法達到的速度不間斷地執行訪問網絡上的網站并抓取網站內容任務的軟件程序。而我們所說的蜘蛛來爬網站，即是網站被搜索引擎收錄的過程。

網絡蜘蛛，是從網站某一個頁面開始，讀取網頁的內容，并找到在網頁中的其它鏈接地址，然后通過這些鏈接地址找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。