看學(xué)習(xí)搜索優(yōu)化的文章，都會(huì)看到蜘蛛這個(gè)詞，它不是我們現(xiàn)實(shí)中的動(dòng)物蜘蛛，它是網(wǎng)絡(luò)中的一個(gè)很形象的專業(yè)名詞，網(wǎng)絡(luò)蜘蛛即Web Spider，互聯(lián)網(wǎng)就像一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。蜘蛛實(shí)際上是一個(gè)以人類無法達(dá)到的速度不間斷地執(zhí)行訪問網(wǎng)絡(luò)上的網(wǎng)站并抓取網(wǎng)站內(nèi)容任務(wù)的軟件程序。而我們所說的蜘蛛來爬網(wǎng)站，即是網(wǎng)站被搜索引擎收錄的過程。

網(wǎng)絡(luò)蜘蛛，是從網(wǎng)站某一個(gè)頁面開始，讀取網(wǎng)頁的內(nèi)容，并找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址找下一個(gè)網(wǎng)頁，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。