什(shén)麽是spider？(引擎蜘蛛)

spider是搜索引擎的(de)一個(gè)自動程序。它的(de)作用(yòng)是訪問互聯網上(shàng)的(de)html網頁，建立索引數據庫，使用(yòng)戶能(néng)在搜索引擎中搜索到(dào)您網站的(de)網頁。

spider對一個(gè)網站服務器(qì)造成的(de)訪問壓力如(rú)何？

spider會(huì)自動根據服務器(qì)的(de)負載能(néng)力調節訪問密度。在連續訪問一段時間後，spider會(huì)暫停一會(huì)，以防止增大(dà)服務器(qì)的(de)訪問壓力。所以在一般情況下，spider對您網站的(de)服務器(qì)不會(huì)造成過大(dà)壓力。

爲什(shén)麽spider不停的(de)抓取我的(de)網站？

對于您網站上(shàng)新産生的(de)或者持續更新的(de)頁面，spider會(huì)持續抓取。此外，您也(yě)可(kě)以檢查網站訪問日志中spider的(de)訪問是否正常，以防止有(yǒu)人(rén)惡意冒充 spider來頻繁抓取您的(de)網站。如(rú)果您發現spider非正常抓取您的(de)網站，請發送反饋郵件(jiàn)到(dào)該搜索引擎，并請盡量給出spider對貴站的(de)訪問日志，以便于我們跟蹤處理(lǐ)。

我不想我的(de)網站被spider訪問，我該怎麽做？

spider遵守互聯網robots協議。您可(kě)以利用(yòng)robots.txt文(wén)件(jiàn)完全禁止spider訪問您的(de)網站，或者禁止spider訪問您網站上(shàng)的(de)部分(fēn)文(wén)件(jiàn)。 注意：禁止spider訪問您的(de)網站，将使您的(de)網站上(shàng)的(de)網頁，在搜索引擎以及所有(yǒu)提供搜索引擎服務的(de)搜索引擎中無法被搜索到(dào)。

關于robots.txt的(de)寫作方法，請參看我們的(de)介紹：robots.txt寫作方法

爲什(shén)麽我的(de)網站已經加了robots.txt，還能(néng)在搜索出來？

因爲搜索引擎索引數據庫的(de)更新需要時間。雖然spider已經停止訪問您網站上(shàng)的(de)網頁，但(dàn)搜索引擎數據庫中已經建立的(de)網頁索引信息，可(kě)能(néng)需要二至四周才會(huì)清除。 另外也(yě)請檢查您的(de)robots配置是否正确。

蜘蛛在robots.txt中的(de)名字是什(shén)麽？

“spider”全部爲小(xiǎo)寫字母。

spider多長時間之後會(huì)重新抓取我的(de)網頁？

搜索引擎每周更新，網頁視重要性有(yǒu)不同的(de)更新率，頻率在幾天至一月(yuè)之間，spider會(huì)重新訪問和(hé)更新一個(gè)網頁。

知道了什(shén)麽是SPIDER蜘蛛，那麽怎麽才能(néng)知道蜘蛛是否來過你(nǐ)的(de)站？這個(gè)可(kě)以從你(nǐ)服務器(qì)或者虛拟主機的(de)日志中看出來，如(rú)果你(nǐ)還想知道有(yǒu)沒有(yǒu)其它搜索引擎的(de)蜘蛛來過你(nǐ)的(de)站，你(nǐ)可(kě)以在日志文(wén)件(jiàn)中搜索“spider”這個(gè)詞，或者搜索蜘蛛的(de)IP，查看蜘蛛是否來過你(nǐ)的(de)站，IIS日志與Apache的(de)日志是一樣的(de)，都(dōu)可(kě)以查到(dào)。

下面是整理(lǐ)出來的(de)一些搜索蜘蛛的(de)地(dì)址

1 202.106.186.* 163蜘蛛

2 202.108.36.* 163蜘蛛

3 202.108.44.* 163蜘蛛

4 202.108.45.* 163蜘蛛

5 202.108.5.* 163蜘蛛

6 202.108.9.* 163蜘蛛

7 220.181.12.* 163蜘蛛

8 220.181.13.* 163蜘蛛

9 220.181.14.* 163蜘蛛

10 220.181.15.* 163蜘蛛

11 220.181.28.* 163蜘蛛

12 220.181.31.* 163蜘蛛

13 222.185.245.* 163蜘蛛

14 202.165.100.* 3721蜘蛛

220.181.38.177 百度蜘蛛

15 220.181.19.* 百度蜘蛛

16 159.226.50.* 百度蜘蛛

17 202.108.11.* 百度蜘蛛

18 202.108.22.* 百度蜘蛛

19 202.108.23.* 百度蜘蛛

20 202.108.249.* 百度蜘蛛

21 202.108.250.* 百度蜘蛛

22 61.135.145.* 百度蜘蛛

23 61.135.146.* 百度蜘蛛

24 64.124.85.* become.com

25 61.151.243.* china蜘蛛

26 202.165.96.* gais.cs.ccu.edu.tw

27 216.239.33.* google蜘蛛

28 216.239.3