淺析各大搜索引擎蜘蛛的那些事

一、列舉一下各大搜索引擎蜘蛛的名字

google蜘蛛： googlebot，百度蜘蛛：baiduspider，搜狗蜘蛛：sogou spider，搜搜蜘蛛：Sosospider，yahoo蜘蛛：slurp，alexa蜘蛛：ia_archiver，msn蜘蛛：msnbot，altavista蜘蛛：scooter，lycos蜘蛛： lycos_spider_（t-rex），alltheweb蜘蛛： fast-webcrawler，inktomi蜘蛛： slurp，有道蜘蛛：YodaoBot和OutfoxBot，熱土蜘蛛：Adminrtspider 。當(dāng)然這里只是象征性的列一下，就算我們分析日志的時(shí)候看到了也不要太奇怪，又或者你想禁止它們爬你的站點(diǎn)也是可以的。

二、一句話總結(jié)蜘蛛的習(xí)慣

google蜘蛛：不太愛(ài)爬，但愛(ài)收錄。

百度蜘蛛：爬謹(jǐn)慎，收錄更謹(jǐn)慎。

搜搜蜘蛛：愛(ài)爬圖片，經(jīng)常繞在動(dòng)態(tài)地址里出不來(lái)。

雅虎蜘蛛：恪守規(guī)則，每次都是先爬robots.txt。

其他的沒(méi)有太多留意，就不多說(shuō)了。

三、對(duì)于robots.txt的支持程度

全部分析可能也不現(xiàn)實(shí)，這里拿Disallow: /*?*分析（禁止動(dòng)態(tài)頁(yè)面抓取）。

google表現(xiàn)：寫(xiě)了禁止就不再爬，會(huì)在谷歌站長(zhǎng)工具中列出來(lái)它想爬被你阻止了，如下圖：

百度的表現(xiàn)：寫(xiě)了禁止之后很少爬，但是偶爾也會(huì)爬，相信是起作用了，因?yàn)樵絹?lái)越少，以前一天幾次現(xiàn)在幾天一次。

搜狗蜘蛛：可以說(shuō)是基本不聽(tīng)話，也不知道是不是不吃這個(gè)規(guī)則，說(shuō)它完全不吃它也吃了一點(diǎn)，只是把動(dòng)態(tài)地址的問(wèn)號(hào)拿掉了，然后照爬，一爬就是一大片，這不知道它能爬出什么東西，如下圖：

搜搜蜘蛛跟雅虎蜘蛛好像差不多，感覺(jué)還是挺有效的，禁止之后沒(méi)有再有它爬過(guò)的痕跡。

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]