做網(wǎng)站的基本都知道蜘蛛是什么，其實(shí)蜘蛛就是一個(gè)搜索引擎的爬取程序，用來收錄網(wǎng)站，然后在搜索引擎里面搜索呈現(xiàn)出來的頁面。利用搜索引擎蜘蛛的爬取跟蹤我們可以從中得到很多意想不到的信息從而更利于我們優(yōu)化網(wǎng)站。
1、 利用蜘蛛告訴我們死鏈接
死鏈接對(duì)于網(wǎng)站的危害是非常大的，我們都知道，可以使用robots.txt來對(duì)其進(jìn)行屏蔽，但如何找出這些鏈接成為我們很頭疼的問題，而搜索引擎蜘蛛會(huì)告訴我們哪些是真正的死鏈接，當(dāng)蜘蛛爬取到一個(gè)死鏈接網(wǎng)頁的時(shí)候，會(huì)在IIS日志里返回一個(gè)404狀態(tài)碼，這個(gè)時(shí)候就是告訴我們，這個(gè)網(wǎng)面是不可訪問的，是一個(gè)死鏈接，所以我們只要查看IIS日志我們就知道搜索引擎蜘蛛提示我們網(wǎng)站有哪些死鏈接，然后我們?cè)儆胷obots.txt屏蔽掉即可，這樣就不會(huì)讓死鏈接對(duì)我們的網(wǎng)站造成影響了。
2、利用蜘蛛爬取的數(shù)量詳細(xì)分析網(wǎng)站整體情況
我們可以通過IIS日志查詢每天搜索引擎蜘蛛訪問我們網(wǎng)站的次數(shù)，并且可以知道它訪問了我們哪些頁面，我們可以根據(jù)蜘蛛每天的爬取量就可以算出每個(gè)月蜘蛛的平均抓取量，這樣我們就可以進(jìn)行對(duì)比。
提升蜘蛛爬取量有以下兩個(gè)因素
1)外部鏈接質(zhì)量和數(shù)量增加
外鏈數(shù)量越多，蜘蛛爬取次數(shù)也就越多，同樣外鏈的質(zhì)量和權(quán)重越高，蜘蛛抓取網(wǎng)站的次數(shù)也就會(huì)越多了。
2)網(wǎng)站文章質(zhì)量和更新頻率
網(wǎng)站文章質(zhì)量越好，蜘蛛來爬取后放出文章的通過率就會(huì)越高，蜘蛛爬取的次數(shù)就會(huì)增加，同樣的道理，更新頻率越快，蜘蛛爬取的頻率也會(huì)增加。
從以上可以得出，如果網(wǎng)站每個(gè)月蜘蛛的爬取量是增加的，那我們就可以判斷出來是由哪個(gè)因素引起的，也可以肯定網(wǎng)站權(quán)重也是隨著蜘蛛爬取量上長(zhǎng)而上升的，反之，蜘蛛的爬取量減少了，也可以確定，網(wǎng)站權(quán)重會(huì)隨之下降。所以每天都要記錄IIS日志的蜘蛛爬取量，然后根據(jù)這個(gè)來做網(wǎng)站優(yōu)化的調(diào)整。
3、根據(jù)IIS日志的蜘蛛爬取分析服務(wù)器的穩(wěn)定性
蜘蛛爬取我們的網(wǎng)站，如果網(wǎng)站不穩(wěn)定，訪問出了問題，蜘蛛就會(huì)返回503或500這樣的狀態(tài)碼，并且也會(huì)出現(xiàn)200 0 64 這樣的狀態(tài)碼，如果出現(xiàn)這種情況，首先要確定是什么時(shí)間產(chǎn)生的，需要馬上聯(lián)系服務(wù)器商或空間商，這樣就可以馬上解決我們所存在的問題。
4、 利用IIS日志蜘蛛爬取深入分析
搜索引擎在爬取我們網(wǎng)站內(nèi)容的時(shí)候，經(jīng)常會(huì)出現(xiàn)有一些目錄他在爬取之后就不再去重復(fù)爬取了，而有些目錄甚至一些內(nèi)頁會(huì)重復(fù)的不斷爬取，對(duì)于此我們可以根據(jù)IIS日志中蜘蛛的爬取情況作珍上整體分析或是對(duì)比，看那些爬取差的頁面是因?yàn)槭裁丛蛟斐傻摹１热缬幸粋�(gè)案例，用IIS日志發(fā)現(xiàn)蜘蛛喜歡不斷抓取網(wǎng)站的新聞目錄，而產(chǎn)品目錄抓取得少，究其原因，發(fā)現(xiàn)這兩個(gè)頁面之間的相似程度達(dá)到了90%以上，像這樣的重復(fù)性很高的頁面就要注意了，一定要添加原創(chuàng)性內(nèi)容，避免頁面的相似程度過高而導(dǎo)致蜘蛛不來抓取。
從以上我們可以看出，我們非常有必要每天都要下載網(wǎng)站的IIS日志進(jìn)行查看，以及時(shí)的發(fā)現(xiàn)問題并解決問題，以保證我們的優(yōu)化不受影響。
以上由 http://www.102guke.cn/ 網(wǎng)站運(yùn)營(yíng)人員整理發(fā)布。轉(zhuǎn)載請(qǐng)注明！
推薦閱讀
如何避免錯(cuò)誤使用SEO站長(zhǎng)工具導(dǎo)致優(yōu)化過度
各類seo站長(zhǎng)工具可能是泛博站長(zhǎng)天天都要去訪謁和操作的一個(gè)工具。我們都知道使用seo工具一般來說會(huì)輔佐站長(zhǎng)完成以下的工作： 1. 監(jiān)控網(wǎng)站數(shù)據(jù)情形，以便做到seo過程中的有的放矢; 2. 刷外鏈，發(fā)生一些緩存外鏈，而這>>>詳細(xì)閱讀
本文標(biāo)題：利用蜘蛛爬取跟蹤分析網(wǎng)站整體信息
地址：http://www.xglongwei.com/a/34/20120425/54852.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示